首先，如果所谓的“私房钱”来源于婚前个人独立账户，并且在婚姻关系存续期间没有与婚后的共同财产混合，那么这部分“私房钱”通常被视为个人财产，不参与财产分割。

其次，对于那些在婚姻关系存续期间单独存放的“私房钱”，性质就复杂了。如果没有明确的婚内财产约定，即使是存放在单独账户中的资金，也往往会被认定为共同财产。这是因为在婚姻关系中，除非有特别的约定，夫妻双方的收入和所得通常被认为是共同的。因此，除非能够证明这些“私房钱”属于某一方的个人所得，否则它们很可能会在离婚时被纳入共同财产的范围进行分割。

为了避免离婚时对“私房钱”性质的争议，夫妻双方可以在婚前或婚后签订婚内财产协议，明确各自的财产权益。这种协议可以包括对各自收入、遗产、赠与等财产的归属和处理方式的具体约定。通过这种方式，可以在一定程度上避免离婚时的财产纠纷。