储户存款时被发现有假币的，不能向银行要回。根据法律规定，银行在为储户办理存取款业务时发现假币的，应当场收缴，并在假币上加盖“假币”字样的戳记，并登记造册，同时还要向持有人出具收缴凭证。

【法律依据】

《人民币管理条例》第三十三条，中国人民银行、公安机关发现伪造、变造的人民币，应当予以没收，加盖“假币”字样的戳记，并登记造册;持有人对公安机关没收的人民币的真伪有异议的，可以向中国人民银行申请鉴定。

公安机关应当将没收的伪造、变造的人民币解缴当地中国人民银行。