根据规定，负有军人优待义务的单位不履行优待义务的，由县级人民政府退役军人事务部门责令限期履行义务。

【法律依据】

《军人抚恤优待条例》第四十八条，负有军人优待义务的单位不履行优待义务的，由县级人民政府退役军人事务部门责令限期履行义务;逾期仍未履行的，处以2000元以上1万元以下罚款。对直接负责的主管人员和其他直接责任人员依法给予行政处分、纪律处分。因不履行优待义务使抚恤优待对象受到损失的，应当依法承担赔偿责任。