我公司投标一个拆除（残值回收）项目，本项目评标法为：最高价中标法是施工单位中标完之后，要给业主支付残值金！中标通知书拿完之后，我们现场勘查，发现施工现场还有拆迁补偿纠纷没有解决，不具备入场条件，并且现场残值回收的东西跟招标人开标之前提供给我们的残值评估清单出入巨大！我们放弃中标，第二名、第三名找我们了解情况为什么放弃中标，我们说招标前提供清单跟现场有出入！第二、第三投标人说，我们在开标之前没有收到过残值评估清单！了解情况完，第二，第三以存在不公平放弃中标。现在我们做为中标人业主又要追究我们违约责任！请问我们要以什么理由来拒绝赔偿违约金！