您好，我在5月12日提交离职报告，离职报告上写清了离岗日期为6月12日，在此期间我与单位沟通过违约金等相关事项，一直没有明确给我离岗日子，再6月22号我再次询问离岗日期，单位回复是没有人跟我交接，所以我要等到有人交接才可以走~然后我坚持到了6月底再次协商，要求学校明确一个离岗日期，并提出如果到期有人交接就按照之前约定的违约金，如果没人交接我就多交违约金也可以，但是单位没有同意。于是我在7月5日离岗了，离岗前我也把交接内容和工作都梳理梳理出来。现在就是单位要求我回去一周进行工作交接，我想咨询一下如果我不回去交接有什么责任么