刑法中所讲的诈骗罪是指行为人以非法占有为目的，通过虚构事实或隐瞒真相的方式骗取公私财物且数额较大的行为。你所说的这种情况，在司法实践中也有构成诈骗罪的，其表现形式一般是，所谓的居间人其实并没有“居间资格”，通俗地讲，其所谓的“人脉或资源”都是居间人虚构出来的，或者退一步讲，其所谓的“关系”也并没有居间人所说的那么好，等等。在这种情况下，居间人在一开始收受居间费的时候就已经知道其居间行为不可能完成，或着居间的目的根本就达不到，只是为了骗取对方财物。这种是构成刑事犯罪的。
当然，你现在可以去你们当地公安机关以诈骗罪对居间人进行刑事控告，如果能立上案是最好的，后续通过公检法机关的介入能够顺利把钱退回来。如果刑事控告不符合公安机关刑事犯罪受理条件的，也可以考虑通过民事诉讼的方式，以居间合同纠纷或不当得利为由起诉对方返还居间费。