几年前我与七人集资建房（我为他们的全权委托方），此房在建筑过程中因各种原因原八户集资人退出四户，导致工程上马不得下马，工程款无法支付，为了履行合同，我个人借款一部份，与施工方协商，才让工程按期完工。事隔一年，施工方因所欠工程款起诉我，我无柰向所剩三户当中尚未交清集资款的二户催付建房款，但二户未给，后我又向其二户公证送达书面通知，限期交清建房款，告知逾期将处理其房，但最后二户还是未付，后施工方申请法院强制执行，故我将这二户房另找合伙人才付清施工方工程款。后来周围有些人认为我是非法买卖房屋，尚未交清集资款两户说他付款未有其房，并说我把房屋转让给别人，是一房多卖，是诈骗，请问律师我这算不算诈骗和非法买卖房屋？