首先,农村宅基地上的房屋买卖存在一定的法律限制。在很多情况下,农村宅基地房屋只能在本村集体成员之间进行转让。对于定金的问题,如果房屋买卖是有效的:他们不要房子属于违约行为。根据定金罚则,给付定金的一方不履行约定的债务的,无权要求返还定金。所以从法律角度讲,在这种情况下可以不退还定金。但如果房屋买卖本身无效:因为合同无效是由于不符合法律规定的宅基地房屋转让条件导致的,那么双方都有一定的责任。你可能需要考虑退还定金,但可以要求对方补偿这两三年房屋占用期间的合理费用,毕竟房子被对方占用了一段时间,也产生了一定的经济价值。如果协商不成,可以考虑咨询当地的法律援助机构或者律师,也可以请求村委会等相关农村基层组织进行调解,避免矛盾进一步激化。