这种情况要具体分析。首先,如果离婚协议中明确约定房子归女方所有,但男方继续支付房贷,那么这可能是基于双方的协商,比如为了孩子上学等原因暂时保留男方还贷。这种情况下,男方不能随意要求返还已支付的房贷,因为这是双方协商的结果,具有一定的合同约束力。其他方面,如果男方支付房贷是出于无奈,比如女方经济困难,男方出于人道主义帮助,那么男方可以和女方协商,看看是否能通过其他方式补偿,比如女方在其他财产分配上给予男方一定的补偿。再次,如果男方觉得自己的权益受到了侵害,可以寻求法律途径解决,但需要提供充分的证据证明自己的主张。最后,建议双方尽量通过协商解决问题,避免不必要的法律纠纷。我是杭州的吴亮律师,如果仍有疑问,欢迎追问或一对一咨询。