你好，王莹律师：在九月初我与一位房主签了一份买卖二手房合同（没有经过中介公司），并交了一万的定金，当时房间里还有租客，签合同时说好尽快让租客离开（具体日期没有写到合同里），后来再去看房子时发现租客是一对夫妇，且女方已经怀孕，当时就立刻找到了房主要求让租客赶快搬走，房主也答应了，且信誓旦旦地保证会近期让他们搬走，一定不会在房屋里生孩子坐月子，但后来再次去看房子时发现那个租客已经在房屋里坐月子了（我们那民俗上很忌讳这个），现在我们想要求退房，但房主又反过来要求我们赔偿违约金。请问我们该怎么办？