房东没有理由让你退还押金,提前退房剩余房租不退,双方协商达成一致后就该退还你押金,且自双方协商一致后,原房租租赁合同终止作废。你不欠房东租金及其他费用,也没有不告知房东自行退房,你方没有任何违约责任。
房东要你把押金退还,可能是因为合同当中涉及到承租方(你方)如果提前退房押金不退的条款。但如果你和房东协商一致后,房东同意退还押金还是可以的。
建议你保留好和房东的所有沟通凭证,如果你没有其它任何违约责任(不拖欠房租、水电等其它费用)就不必担心。因为是房东当初同意退还押金并已退还,你方便不会涉及法律责任,前提是双方协商一致即可。