房东说装修房子不租了，让我们在到期后搬走，为了让我们尽快搬走说，我们搬走接着退押金，所以我们还有3天到期时就搬走了，但是搬走之后再要押金时，房东就不给退了，因为我们是合租，说公共区域卫生太差，不给我们退押金，但是当时合同上写的是不人为破坏公物押金是全退的，和房东协商，房东口气不好，让我们不要烦他，还威胁我们爱咋办咋办就是不退押金，我们现在是不是需要走法律程序？