根据合同法第四十九条的规定, 行为人没有代理权、超越代理权或者代理权终止后以被代理人名义订立合同,相对人有理由相信行为人有代理权的,该代理行为有效。
根据您的描述,“中介说房主很忙,已经全权委托他与我们签订定金协议,并收取定金当时,所以我们才放心地把钱交给了中介。后来才知道,当时房主并没有确定何时交房,只是中介想当然地擅自做主。”
也就是说,中介并没有得到房主的委托授权,但是,您在签订合同时依据“中介说房主很忙,已经全权委托他与我们签订定金协议,并收取定金”而有理由相信中介有委托代理权,您是善意第三人。因此这个合同是有效的。房主应该承担定金合同所规定的义务。