我8月5日在肇庆大旺订了一套房，签订购书前我有向置业说明我有一笔钱做了理财，这笔钱还没到期就交不了首付，当时业务经理说可以中途拿出，说只要本金不要利息，我跟那经理强调了两遍，两遍那经理都说没问题，所以我信了，因我没处理过这样的事，最后付了认购定金，回来后打电话给银行，银行那边说不可中途停止，这意味钱拿不出没办法交首付，如这种情可否要求退还定金？