在中国,同居关系并不受到《婚姻法》的直接保护,其解除不受法律约束,主要由双方协商处理。对于订婚时男方给予女方的彩礼问题,《最高人民法院关于适用〈中华人民共和国婚姻法〉若干问题的解释(二)》第十条规定:当事人请求返还按照习俗给付的彩礼的,如果查明属于以下情形,人民法院应当予以支持:1. 双方未办理结婚登记手续的;2. 双方办理结婚登记手续但确未共同生活的;3. 婚前给付并导致给付人生活困难的。根据您所述情况,男女双方并未办理结婚登记,因此男方有权要求返还彩礼。具体是否需要全部退还或者部分退还,会根据实际情况(如是否有共同生活、彩礼金额大小、地方习俗、对男方生活的影响程度等因素)以及相关证据来综合判断。建议在这种情况下,双方尽量友好协商解决,或在必要时寻求法律途径解决争议。