对方违约时，可不把保证金给他吗

结论：
对方违约时能否不退还保证金要视具体情况而定，依据合同约定、违约程度和保证金性质判断，有争议可协商或诉讼解决。
法律解析：
《中华人民共和国民法典》规定，民事主体从事民事活动应遵循自愿、公平等原则。若合同明确约定违约不退保证金且该约定合法合规、不违背公序良俗，此约定有效，可按约定执行。若合同未约定，需根据违约程度和保证金性质判断。定金性质的保证金，给付方违约，收受方可不返还；履约保证金情况下，轻微违约未影响合同目的实现，一般应退还但可要求对方担责，严重违约致合同目的无法达成，可不退还。双方就保证金退还产生争议，可先协商，协商不成可通过诉讼等途径维护自身合法权益。若遇到此类法律问题，可向专业法律人士咨询，获取更精准的法律建议和解决方案。