首付后退房违约金太高怎么办

双方当事人协商一致可以解除合同。可以跟开发商协商解除合同。但是如果是由于不可抗力，不能履行合同的，根据不可抗力的影响，部分或者全部免除责任，但法律另有规定的除外。同时规定，当事人一方因不可抗力不能履行合同的，应当及时通知对方，以减轻可能给对方造成的损失，并应当在合理期限内提供证明。不可抗力是不能预见、不能避免、不能克服的客观情况。
《民法典》第五百六十二条【合同约定解除】当事人协商一致，可以解除合同。
当事人可以约定一方解除合同的事由。解除合同的事由发生时，解除权人可以解除合同。