只有债务违约才会单方面解除权吗

不仅仅是在债务违约的情况下，才存在单方面解除权。
按照相关法律法规，以下情况亦可允许当事人行使解除合同的权利:
第一类情况，符合法律所规定的其他特殊情形;
第二种可能性，当事人其中一方向对方延迟履行其债务;
第三种可能，当当事人其中一方向对方延迟履行其主要债务并且经过催告后依然未能按期履行;
最后一种可能性，即在合同约定的或法定的履约期限到期之前，当事人当中任何一方向对方明确表示或者通过自身的行动证明他们不会履行其主要债务。《中华人民共和国民法典》第五百六十三条
有下列情形之一的，当事人可以解除合同：
(一)因不可抗力致使不能实现合同目的;
(二)在履行期限届满前，当事人一方明确表示或者以自己的行为表明不履行主要债务;
(三)当事人一方迟延履行主要债务，经催告后在合理期限内仍未履行;
(四)当事人一方迟延履行债务或者有其他违约行为致使不能实现合同目的;
(五)法律规定的其他情形。
以持续履行的债务为内容的不定期合同，当事人可以随时解除合同，但是应当在合理期限之前通知对方。