这取决于您所签署的工程合同内的具体条款。通常而言,倘若合同中明确规定,当一方擅自解除合同之时需要支付违约金,那么在您意欲停止履行合同时,便有可能要承担相应的违约责任。
然而,存在若干特殊情形能够免除或者减轻您的责任。例如,对方首先出现严重违约行为,致使您无法继续履行合同;又或者发生了不可抗力这类不可预见、不可避免且无法克服的客观状况。
建议您认真查看合同里有关违约责任与合同解除的条款,并且留存相关证据,用以证实您不想继续履行合同是存在合理原因的。若您对此把握不准,建议携带合同向专业律师进行咨询,从而更为精准地评估您面临的法律风险。