只有两种情形下能约定由劳动者支付违约金。分别为:
1、用人单位为劳动者提供专项培训费用,对其进行专业技术培训的,可以约定服务期和违约金,劳动者违反服务期约定的,应当按照约定向用人单位支付违约金。
2、用人单位与劳动者约定竞业限制条款的,可以约定违约金,劳动者违反竞业限制约定的,应当向用人单位支付违约金。并且在适用违约金条款时,规定违约金的数额不得超过用人单位提供的培训费用,用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。除上述两种情形外,用人单位不得要求劳动者支付违约金。因此,你如果没有上述两种情形,单位约定违约金是无效的,你可以拒绝交付。