派遣工被退回派遣单位可以因此解除合同吗

实际情形视具体情况而定。
依据相关法律法规，若劳务派遣工由于自身原因遭到退回，那么，用工单位有权将其退回给原派遣单位，同时，派遣单位也可据此判定同劳务派遣工的劳动合同关系解除为止。
劳务派遣员工作为一类极具灵活性的劳动力群体，是由派遣服务机构针对用人单位的特定需要进行招募、选拔并在用人单位认可后派遣到与其合作的企业中去工作的。
然而，有些时候派遣出去的员工可能由于各种因素未能完全满足用工单位的期望和需求，从而出现被退回现象，这无疑会对相应的派遣单位造成一定程度上的经济收益损失。《中华人民共和国劳动合同法》第三十八条
用人单位有下列情形之一的，劳动者可以解除劳动合同：
（一）未按照劳动合同约定提供劳动保护或者劳动条件的；
（二）未及时足额支付劳动报酬的；
（三）未依法为劳动者缴纳社会保险费的；
（四）用人单位的规章制度违反法律、法规的规定，损害劳动者权益的；
（五）因本法第二十六条第一款规定的情形致使劳动合同无效的；
（六）法律、行政法规规定劳动者可以解除劳动合同的其他情形。
用人单位以暴力、威胁或者非法限制人身自由的手段强迫劳动者劳动的，或者用人单位违章指挥、强令冒险作业危及劳动者人身安全的，劳动者可以立即解除劳动合同，不需事先告知用人单位。
《中华人民共和国劳动合同法》第三十九条
劳动者有下列情形之一的，用人单位可以解除劳动合同：
（一）在试用期间被证明不符合录用条件的；
（二）严重违反用人单位的规章制度的；
（三）严重失职，营私舞弊，给用人单位造成重大损害的；
（四）劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；
（五）因本法第二十六条第一款第一项规定的情形致使劳动合同无效的；
（六）被依法追究刑事责任的。