【法律意见】
可以要回抚养权,但是不可以他不抚养子女,因为它的这一行为是托管,并不违法。
【法律依据】
《婚姻法》第二十一条规定:父母对子女有抚养教育的义务;子女对父母有赡养扶助的义务。
父母不履行抚养义务时,未成年的或不能生活的子女,有要求父母付给抚养费的权利。
子女不履行赡养义务时,无劳动能力的或生活困难的父母,有要求子女付给赡养费的权利。
第三十条规定: 子女应当尊重父母的婚姻权利,不得干涉父母再婚以及婚后的生活。子女对父母的赡养义务,不因父母的婚姻关系变化而终止。
因此,夫妻离婚,无论抚养权归谁,子女对父母都具有赡养义务,父母对孩子都具有抚养义务。