双方协议,协议不成通过法院起诉变更抚养权。男方未尽抚养责任,孩子实际和女方生活,应当准许变更。子女抚养归属的变更。父母离婚后,在一定条件下,可以根据父母双方或子女的实际情况的变化,依法予以变更。抚养归属的变更,有两种形式:一是双方协议变更。父母双方协议变更子女抚养关系的,只要有利于子女身心健康和保障子女合法权益,则应予准予;二是一方要求变更。凡一方要求变更子女抚养关系的,有下列情形之一的,应予支持。
(1)与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的;
(2)与子女共同生活的一方不尽抚养义务或有虐待子女行为,或其与子女共同生活对子女身心健康确有不利影响的;
(3)十周岁以上未成年子女,愿随另一方生活,该方又有抚养能力的;
(4)有其他正当理由需要变更的。父母双方协议变更子女抚养关系的,应予准许。另外,对于在离婚诉讼期间,双方均拒绝抚养子女的,可先行裁定暂由一方抚养。