离婚时抚养权交给男方。协议不需要支付抚养费。现在又管我要怎么办。

你好，《关于审理离婚案件处理子女抚养问题的若干意见》第16条规定，一方要求变更子女抚养权，有下列条件之一的，人民法院应予支持：
1.与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的。一方患病或者伤残，必然影响到对孩子的教育和照料，从孩子成长的角度出发，不是“如何变更抚养权”的问题，而是必须要变更孩子抚养权问题。
2.与子女一同生活的一方不尽抚养义务或有虐待行为的或其与子女共同生活对子女身心健康有不利影响的。有的父母离婚时争夺抚养权不是为了给孩子创造更好的生活条件，只是为了在财产分割或是为了达到报复的目的。目的一旦达到，就对孩子不管不问，不履行自己的抚养义务，有的还甚至对孩子打骂虐待。在这种情况下，如何变更抚养权关心孩子成长的另一方可以要求变更离婚孩子抚养权。但是，变更抚养权不能要求重新分割原有的共同财产。
3.十周岁以上未成年子女，愿随另一方生活的。十周岁以上的未成年人属于限制行为能力人，可以从事与其年龄相关的民事活动。父母离婚时，对于十周岁以上的子女的抚养权归属，应当听取孩子的意见。而在离婚时不满十周岁，过了几年，超过十周岁后，如果孩子明确表示愿意跟随另一方生活，就可以申请变更离婚孩子抚养权。
4.有其它正当理由需要变更的。这是个兜底条款，社会现实是复杂的也是在不断发展的，对于那些制定司法解释时考虑不到的问题，司法解释赋予了法官一定的自由裁量权，在这里，如何变更抚养权法官可以根据自己对客观情况的主观认识来判断是否应该变离婚孩子抚养权。　　根据以上规定，只要具有上述任意一个条件，即可向人民法院申请变更抚养权。