结婚三年，和他生了一个儿子，现在儿子已经半岁大了。前段时间被我抓到他出轨，我就跟他离婚了，法院也把抚养权判给我了，现在他跟我说他要抢回抚养权，离婚爸爸会争夺孩子抚养权吗？

是可以的。
夫妻离婚后的任何时间内，一方或双方的情况或抚养能力发生较大变化，均可提出变更子女抚养权的要求。变更子女抚养权一般先由双方协商确定，如协议不成，可通过诉讼请求人民法院判决变更。有下列情形之一的，人民法院应予支持：
与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的;
与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的;
十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的;
有其他正当理由需要变更的。
根据以上规定，只要具有上述任意一个条件，即可向人民法院申请变更抚养权。
离婚后，孩子由谁抚育，应从有利于孩子健康成长的角度考虑，在这个前提下，夫妻离婚时可以协商确定，协商不成，可由人民法院判决。