父亲的孩子不给抚养费，要告他吗

有权征收的，社会抚养费由违反规定生育子女的夫妻双方缴纳。
以山西省为例，根据《山西省人口和计划生育条例》规定：
第四十八条违反本条例规定生育子女的，应当缴纳社会抚养费。社会抚养费由县(市、区)人民政府卫生和计划生育行政部门或者其委托的乡(镇)人民政府、街道办事处征收，并专户储存，专款专用，接受财政、审计部门的监督。
第四十九条不符合本条例第十一条规定的情形生育第三个子女的，按照夫妻双方上年总收入的20，合计征收7年的社会抚养费，其总额不得低于7000元；生育第四个子女的，按照夫妻双方上年总收入的40，合计征收14年的社会抚养费，其总额不得低于3万元；再多生育子女的，加重征收社会抚养费。
未办理结婚登记再生育子女的，按照本条第一款规定的标准征收社会抚养费。有配偶的一方与他人非婚生育的，按照违法生育加重征收社会抚养费。