父亲没有尽到义务抚养小孩可以拒绝赡养吗

不可以。抚养教育孩子和赡养老人都是法定义务，二者没有相继、因果等影响关系，如果认为父亲没有支付抚养费，可以要求支付，不影响将来对老人赡养的法律义务。
《婚姻法》规定：有负担能力的孙子女，外孙子女，对于子女已经死亡的祖父母、外祖父母，有赡养义务。
子女不履行赡养义务时，无劳动能力的、或生活困难的父母，有要求子女付给赡养费的权利。对拒不履行者，可以通过诉讼解决，情节恶劣构成犯罪者，依法追究其刑事责任。