从法律层面来讲,父亲不付抚养费跟爷爷奶奶需不需要赡养没啥直接联系。赡养爷爷奶奶主要是基于道德以及传统观念,同时也是《中华人民共和国民法典》中对赡养义务的规定。成年子女得对父母承担赡养、扶助和保护的责任,这里的父母通常指的是生父母、养父母以及有扶养关系的继父母。要是父亲不支付抚养费,那子女可以借助法律手段让父亲履行抚养义务,把抚养费给交了,这样才能保障子女的生活和教育等需求。要是爷爷奶奶没有子女,或者子女没能力赡养等特殊情况,按照法律规定,孙子女、外孙子女在一定条件下是有赡养祖父母、外祖父母的义务的。
总之,可不能因为父亲没付抚养费,就否定或者改变赡养爷爷奶奶的法律规定和道德责任,具体得依据实际的法律和事实来进行判断和处理。