刚刚出生的婴儿可以直接户口上在祖父母那儿吗

具体应当咨询当地公安机关，以山西省为例，婴儿父母均为学生集体户或为现役军人的，所生子女可以向该子女祖父母或者外祖父母户口所在地公安派出所申报出生登记。
根据《山西省常住户口登记管理规定》：
第十六条婴儿(包括超计划生育、非婚生育的婴儿)出生后应在一个月内，由户主或监护人向婴儿父亲或母亲户口所在地公安派出所申报出生登记，不需当事人提供未落户证明，并提交以下材料：
(一)出生医学证明;
(二)父母双方居民户口簿、居民身份证(一方死亡等特殊情形的只提供一方的居民户口簿、居民身份证);
(三)父母结婚证(非婚生的除外);
(四)非婚生子女需提供居委会、村委会证明以及社区民警的调查报告。
无《出生医学证明》的，当事人应当向卫生行政部门申请补发。
出生医学证明存有可疑情况的，公安派出所应当予以扣留，并联系当地卫生行政部门作进一步核查、鉴别。
第十七条婴儿出生时已经死亡的，不进行出生申报户口登记。婴儿出生后，在申报户口登记前死亡的，应当申报户口登记，同时以死亡原因注销户口。
第十八条婴儿父母一方为军人或学生集体户的，在另一方户口所在地公安派出所登记户口。
婴儿父母一方或双方为集体户的(不含学生集体户)，随父随母自愿选择登记落户。
第十九条婴儿父母均为学生集体户的，可在婴儿祖(外祖)父母户口所在地公安派出所登记户口。
夫妻双方均为现役军人的，所生子女可以向父亲或者母亲部队所在地公安派出所申报出生登记，也可以在该子女祖父母或者外祖父母户口所在地公安派出所申报出生登记，待一方退役后再办理该子女户口迁移。