民法通则第16条第1款规定,未成年人的父母是未成年人的监护人。父母对子女享有亲权,是当然的第一顺位监护人。未成年人的父母死亡或没有监护能力的,依次由祖父母和外祖父母、兄姐、关系密切的亲属或朋友、父母单位和未成年人住所地的居委会或村委会、民政部门担任监护人。成年精神病人的法定监护人的范围和顺序是:配偶、父母、成年子女、其他近亲属、关系密切的亲属或朋友、精神病人所在单位或住所地的居委会、村委会、民政部门。
法定监护人的顺序有顺序在前者优先于在后者担任监护人的效力。但法定顺序可以依监护人的协议而改变,前一顺序监护人无监护能力或对被监护人明显不利的,人民法院有权从后一顺序中择优确定监护人。所以您侄儿侄女的抚养义务落在了他们的祖父母和外祖父母身上。如果 他们的祖父母和外祖父母已经去世则由他们父母的兄妹抚养。