需要到人民法院起诉。第三十六条 监护人有下列情形之一的,人民法院根据有关个人或者组织的申请,撤销其监护人资格,安排必要的临时监护措施,并按照最有利于被监护人的原则依法指定监护人:
(一)实施严重损害被监护人身心健康行为的;
(二)怠于履行监护职责,或者无法履行监护职责并且拒绝将监护职责部分或者全部委托给他人,导致被监护人处于危困状态的;
(三)实施严重侵害被监护人合法权益的其他行为的。
本条规定的有关个人和组织包括:其他依法具有监护资格的人,居民委员会、村民委员会、学校、医疗机构、妇女联合会、残疾人联合会、未成年人保护组织、依法设立的老年人组织、民政部门等。
前款规定的个人和民政部门以外的组织未及时向人民法院申请撤销监护人资格的,民政部门应当向人民法院申请。