监护人允许使用童工工厂也需要负责吗

根据你的问题解答如下, 工厂需要承担责任。
被劳动部门责令遣返童工，并按照每人每月5000元的标准处以罚款。
《禁止使用童工条例》第六条 用人单位使用童工的，由劳动保障行政部门按照每使用一名童工每月处5000元罚款的标准给予处罚;在使用有毒物品的作业场所使用童工的，按照《使用有毒物品作业场所劳动保护条例》规定的罚款幅度，或者按照每使用一名童工每月处5000元罚款的标准，从重处罚。劳动保障行政部门并应当责令用人单位限期将童工送回原居住地交其父母或者其他监护人，所需交通和食宿费用全部由用人单位承担。