违章建筑具体应该由哪个部门来认定

1、违章建筑应该由城乡规划主管部门来认定。违章建筑不合乎法律规定，存在侵占安全通道、非法占用耕地、影响城市公共空间、破坏生态环境等特点，城乡规划主管部门一经查处必须拆除。
2、法律依据《国有土地上房屋征收与补偿条例》
第二十四条 市、县级人民政府及其有关部门应当依法加强对建设活动的监督管理，对违反城乡规划进行建设的，依法予以处理。市、县级人民政府作出房屋征收决定前，应当组织有关部门依法对征收范围内未经登记的建筑进行调查、认定和处理。对认定为合法建筑和未超过批准期限的临时建筑的，应当给予补偿；对认定为违法建筑和超过批准期限的临时建筑的，不予补偿。
3、法律依据：《城乡规划法》
第六十五条 在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。