拆除违法建筑要赔偿。根据相关法律法规,只要是物,就存在所有权,即使是违章建筑,也不能否定违章建筑物的权利人对建筑材料的所有权,也就是说行为的违法性不等于财产的非法性。建造行为是违法行为,但认定是否为违章建筑是行政部门的职责,强行拆除违章建筑也是执法部门的职责,其他任何单位或个人不能擅自拆除,因此应予以赔偿。《城乡规划法》第六十四条规定,未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的,由县级以上地方人民政府城乡规划主管部门责令停止建设;尚可采取改正措施消除对规划实施的影响的,限期改正,处建设工程造价百分之五以上百分之十以下的罚款;无法采取改正措施消除影响的,限期拆除,不能拆除的,没收实物或者违法收入,可以并处建设工程造价百分之十以下的罚款。据此,城乡规划主管部门具有认定违法建筑的职权。城乡规划主管部门虽然具有认定违法建筑的职权,但实施行政处罚时必须根据法定程序。本案中,规划局没有作出拆除的行政处罚决定并送达,也没有听取利害关系人的陈述和申辩,拆除房屋的程序违法。