按照《陕西省物业服务管理条例》规定，城市管理综合执法部门负责对违反规划建筑的认定。