根据《广州市绿化条例》第五章规定，对于损害绿化的行为，由绿化行政主管部门负责实施相关行政处罚，具体规定如下：
第五章 法律责任
第五十七条 本条例规定的行政处罚，由绿化行政主管部门负责实施，法律、法规明确规定由其他单位实施的除外。
第五十八条 违反本条例第十一条、第十二条规定，擅自改变绿地使用性质的，责令限期改正，恢复原状，并按照改变的绿地面积处以该土地使用权基准地价三倍以上五倍以下的罚款；属划拨土地的，参考同类土地使用权基准地价处以三倍以上五倍以下的罚款。
第五十九条 违反本条例第二十四条规定，绿化工程初步设计未经绿化行政主管部门审批的，或者未按照批准的绿化工程初步设计进行施工的，责令停止违法行为，限期改正。造成经济损失的，由责任单位依法赔偿。
第六十条 违反本条例第二十六条第一款规定，从事绿化工程设计、施工、监理不具备相应资质的，按照《中华人民共和国建筑法》、《建设工程质量管理条例》等有关法律、法规的规定分别对项目建设单位、设计单位、施工单位和监理单位进行处罚。
第六十一条 违反本条例第二十六条第二款规定，绿化工程建设未按照有关标准和规范进行的，责令限期改正。
第六十二条 违反本条例第二十八条第二款规定，绿化工程未验收的，按照《建设工程质量管理条例》的规定进行处罚。
第六十三条 违反本条例第三十五条第一款规定，绿化保护和管理未按照有关标准进行的，责令限期改正。
第六十四条 违反本条例第三十六条规定，未经批准临时占用绿地的，责令限期改正，恢复原状，并按照临时占用的绿地面积处以每平方米三百元以上六百元以下罚款；临时占用绿地期满后不退出的，按照本条例第五十八条规定予以处罚。
第六十五条 违反本条例第三十九条、第五十三条规定，擅自砍伐或者迁移树木的，责令停止违法行为，并处以绿化赔偿费三倍以上五倍以下罚款；擅自砍伐、迁移一级古树名木的，责令停止违法行为，并处以绿化赔偿费六倍以上八倍以下罚款；擅自砍伐、迁移二级古树名木的，责令停止违法行为，并处以绿化赔偿费五倍以上七倍以下罚款；擅自砍伐、迁移被确定为古树后续资源的树木的，责令停止违法行为，并处以绿化赔偿费五倍以上六倍以下罚款。擅自修剪树木直径在五厘米以上枝条的，处以五百元以上五千元以下罚款；擅自修剪一级古树名木的，责令停止违法行为，并处以一万元以上二万元以下罚款；擅自修剪二级古树名木的，责令停止违法行为，并处以五千元以上一万五千元以下罚款；擅自修剪被确定为古树后续资源的树木的，责令停止违法行为，并处以二千元以上一万元以下罚款。
第六十六条 违反本条例第四十三条规定，施工单位未按照规定进行公示的，责令限期改正；逾期不改正的，处以二千元以上二万元以下罚款。
第六十七条 违反本条例第四十四条、第五十二条第三款规定，建设单位未采取避让和保护措施造成绿化损害或者树木死亡的，处以二万元以上十万元以下罚款；造成一级古树名木损害或者死亡的，处以三十万元以上五十万以下罚款；造成二级古树名木损害或者死亡的，处以二十万以上四十万以下罚款；造成被确定为古树后续资源的树木损害或者死亡的，处以十万元以上三十万元以下罚款。
第六十八条 违反本条例第四十五条第（一）、（四）、（五）、（六）项规定，在绿地内丢弃废弃物，倾倒有毒有害物质，堆放、焚烧物料或者以树承重，就树搭建，损坏树木支架、栏杆、花基、供排水等绿化设施或者建坟、采石取土的，责令停止违法行为，恢复原状，并处以五百元以上五千元以下罚款，并依法承担赔偿责任。
违反本条例第四十五条第（二）、（三）项规定，攀、折、钉、栓、刻划树木，损害树根、树干、树皮或者擅自采摘花果枝叶，践踏绿地的，责令停止违法行为，并处以二十元以上五十元以下罚款。
第六十九条 违反本条例第四十六条第二款规定，采用带有检疫性有害生物、危险性有害生物的植物进行绿化，或者使用国家明令禁止的农药，对绿化植物进行有害生物防治的，责令停止违法行为，限期改正，并处以一万元以上五万元以下罚款。
第七十条 违反本条例第五十一条第二款规定，古树名木、古树后续资源保护和管理责任人未按照保护和管理方案开展保护和管理工作的，责令限期改正。造成一级古树名木损害的，处以每株二万元以上四万元下罚款；造成二级古树名木损害的，处以每株一万元以上三万元以下罚款；造成被确定为古树后续资源的树木损害的，处以每株五千元以上二万元以下罚款。造成一级古树名木死亡的，处以每株六万元以上八万元以下罚款；造成二级古树名木死亡的，处以每株五万元以上七万元以下罚款；造成被确定为古树后续资源的树木死亡的，处以每株三万元以上五万元以下罚款。
第七十一条 违反本条例第五十六条规定，损害一级古树名木的，责令停止违法行为，并处以三万元以上五万元以下罚款；损害二级古树名木的，责令停止违法行为，并处以二万元以上四万以下罚款；损害被确定为古树后续资源的树木的，责令停止违法行为，并处以一万元以上三万元以下罚款，并依法承担赔偿责任。损害古树名木或者被确定为古树后续资源的树木保护设施的，责令停止违法行为，恢复原状，并处以一千元以上五千元以下罚款。
第七十二条 违反本条例第三十九条、第四十条、第四十五条、第五十三条、第五十六条规定，擅自砍伐树木、古树名木或者被确定为古树后续资源的树木，损害绿化及其设施，损害古树名木或者被确定为古树后续资源的树木及其保护设施，应当给予治安管理处罚的，由公安机关根据有关法律、法规给予处罚；构成犯罪的，依法追究刑事责任。
