香山公园总面积2400余亩。在人们印象里香山是一个深秋红叶遍山，仲夏绿荫压地林木葱葱花树繁茂典型的
森林公园。其实香山也是一处皇家园林，历史上也曾"金碧辉煌"过。清代著名的"三山五园"之一--静宜园，即是此处。
在辽代，这里是私人宅邸。当时有个中丞名阿勒弥者，见这里山青水秀，遂建宅舍。金世宗完颜雍大定二十六年(1186)，始在此山建大永安寺，亦叫
甘露寺，即现在
香山寺之前身。金章宗时，又在此建会景楼和祭星台建筑，从此皇家苑囿的规模初步形成。清乾隆十年(1745)，动用了大批人力、物力、财力，对香山进行了大规模建设，形成了盛清时期京西的"三山五园"之一，即"静宜园"。此时园内景物非凡，建筑多样，各式的亭台楼阁、廊轩馆榭、牌坊、庙宇等分布在山峦坡坎之上，掩映在茂林绿荫之中。静宜园曾有二十八景：勤政殿、丽瞩楼、绿云舫、虚朗斋、璎珞岩、翠微亭、青未了、驯鹿坡、蟾蜍峰、栖云楼、知乐濠、香山寺、听法松、来青轩、唳霜臬、香岩室、霞标蹬、玉乳泉、绚秋林、雨香馆、芙蓉坪、栖月崖、重翠崦、香雾窟、玉华岫、森玉笏、隔云钟。
该园经过1860年英法联军和1900年八国联军两次野蛮掠劫之后，景物所剩无几。
辛亥之后，香山亦为军阀、官僚政客们所占有，圈地归己，大建别墅，破坏了景观。
新中国成立后，政府对香山公园进行了修缮，新建了许多设施，增设了空中索道等。
香山海拔557米，最高峰顶有一块巨大的乳峰石，形状像香炉，晨昏之际，云雾缭绕，远远望去，犹如炉中香烟袅袅上升，故名
香炉山，简称香山。
仿照
江西庐山而来。李白名句"
日照香炉生紫烟，遥望瀑布挂前川，飞流直下三千尺，疑是银河落九天"。庐山有香炉峰，香山仿香炉峰之名，故名香山。
古时香山曾是杏花山，每年春季杏花开放，清香四溢。明代王衡记载："杏树可十万株，此香山之第一胜处也。"明诗有"寺入香山
古道斜，琳宫一半白云遮，回廊小院流春水，万壑千崖种杏花"之句。《帝京景物略》中有记载："或曰香山杏花香，香山也……"。
