伏波山公园位于桂林城中心东北部，滨江北路北端。东濒清澈的
漓江，北邻绮丽的
叠彩山，西近挺拔的独秀峰，总面积1.6公顷，山体占地约0.7公顷，是一座微缩盆景式公园
伏波山孤峰突起，旁无坡埠，海拔213米，山上石纹横陈，岩层稍向东南倾斜，崖间山榕依附，野藤缠石，山崖峭壁上，刻有“伏波山”三个大字，是当代美术大师刘海粟先生手笔。山体为浅灰色纯质石灰岩，东西长120米，南北宽60米，半枕陆地，半插漓江，高出平地63米，漓江流经此地，被山体阻挡，形成巨大回流，古人取其“麓遏澜洄”伏波涛之意，称其为伏波山。而民间传说伏波山的得名，则因为汉代伏波将军马援曾于此山射箭退敌，削岩试剑的缘故
伏波山素以岩洞奇特，景致清幽，江潭清澈而享有“伏波胜境”的美誉。伏波
山南麓有
还珠洞，南北穿透，由南进入可通山北麓水边。岩口向东，唐时称东岩，宋代开凿了一条西北麓入岩的陆路。还珠洞石室横剜山根，高旷明洁，与进洞廊道形成吓“T”字型，底部岩石凹凸下平，西高东低，低处伸手可掬江水，高处则如3米跳台。一漏斗状巨石自洞顶垂下，渐次缩小，离地寸许，戛然而止，这就是有名的试剑石。关于试剑石，还流行着这样的谶语：“岩石连，出伏元。”就是说，这根石柱能伸能缩，伸时与地面连接，则桂林必出状元，所以试剑石又叫状元石
还珠洞内
石壁遍布古人题刻造像，显示出这是一处自然、人文两美兼具的名胜之地。正对伏波潭，有清俞徵、李雍、李质题的“蓉镜”二字，意为江潭碧波澄澈似镜，伏波山倒映水中，宛如镜里芙蓉，楚楚动人。寥寥二字，高度概括了伏波潭的景观特色。在还珠洞石刻中，最有价值的是宋代米芾的自画像和题名。米芾，字元章，曾任官临桂县尉，他的诗书画俱佳，书法行草自成一体，与苏轼、黄庭坚、蔡襄齐名，向被称为宋代四大书法家
据统计，公园现存石刻100余件，造像36龛，239尊。
千佛岩及还珠洞摩崖造像，大多为晚唐时期作品。这些造像面容慈祥，体形袅娜，袈裟轻薄，线条流畅。此时为唐宣宗复崇佛法之际。虽其造像精湛者不多，但在造像艺术史上，这些造像有较高的价值。这些造像，在人物身体造型上有较多的南国风韵，其宗教色彩较盛唐时期明显逊退，而溶入了较多的民间风格。
论石刻，上起唐代，下至民国，最早的游览题名是唐咸通四年(公元863年)原桂管观察使赵格等人的题刻，距今已有1100余年。此外，不少著名人物也在此留下了足迹，如米芾、范成大、方信孺、刘克庄、张孝祥、徐霞客、周进隆、杨芳等，他们游览之余，写下了大量的赞美诗篇。
