首任住持慧根法师于清光绪八年(1882)从缅甸请回大小玉佛5尊,留下两尊供沪上信众瞻礼。先在上海张华浜建茅蓬,后于沪郊江湾车站附近建寺,供奉玉佛。慧根法师圆寂后,有本照、宏法法师先后继任住持。宏法法师圆寂后,有可成法师继任住持。 他于1918年起,在槟榔路(今安远路)建新寺,10年方成,即今天的玉佛禅寺南院所在地。因可成法师传承禅宗临济法脉,故定名为“玉佛禅寺”。可成法师兴建新寺,费尽心力,被人称为玉佛禅寺的中兴者。
可成法师圆寂,由远尘法师、震华法师、止方法师、苇一法师、苇舫法师先后担任住持。其中震华法师法师在寺内创办上海佛学院,培养了一批僧才。又在寺内设立图书馆和弘一大师纪念会,并发行《妙法轮》刊物,大力弘扬佛教文化。1945年,为纪念昆明“一二·一惨案“殉难烈士,在玉佛禅寺举行盛大公祭活动,主祭团由宋庆龄等7人组成,公祭后举行游行,影响甚大。
1979年,真禅法师被推荐为玉佛禅寺第十任住持。在他的努力下,寺宇焕然一新。1981年起,开始举行各种法务活动,并着手筹印和流通一些经书、法物。
1982年和1992年分别举行建寺100周年和110周年纪念法会。1985年举行传戒活动,由真禅法师开坛传戒,得戒弟子600余人。1995年,真禅法师圆寂。2000年,由诸山长老公推觉醒法师为玉佛禅寺第十一任住持。同年,购进原利群医院旧址,计划改建成玉佛禅寺新的弘法区域。现在的玉佛寺,分为前院和后院两大部分。