邺侯书院，在烟霞峰下，原名端居室，是唐朝宰相李泌隐居的地方。据说李泌七岁能写文章，受到唐玄宗的喜爱。燕国公张说称他为“奇童”，宰相张九龄呼之为“小友”。天宝十四年（755）安禄山叛唐，攻下长安，玄宗李隆基奔蜀，太子李亨在灵武（今
宁夏回族自治区灵武县）即位，是为肃宗。李泌前往谒见，陈述国家成败的原因，得到信任。但他不想做官，“愿以客从”，参议国事。他常常陪着皇帝乘车出入，看见的人都指着说：“衣黄者圣人（指肃宗）也，衣白者山人（指李泌）也。”长安收复后，肃宗回到京城。但中书令崔圆、宦官李辅国专权，他们看到肃宗对李泌重视，就十分嫉妒。李泌怕自己受祸，遂托故请求退隐
衡山。皇帝答应了，赐给他隐士衣服，并替他修了房子。他在南岳除了好神仙道术外，还好读书。韩愈《送诸葛觉往
随州读书》诗：“邺侯家多书，插架三万轴”，可见他藏书之多。后来李辅国被诛，代宗立，李泌复出从政。德宗时，位至宰相，封为邺侯。他博学多谋，善于直谏，历仕玄宗、肃宗、代宗、德宗四朝，政绩比较显著。
李泌死后，其子李繁在南岳的左侧修了个书院纪念他，叫做南岳书院。南宋时，又被迁到集贤峰下，改为邺侯书院。到了元代，书院遭到破坏。清乾隆年间（1736—1795），衡山一个知县在烟霞峰下的李泌故居处，建立了一个义学，仍叫邺侯书院。现在的建筑是1922年在此重修的。檐柱上有一副对联：“三万轴书卷无存，入室追思名宰相；九千丈
云山不改，凭栏细认古烟霞。”它表达了作者的怀古深情。
