旧名四贤祠，南宋淳熙二年（1175）由吕祖谦邀集朱熹和陆九渊、陆九龄兄弟参加江西信州（现属上饶）鹅湖寺进行学术论辩，后人为纪念这次有历史性意义的集会而建祠于鹅湖寺旁，南宋淳祐十年（1250）朝廷赐名四贤祠，后又改为文宗书院。元末书院毁于战火。清康熙二十二年又一次修复，康熙帝为书院题匾额为“穷理居敬”。