顺昌为理学名区，贤才辈出。南宋咸淳九年（1273年），时任福建闽海道佥宪节的顺昌人廖邦杰在县治东创建双峰书院，以传播理学文化为主，内有祭祀杨时、廖刚、朱熹、廖德明四先生的祠堂，是设在顺昌城内的首家书院。后毁于战火。

元至元二十九年（1292年），郡判官毋逢辰在原址复建双峰书院。延祐年间（1314—1320年），邑尹张元亨主持修复书院。书院于延祐二年腊月完工。书院之东修建有三道门，名“师交渊源之堂”，堂前建一祭拜的亭子，名“道南亭”，在此可“左聆弦歌之音，右仰河海之容”。书院还增建四贤堂，祀杨时、廖刚、朱熹、廖德明四贤，激励书院学生见贤思齐，强化学派的认同感和凝聚力，使得学生能够“遵从其学”“信从其道”。双峰书院奉祀廖刚、廖德明二贤的同时奉祀杨时和朱熹，是因为廖刚学于杨时，廖德明学于朱熹，顺昌人亦多称为“四贤”，以表尊师重道和追溯道统，如此“登斯堂，睹斯像，知此为四贤，则知所敬，知所敬则知所学，知所学则知所祖宗”。

明天顺初年（约1460年），通判宋玺到双峰书院拜谒，言说既然追溯二廖先生的道统至杨时和朱熹，并将他们四人并祀，那么也应再追溯至罗从彦和李侗，书院之堂既以“师友渊源”命名，没有将罗、李二贤遗漏在外的道理，应该将罗、李二贤与双峰书院四贤合祀，以补全昔日未全的礼仪，这样师友间相互传授接受，道学上相互继承的言行为可为乡人所传诵而熟知。于是书院增祀李侗、罗从彦，称为“六贤书院”。

明宪宗时（1465—1488年），书院破败倾毁。成化六年（1470年）十二月，福建按察副使何乔新命顺昌县丞赵玺在书院故址建正祠三间，前厅三间，规模宏丽。新建的正祠里，仍祀杨时、廖刚、罗从彦、李侗、朱熹、廖德明六贤。

正德十六年（1521年），县令马性鲁将六贤书院移建到位于县治西资胜寺的遗址上。书院有正堂五植，后寝厅一间，东西廊房各四植，堂西空地为园；仪门三植，祀廖刚和廖德明二先生,令廖氏裔孙廖光祖主持奉祀，置学田30余亩、地7亩，并易名为二贤书院，亦称二贤祠。之所以奉祀对象从六贤改为二贤，是因为书院屡修屡毁，经历多次重修，却难以为继。而对学子和百姓来说,与其追溯其遥远的“师门”“道统”,不如将书院负责人固定下来，以维持书院发展。因此书院抛开道统谱系的束缚,仅祀廖刚、廖德明二人，并命廖氏子孙后代维持，以此保障书院的长久发展。

明正德十五年《顺昌邑志》二贤院（二贤书院）地址示意图

清乾隆二十八年（1763年），知县陈锳扩建二贤书院，监生张正源捐资在书院后增建步云亭，在书院右边增建敬业轩。光绪二十一年（1895年），朝廷下诏将各省的书院改为学堂，至此延续了上千年的书院制度宣告结束。光绪三十年，二贤书院与华阳书院共同改办为顺昌县高等小学，是顺昌县的第一所小学，即今顺昌县实验小学的前身。