柳溪书院系潘氏宗族私塾，为仙塘潘氏十三世孙潘村谦、十八世孙潘湘澜合建。因门前小溪两岸垂柳依依而名。书院按“二堂二横一拜亭”布局建造，正门朝东，寓意“紫气东来，培贤育才”。书院拥有讲堂、拜亭、鱼池、照墙、“四福献才图”、走廊、古井、书房等组成。

      书院天井的图腾已有近200年历史，图腾是，由鹅卵石盘缠而成的“金铜钱”，铜钱四个角由四只蝙蝠相拥而成，因为“蝠”与“福”同音，分别代表福、禄、寿、禧四福。整个图腾有“四福献才”的含义，寓意学子读书“智慧圆通、才气滚滚”。