大夫第是古村保留最完整、最完美的一幢古建筑，中厅叫“贻燕堂”，出自《诗经•大雅》：“贻厥孙谋，以燕翼子”。意为留下安定天下的谋略，使子孙后代安享太平。屋内梁柱上雕刻有龙凤呈祥图案，雕工之精、用工之细、做工之良，可见一斑，叹为观止。中厅前壁画有“富贵长寿图”“英雄独立图”，书法题写有唐代诗人王维诗歌及《藤王阁序》开篇之句。据载，因潘氏十三世潘树球、十四世潘思灏、十五世潘郁文祖孙三代均被赐封为大夫称谓，遂称其屋为大夫第。大夫第筹建于清朝同治元年，耗资10000多银圆，先后经历，历时22年，直到光绪十年竣工。