「三義客家書院」是文林國中校長吳景豐位在雙潭社區內的老宅.建於民國五十年,是一幢樓板面積達六十餘坪的兩層式樓房,琉璃瓦、白牆搭配沿著牆壁伸展的綠色藤蔓,展現出質樸的古典雅趣.在社區多元的現代建築群中,顯得格外醒目。
這座吳家古厝早期是廣東梅縣秀丁吳秉睿(日據時代栗社詩人)的老宅,改建後,由吳秀才之子於民國廿六年起經營「精米所(日語)」,是三義客家聚落的集穀中心,也是舊時經濟活動的互動環節,在富時曾開創出金店面的時代格局,最為當地人津津樂道。一直到民國六十年吳秀才之子去世後,「精米所」才結束營業。