原是清嘉慶四年（一七九九年）由地方士紳趙順芳、楊占鱉所創立之西雝社，又稱文昌會。爾後又由創辦人等發動社員募捐，籌建為文昌祠，廟內供奉五文昌帝君。清光緒十四年（西元1888年）興建「磺溪書院」，成為大肚、龍井、鳥日三鄉鎮的教育中心。

其格局為兩進、雙護龍、七開間、帶四垂拜亭之四合院，建材採磚瓦、青石、泉州白、福杉等，極其精緻，為清光緒年間典型之書院建築。院內原設有大殿及拜殿，但拜殿已倒塌過半，只存大殿約150平方公尺，及空地約30平方公尺。
於民國七十四年一月二十七日公告為三級古蹟。
地址：台中市大肚區磺溪村文昌一街10號