吴氏大宗祠由明湖广布政使吴尚默倡议族人建于崇祯乙卯年（公元1630年），共五楹三进，建筑面积一千多平方米。建成后几经火灾而主体犹存，后人也曾几经修复，使吴氏大宗祠始终保持了建筑的完整和文化的延续。大宗祠具有明显的徽派建筑风格，祠内高悬的匾额和厅中月梁、瓜柱、撑柱等构件上的精美木雕，都有很高的参观和文物研究价值。2004年，吴氏大宗祠被安徽省人民政府批准为省级文物保护单位。1941年皖南事变前夕，新四军曾在大宗祠内举行告别皖南民众大会，政治部主任袁国平发表“告皖南同胞书”的演讲，其情景热烈而悲壮。1991年，泾县人民政府在祠前立碑，将大宗祠定为革命遗址。

    现吴氏大宗祠对外开放，除具备原祠堂功能外，还设有吴作人先生及其夫人萧淑芳女士的书画作品展，以及茂林各时期文化名人的生平简介。2005年，茂林旅游开发有限公司于大宗祠内设“茂林地域文化展”的永久性展区，该展区分为古镇春秋、府第园林、文运传脉、风俗习尚、烽火岁月、前程似锦等六大版块，全面而系统的向游客介绍茂林自然风光和地域文化。