清嘉庆二十三年姚姓徽商姚斯侯,从安徽桐城南姚庄来到安吉孝丰又至杨春桥（今安吉天荒坪港口）。一日姚斯侯来到安吉天荒坪井村，细看此地，发现这里有一座老宅，背靠西山，旁边又有两块长方形的荒地，象一头欲分娩的母猪，预示着这里将是一处人丁兴旺，财源广进的风水宝地,于是姚斯侯便买下这一依山傍水，风景秀丽桂花、古银杏树等很多名贵树种的老宅。等家人安定后，姚氏家族便开始就地取材，经营竹木和山货生意。由于姚氏继承了徽商“诚信为本”的商业理念，很快生意就越做越大。最辉煌时占地达三百多亩，院内建筑10多幢近三百间。民国初年，由于治安问题和出于对自身财产的考虑，姚老爷组织成立了大院保安团，武器都是清一色的汉阳造。姚家盈被当地村民称为“姚宝银”，但他自称“觐侯”。育有三子三女。
1945年4月下旬，新四军苏浙军区指挥机关，由长兴仰峰岕移至孝丰水口井村姚家大院。粟裕司令员亲临前线指挥战斗。新四军苏浙军区在这姚家大院门前打响了第一枪，从而拉开了一、二、三次反顽战役的序幕。在新四军三次反顽战役中，司令员粟裕、政委谭震林等就曾住在该大院内，同时还驻扎有司令部、政治部、供给部、卫生部等机关。从这里发出一道一道命令，使苏浙军区最后取得了三次反顽战役的伟大胜利。新中国成立后，土改时，这里部分建筑给当地农民居住。后一直作为国家粮库。
目前经省文物部门批准，湖州冶大文化艺术有限公司投资1000多万元，对“姚家大院”景点进行全方位开发，并于2005年9月正式开门迎接游客。