早年塔岭下吴家共有大的宅院三处，其中三合院一处，四合院二处，均按江南民居风格建造，现几乎无存，只留下两处宗堂。三合院、四合院实为家族别墅。有多种功能，内设宗堂以供奉祖宗，其余由裔孙们居住，族里大事均在这里举行。

清乾隆嘉庆年间，由于经济和人口的增长，吴家陆续开始建庭院。约乾隆五十年，上屋开始建三合院，正厅建“始德堂”，以供奉祖宗。所谓“始德堂”，表示三千年祖辈的“至德”精神从这里开始传承。两边厢房为楼房各七间，前为墙门墙，外面照墙。院子建后，上屋又称“大道地”。上世纪七十年代，房屋已破败不堪，各户拆散分建，现该庭院已不复存在。

四房的四合院，二百年前发生大火，整个院子化为瓦砾。

七房的四合院为最后建造，时间大约在清嘉庆十年。虽然此时吴家已开始走下坡路，但终究是一个大家族，经济尚能支撑，房屋的排场、规格尚属可以，粉墙墨瓦，飞檐翘角，楼阁相连，四围走廊骑马可以畅行。

下新屋原称下屋或四问头，因建造该院才成了现在的名称。院子座北朝南，最前面的为朝东的四架大墙门，中间有两扇厚重的木门，坚实的门槛。进入墙门是一个门庭，由照墙与前进所围，前进共七间，前有三级长条台阶，前后有宽阔的廊沿，中间穿堂三间，上挂有扁额，柱子上有楹联，平时走边门，遇到祭祀等大事才开穿堂门。穿过穿堂里面是天井，天井中间设有石门坊，门楣石刻篆书“安贞门”，两旁石柱楹联，两方石楹联文革时被移除，现已不知所踪；石门坊把天井分隔前后两部分，即前天井、后天井。最后为正厅三间，中间是宗堂，门额上挂有黑底金字的“崇德堂”堂扁。何谓崇德堂？“崇德”之“崇”是推崇的意思。“德”是道德、德行，也就是人的品质或品格。“崇德”即主张人要推崇高尚的品格。这块珍贵堂扁，几经磨难，总算保留至今，已属不易。两旁分东西厢楼房，东西厢房后各有两个独立庭院。东庭院设有水井两口；西庭院内有小花园，栽有桂花树、筑有假山及月洞门。

“安贞门”其得名于《易经》，坤卦的彖辞“安贞之吉，应地无疆”。因天（乾）南地（坤）北，安贞门处于坤位，顺应乾德。

这些象征吴家兴旺的院子，曾经吴家子嗣们居住生活的地方，现在仅两处存宗堂和七房破残不堪的安贞门石门坊，残存的七房东厢房也面目全非。

下新屋地名因新建房屋而得名。此时正值盛世，清王朝的鼎盛时期，也是吴家一族最为兴旺的时期。此时我吴家一族无论族产和名望都大，子息旺盛，可称得上“枝繁叶茂”。

嘉庆未年吴家开始出现败相，原因归结起来不外有三：一是人口增度，人均占有土地逐年减少；子孙们开始懒惰，坐吃祖业，没有祖辈开拓进取的思想，出现堕性。二是因灾因病带来的家庭变故。有说法四房太公外面出事，被人所杀，家里被洗劫一空，又遭纵火灭迹，走马楼被烧，家产几乎毁之一炬。三是七房造墙门坏了风水等（坏风水为迷信之说）。

关于四房的这场大火，现在老人们传说很多，一种说法是四房太公在朝庭是做官的，被朝庭所杀，另一种是被强盗劫财所杀。大火的说法，说是管家放的，趁机打劫目的是毁灭证据。这些都是传说，无以考证，但火烧的事是事实，四房的败落是事实。现在四房大部分人迁往别处。