荣封第原有房屋108间，占地面积6000平方米。主体五进深“三排九”结构（每进由正座、小院、外廊构成，横排9间）。道光二十五年（1849），为防御天地会，在大宅院的四角分别增建碉楼。同治三年（1864）清政府镇压了太平天国起义重开科举考试后，再在后围墙外建设书院进修斋。1939年11月侵华日军在钦州登陆，为防避兵祸又先后给部分房屋加建夹墙。而今基本保持原貌的屋舍尚有70多间。
结构荣封第属岭南汉民居独特风格的传统建设，先是纵深增加院落，再横向扩展。用高大的墙垣包绕以对外隔绝。头、二座均是“三间两耳”（正房三间，耳房两间）、“明一暗二”（厅堂一间，厢房两间），厢房为上房。头座正中为祖厅，以此为中轴线贯通二、三、四座厅堂。二座正中为女厅，外人及执役男女不可入内。三厅三开间是会客场所，用料考究，布置堂皇，前后格门高耸，宽檐广廊，光亮、庄严。这些厅堂两侧各有一个回廊通绕的四合院，是家庭成员的住所及其附属屋舍，尊卑有序，严格区别，自有天地。各进之间交通不必经过厅堂，既珠联璧合，又独立成章。
三、四座之间的天井两边，女儿墙与屋檐平高，左右的第一个小四合院，廊屋两两相对，那前后也是“三间两耳”、“明一暗二”型式的男、女客厅，堪称经典之作。前向的叫司厅，是男主人书房兼接待贵宾的套间，小厅前格扇门的浅浮雕、通雕工艺精湛，格栅透风采光；大檐前廊，可以出入三厅、偏院，格调清雅。女性专用的客厅叫花厅，俗称倒朝厅，小檐廊分别与四厅和内院通行，氛围素怡。男女客厅之间有小天井正中的一堵漏窗照壁遮挡，向司厅一侧砌金鱼池，象征男士平步青云，向花厅一侧砌花坛，寓意内眷芝兰惠香。两边的廊屋都隔为两间，两端各有一垂脊小门，左廊屋靠近司厅的是放置草稿废纸的，惜字房，靠近花厅的是烧水间，功能有别，屋阶可以来往司厅、花厅，进退有度；以前习俗“男不入厨房，女不进司厅”，自得其乐，内外兼顾，宜室宜家。
四座的过厅设置屏风门，平时紧闭忌避夕阳-，惟有重大事故或贵客来访才“打开中门”迎瑞纳福，营造出既肃穆又规围的气氛。四、五座之间即前庭院，以前外人至此止步，非请勿进了。四座正门两侧外墙平胸高处各嵌有两块花岗岩拴马石。五座为倒廊，不设门楼，墙垣式大门两边分别是门房。显示主人家豁达庄重、文武相济的气概，还隐藏有当时期待后辈连科发甲，增广门庭的深刻意义。再往外侧两边的依次是杂务小院。围墙有五个门口出入，既与“五代恩荣”相呼应，又使得居所象是人与大自然和睦相处的田园诗。
