阎锡山旧居始建于1931年前后，陆陆续续，时建时停，一直到1937年抗日战争爆发前夕，才建成现在这样的规模（因抗战爆发，一些工程尚未完全峻工）。在此期间，先后建成了都督府、得一楼（又名昌春楼）、上将军府、二老太爷府、穿心院、新南院、东花园、西花园以及子明慈幼院，大小共二十七个院落，近千间房屋（现存七百余间），总占地面积33000多平方米。
这里最为恢弘的是东西花园。从石沟街往南一拐弯儿，一条九米宽五十米长的大巷里，有一座颇为阔绰的东门厅，就是东花园。这个门厅当年曾悬挂着一块巨大的门匾，上书“文沱草庐”四个遒劲的颜体大字。所谓“文沱”，即文山沱水。
进了大门，是东花园的一院。这是阎居里最大的一个院子，四面均建厅堂，中间是花坛、假山和喷水池（假山、喷水池已毁，与在原假山处建一影壁，正面镌刻有当年孙中山先生书赠阎锡山的“博爱”二字手迹），周围则是用条石、鹅卵石和青砖铺漫雕砌成的带有装饰图案的车马环行便道。在这个院子的东北角，还有一个喷水池，直径丈余，全部用青石雕砌而成，四周围栏上均刻有花卉、人物，栏杆顶部蹲有姿态各异的小石狮。自来水通过中间一根高达四米的盘龙石柱（整块巨石雕成），让顶部莲花座上一只维妙维肖的顽皮小石猴尿出来，与建在院子中心的喷水池、假山相映成趣。可惜这些石雕在“文革”中亦遭到不同程度损坏。（这个院子据说为阎锡山的副官、卫兵等人居住办公的地方）。
穿过一院东厅中间的过道，便是东花园的二院。这个院子比一院面积要小一些，但建筑上豪华庄重得多。栩栩如生的石雕、砖雕、木雕以及明柱、鼓墩、飞檐、斗拱，层层叠叠、刻刻缕缕，均为典型的晚清宫殿式的建筑风格（据传，此院建好后，阎父书堂，继母陈秀卿即在此院正厅小住）。
阎锡山旧居的建筑还有一个很明显的特点是以东为上，每个院子的东房都高出其他方位的房屋。这主要是因为有河边镇东那座不大不小的文山，它既是镇上的风水与象征，又是乡民们的倚靠与荣耀，所谓“背靠文山，而对沱河”或者叫“文山钟秀，沱水环流”，均寄托着人们的一种美好愿望，表达了他们的一种满足与自得。
了解了当地这种建筑上的习俗，就不难理解二院东大厅为何会建得那么巍峨壮观了，这座大厅分上下两层，正面大厅是当年阎氏家族议事和接待宾客、举行宴会的场所。一九三四年十二月十七日阎锡山的父亲阎书堂病逝，灵堂就设在这里，整整一个月的祭奠活动，满院金人银马、雪山素海，终日香火燎绕，笙管长鸣，十分排场。国民政府主席林森的代表、山西省政府主席徐永昌，国民党军事委员会委员长蒋介石的代表、军政部长何应钦都来此致祭尽哀。我们从现在遗存的一些历史照片和大量的文献资料上，可以看到阎府当年的赫赫威势。通过东大厅一侧的过道，便是东花园的三院了。它比起前两个院要小得多。但就建筑艺术而言，却更是精雕细镂，格外的考究。不说其它，单说四面厅堂的底基，均由青石雕缕成莲花状石基（即须弥座），可见其是多么地不惜钱财工本，经求至善至美。在正厅门楣处，现在还依稀能辩出“当仁堂”三个砖雕大字，这大概是取天降大任于斯人，吾当仁不让之意，主人踌躇满志之态溢于言表。
在东花园三院正厅的后面，还有一个比较隐秘的偏小院，也是阎锡山经常居信办公的地方。据说，他每次乘车从外面回来，不需要经过外面的大院，即可将汽车停在后面的车道上，人可以从旁门进来，直接进入这个小院的正房歇息。如果有人求见，他亦无需绕到外面，而是沿着小院流金溢彩的迥廊转到前面正厅（即当仁堂），便可会客办公。他父亲治丧期间，他就住在这个院子里。另外还有一个传说，讲的是冯玉祥在冯阎倒蒋之前，也就是一九二九年十月至一九三○年二月被阎锡山软禁在五台建安村（阎锡山岳父村）期间，曾来这个小院住过，经初步考证，可能是传说。
在三吉院的偏东南方向，现在耸立着一座三层大楼，底层是十分宽敞的三眼窑洞和一条通楼上的石通道，上面两层由青砖砌成。楼顶方砖平铺，可供游人登高眺望，近山远水，一览无余。但从这座楼的用材、风格来看却有点不伦不类。经考证，这座楼的楼顶过去跟周围的建筑物一样，也是插飞挑檐、通瓦板结构，人是上不到楼顶的。当年阎锡山也曾在上面住过。一九三七年九月日本侵略者进犯山西，两个月后太原沦陷，河边阎锡山旧居也驻扎了一批日本军队，使这座大楼遭到了严重破坏。现存楼房的上两层，是解放后由设在这里的忻州地区疗养院重建的。据当地老百姓讲，过去这楼叫“红楼”，又叫“七星楼”。
在东花园的对面，是西花园。比起东花园，西花园的规模要小得多，破坏也较为严重。据说，这里原本是阎锡山的二公子阎志宽（20岁夭亡，其妻赵绣锦、子树楹、又树榕现均侨居美国）结婚用的。现存建筑除南窑和建在西侧的双层电影放映厅还算保存完整外，其余均已逐年毁了。其中较为有价值的西花园门厅和东厅竟然毁于一九八二年《中华人民共和国文物保护法》正式颁布的前几个月，不得不令人扼腕叹惜。