1、主楼是普通的客家民居，门前有一个大鱼塘，四周是坚固的围墙，石楼既展示了客家围屋的一面，也充分展示了其防范需要的一面。
2、该楼规模和总体布局、房屋构架及气势，均表现出客家传统建筑艺术和营造者亦商亦儒亦官的文化品位。这也表现了营造者廖肇衍当时的身份与地位。
3、主要居住的房屋年久失修，现已破烂不堪或坍塌不全，唯有石屋抗腐蚀能力强，其保存至今尚完好。
4、桂山石楼所在的桂山村，自然环境得天独厚，三面青山环抱，四季溪水萦绕，夏无酷暑，冬无严寒，四季无旱涝之患，是个物阜民丰的桃源之地。
5、桂山石楼建在桂山村中心地带，它是由主楼、正屋及内、外横屋组成的一个大宅院。气势最为雄伟，也是最值得仔细欣赏的。
6、站在主楼下面，必须仰头才能够看到主楼的顶端。主楼一、二层是用花岗岩石条砌筑的，三至六层楼是用特大号青砖构建的，顶层是用直径0.5米杉木做楼枕，棚板上面铺垫青砖，在主楼的四周墙身上，有许多炮眼，这是当时建造者为了防御匪患而专门设计的。
7、在主楼正前方，有三栋正屋，共有41间房屋。正屋左右两侧均有4米宽的巷道，上面铺满了鹅卵石。主楼两侧是横屋，共有70多间房。在主楼后面还有数亩空地，当年应该是一个后花园。整个石楼建筑群一共占地1.8万平方米，建有130多间房屋，如此庞大的建筑群在紫金县乃至河源全市的清代建筑中，实不多见。
