瑞云楼建于明代前期，占地近五千平方米，历近五六百年，保存着头门、二门、仪门、正厅，原有格局大致完整。

其中的砖雕仪门，精雕细刻，工艺精湛细腻，体现了当时砖雕技艺的水平。穿过仪门，越过天井即是三间开面的正厅。房架高敞，用材粗大稳实，不施雕刻彩漆，朴实庄重，是较为典型的明代建筑。

瑞云楼是心学大师 王阳明（1472-1529）的诞生之地。瑞云楼正门上方挂有一匾，上写“真三不朽”，这时历来对王阳明一生在立德、立言、立功三个方面揭居绝顶的确切评价。厅内悬挂王阳明先生半身中堂画像，两旁有对联，上方高悬三快匾额，分别题写着：“吾心光明”、“文以载道”、“斯文千载”，表露着后人对王阳明先生的推崇。