传闻在修建永芳堂的时候,当时承接工程的老板找了风水大师说这里邪气太重,需要找活人祭祀以消除怨气,狠心的老板居然将自己的女儿埋在建筑下祭祀。因为这个老板女儿的名字里面有个“芳”字,所以叫永芳堂。根据名字就能知道,当时设计师的意图是让这个女孩子永远睡在里面。在建成不久后的时间里,在这栋楼居住的人时不时在晚上听到楼道里面传出女人哭泣的声音,非常渗人。那些当初参与永芳堂设计的人,也在一年时间里面全部死光了。他们将永芳堂设计成八字形,诡异的是八字两撇所指之处皆寸草不生。
其次是通往永芳堂的楼梯也让人不得其解,很多人发现早上的的楼梯数和下午的是不一样的,而且每天在固定时间就能发现。后面居住的人觉得这栋楼风水不好,所以在外面新增了18座青铜雕像。每个铜像都有一条铁链子锁着,如果铜像没有锁链的话,一些教授或学生就会莫名丧失生命,邪门的不行。
直到现在,这栋楼摇身变成中山大学的教学楼,而且经过修整处理,反而成为当地市民心中非常值得一看的热门景点。18年的时候中山大学拟将永芳堂进行扩建改造,从以前的“外方内圆”设计换成宽敞方正的开放式格局,同时将灰白色的墙面换成红砖绿瓦的设计。在改善教学条件的同时,还可以改善校园景观,让学校建筑更加统一。如今的永芳堂早已不再有当年的传闻。