Autrefois, il s'appelait la tour de nuage blanc,la tour Anyuan, la tour Guiyue, la tour Chuguan, etc. Ensemble avec la Tour de la Grue Jaune, le Temple Dhutanga et Pavillon Nord, ils sont connus sous le nom de « quatre bâtiments de l'Antiquité ». La culture de la Tour Sud peut se dater jusqu’à la Dynastie Jin de l’Est. Au début de la Dynastie des Song du Sud, la Tour Sud devint plus en plus connue et se transforma en un site touristique. Il est restauré en 1985 dans la zone sud du parc, à 185m au sud-est de la Tour de la Grue Jaune, et à 100m au sud-ouest du Pavillon Baiyun.