Comme beaucoup de lieux de culte au Vietnam, la pagode au pilier unique est liée à une légende.

Celle-ci remonterait au XIème siècle lorsque l’empereur Ly Thai Tong, deuxième représentant de la dynastie Ly qui régna de 1028 à 1054, ordonna la construction d’une pagode en forme de lotus après avoir eu un fils suite à un rêve au cours duquel la déesse de la miséricorde (Quan Am) assise sur un lotus au milieu d’un lac lui tendait un nourrisson.

D'après une stèle du XIIe siècle, "au milieu du lac Linh Chiêu, fut érigée une colonne de pierre supportant un lotus à 1000 pétales qui repose sur un pagodon rouge ".
Chaque mois lunaire, le 1er et le 15e jour, il venait s'y recueillir. Dans la pagode, on trouve un autel dédié à la déesse Quan Am.



La pagode a été reconstruite au XIIIème siècle par la dynastie des Tran puis restaurée par la dynastie des Nguyên. Elle traversa ensuite les années sans trop de dommage jusqu’en 1954 lorsqu’elle fut en partie détruite par les Français avant que le président Ho Chi Minh ne la fasse reconstruire en 1959.