De legende vertelt dat toen Heer Nguyen Hoang gouverneur werd van Thuan Hoa en Quang Nam, hij persoonlijk het terrein verkende ter voorbereiding op de uitbreiding van zijn koninkrijk en de vestiging van een toekomstig rijk voor de Nguyen-dynastie. Tijdens een van zijn paardrijtochten stroomopwaarts langs de Parfumrivier stuitte hij op een kleine heuvel die oprees naast het kronkelende, heldere water. Het landschap leek op een draak die zijn kop omdraaide om achterom te kijken; deze heuvel kreeg de naam Ha Khe-heuvel.

Volgens de lokale bevolking verschijnt er 's nachts vaak een oude vrouw in een rode áo (traditionele Vietnamese tuniek) en groene broek op de heuvel, die iedereen vertelt: "Binnenkort komt er een ware heerser die hier een tempel zal bouwen om spirituele energie te verzamelen, de drakenader te versterken en Vietnam sterk te maken." Daarom staat deze plek ook bekend als Thien Mu-berg.

Heer Nguyen Hoang was dolblij en gaf in 1601 opdracht tot de bouw van een pagode op de heuvel, tegenover de Parfumrivier, en noemde deze "Thien Mu Pagode".

Vanwege bijgeloof, van het jaar Nhâm Tuất (1862) tot het jaar Kỷ Tỵ (1869) tijdens het bewind van keizer Tự Đức, vreesde de keizer dat het woord "Thiên" (Hemel) de Hemel zou beledigen wanneer hij bad om een ​​erfgenaam. Daarom veranderde hij de naam van "Thiên Mụ" in "Linh Mụ" (of "Heilige Vroedvrouw"). Deze twee namen zijn tot op de dag van vandaag behouden gebleven. Dit is tevens een van de oudste tempels in de oude hoofdstad.

Een iconisch symbool dat met de Linh Mu-pagode wordt geassocieerd, is de Phuoc Duyen-toren. De toren, 21 meter hoog en bestaande uit zeven verdiepingen, staat voor de pagode. Op elke verdieping bevindt zich een Boeddhabeeld. Binnen leidt een wenteltrap naar de bovenste verdieping, waar vroeger een gouden Boeddhabeeld stond.

Naast de Phuoc Duyen-toren omvat de Linh Mu-pagode ook architectonische bouwwerken zoals de Dai Hung-hal, de Dia Tang-hal, de Quan Am-hal, evenals stenen stèles en bronzen klokken. Bovendien herbergt de pagode vele waardevolle historische en artistieke artefacten. Beelden van de beschermgoden, de Tien Koningen, de Maitreya Boeddha, de Drie Boeddha's, en de horizontale plaquettes en spreuken getuigen allemaal van de gouden periodes in de geschiedenis van de Linh Mu-pagode.

"De wind laat de bamboetakken zachtjes heen en weer wiegen."