Konon, ketika Lord Nguyen Hoang menjadi gubernur Thuan Hoa dan Quang Nam, ia secara pribadi mensurvei wilayah tersebut untuk mempersiapkan perluasan kerajaannya dan membangun kekaisaran masa depan bagi dinasti Nguyen. Selama salah satu perjalanan berkudanya di sepanjang Sungai Perfume ke hulu, ia menemukan sebuah bukit kecil yang menjulang di samping aliran air yang jernih dan berkelok-kelok. Tanah itu menyerupai seekor naga yang menoleh ke belakang; bukit ini kemudian diberi nama Bukit Ha Khe.

Penduduk setempat mengatakan bahwa pada malam hari, seorang wanita tua yang mengenakan áo merah (tunik tradisional Vietnam) dan celana hijau sering muncul di bukit dan memberi tahu semua orang: "Segera, seorang penguasa sejati akan datang untuk membangun kuil di sini untuk mengumpulkan energi spiritual, memperkuat urat naga, dan membuat Vietnam kuat." Oleh karena itu, tempat ini juga dikenal sebagai Gunung Thien Mu.

Lord Nguyen Hoang sangat gembira, dan pada tahun 1601 beliau memerintahkan pembangunan sebuah pagoda di atas bukit, menghadap Sungai Perfume, dan menamakannya "Pagoda Thien Mu".

Selain itu, karena takhayul, dari tahun Nhâm Tuất (1862) hingga tahun Kỷ Tỵ (1869) pada masa pemerintahan Kaisar Tự Đức, untuk berdoa memohon pewaris, Kaisar khawatir bahwa kata "Thiên" (Surga) akan menyinggung Surga, sehingga ia mengubah nama dari "Thiên Mụ" menjadi "Linh Mụ" (atau "Bidan Suci"). Kedua nama ini tetap digunakan hingga saat ini. Ini juga merupakan salah satu kuil tertua di ibu kota kuno.

Salah satu simbol ikonik yang terkait dengan Pagoda Linh Mu adalah Menara Phuoc Duyen. Menara setinggi 21 meter dan terdiri dari tujuh lantai ini terletak di depan pagoda. Setiap lantai menyimpan patung Buddha. Di dalamnya, tangga spiral mengarah ke lantai atas, tempat patung Buddha emas dulunya disemayamkan.

Selain Menara Phuoc Duyen, Pagoda Linh Mu juga memiliki struktur arsitektur seperti Aula Dai Hung, Aula Dia Tang, Aula Quan Am... beserta prasasti batu dan lonceng perunggu. Lebih jauh lagi, pagoda ini menyimpan banyak artefak sejarah dan seni yang berharga. Patung-patung Dewa Penjaga, Sepuluh Raja, Buddha Maitreya, Tiga Buddha... serta plakat horizontal dan bait-bait puisi di sini semuanya menjadi saksi periode keemasan sejarah Pagoda Linh Mu.

"Angin mengayunkan ranting-ranting bambu dengan lembut."