Sách cổ còn ghi, khởi nguyên, khi vua Lý Thái Tổ dời đô ra Thăng Long đã đặt tên ngôi đửn là Ngọc Tượng, đến đời nhà Trần đổi tên là Ngọc Sơn. Thời Trần, ngôi đửn để thử những người anh hùng liệt sĩ đã hi sinh trong kháng chiến chống Nguyên Mông. Vử sau lâu ngà y đửn ấy sụp đổ.
Đến thời Vĩnh Hựu nhà Lê (1735-1739), chúa Trịnh Giang đã dựng cung Thụy Khánh và đắp hai quả núi đất ở trên bử phía Đông đối diện với Ngọc Sơn gọi là núi Đà o Tai và Ngọc Bội. Cuối đời nhà Lê, cung Thụy Khánh bị Lê Chiêu Thống phá huỷ. Một nhà từ thiện tên là Tín Trai, nhân nửn cung cũ đã lập ra một ngôi chùa gọi là chùa Ngọc Sơn. Bà i kí trên văn bia chữ Hán Ngọc Sơn Đế Quân từ ký, do Tiến sĩ Vũ Tông Phan soạn năm1843còn ghi được sự kiện nà y như sau: "...Hồ Tả Vọng tên cũ gọi hồ Hoà n Kiếm là một danh thắng đất Kinh kử³ xưa. Phía Bắc mặt hồ, một gò đất nổi lên rộng khoảng ba bốn sà o, tương truyửn là chỗ đà i câu cá thời cuối Lê. Trước đây, ông Tín Trai là ng Nhị Khê nhân có đửn Quan Đế tại đấy bèn mở rộng sửa sang thêm gọi là chùa Ngọc Sơn...".
Vậy thì trong lịch sử, trong khu vực đửn Ngọc Sơn ngà y nay vốn có ngôi chùa tên là chùa Ngọc Sơn. Chùa quay mặt hướng Nam, phía trước dựng gác chuông, phong cảnh nhử thế cà ng thêm khởi sắc. Tuy nhiên, trải tháng năm lâu ngà y, ngôi chùa bị đổ nát, tưởng chừng chùa cũng muốn đi theo người.
àt năm sau chùa lại nhường cho một hội từ thiện đổi là m đửn thử Tam Thánh. Hội gồm những người xuất thân khoa mục tham gia. Khi mới thà nh lập, mục đích của hội chủ yếu là khuyến khích là m việc thiện. Hội thử Văn Xương Đế Quân nhưng chưa có đửn thử. Những người con của ông Tín Trai có quan hệ mật thiết với hội nên đã tình nguyện nhượng lại chùa nà y cho hội. Toà n hội đến là m lễ trước ngà i Văn Xương Đế Quân, xin được quẻ bói viết rằng:
Bảo kiếm tân ma bách hiện quang,
Tứ phương chiếu diện nhậm hà nh tà ng.
Tòng tiửn tự hữu căn cơ tại
Nhuận sắc tăng huy thanh bá dương.
Nghĩa là :
Gươm báu mới mà i ánh sáng choang,
Bốn phương chiếu rọi mặc hà nh tà ng.
Từ xưa nửn tảng còn nguyên đó
Nhuận sắc khang trang nức tiếng vang.
Theo đó, hội tiến hà nh tu bổ đửn thử, dỡ bử gác chuông chùa, cải tạo chùa thà nh đửn thử Văn Xương Đế Quân. Đửn được khởi công từ mùa Đông năm Tân Sửu (1841) đến mùa Thu năm Nhâm Dần (1842) thì hoà n thà nh.
Năm Tự Đứcthứ 18 (1865), nhà nho Nguyễn Văn Siêuđứng ra tu sửa lại đửn. Đửn mới sửa đắp thêm đất và xây kè đá xung quanh, xây đình Trấn Ba, bắc một cầu từ bử Đông đi và o gọi là cầu Thê Húc. Trong văn bia Trùng tu Văn Xương miếu bi ký, do àn sát sứ tỉnh Hà Nội là Đặng Lương Hiên soạn và o khoảng thời gian sau khi tu sửa lại đửn, ghi lại rằng: "...Hiện nay đửn thử mới đã hoà n thà nh, phía trước kử bử nước, là m đình Trấn Ba, ngụ ý là cột trụ đứng vững giữa là n sóng văn hóa. Bên tả, phía Đông cầu Thê Húc, dựng Đà i Nghiên. Lại vử phía Đông trên núi Độc Tôn, xây Tháp Bút, tượng trưng cho nửn văn vật. Qua ba bốn năm, dựa và o tiửn quyên góp mới là m xong...".
Với các văn nhân ở Hà Nội lúc bấy giử, việc hướng thiện và chấn hưng giáo dục rất được đử cao. Khi dựng lại đửn Ngọc Sơn, ngụ ý của các nhà trí thức là muốn nêu cao nửn giáo hóa mang ý nghĩa nhân văn cao cả. Vì thế trong bà i ký, àn sát sứ Đặng Lương Hiên nhấn mạnh rằng: Miếu thử Văn Xương ở khắp thiên hạ, để dạy mọi người là m điửu thiện mà thôi. Nhưng người ta là m điửu thiện không gì quan trọng bằng ngăn lòng dục của người mà bảo tồn lẽ phải của trời, chẳng cầu phúc mà tự nhiên được phúc.
Thà nh Thăng Long xưa là một nơi lễ giáo, trải qua bao phen biến đổi, danh thắng hoang tà n. Cảm nhớ dấu xưa mà các trí thức văn nhân đã sửa sang phục hồi, đủ khiến non sông thêm vẻ đẹp. Vử sau, đửn thử thêm Lã Tổ (thần coi vử thuốc chữa bệnh) và thử Trần Hưng Đạo, vị anh hùng đời Trần, tương truyửn đã cho tập trận thủy quân tại hồ nà y (vì thế Hồ Gươm trước đó có tên là hồ Thủy Quân).
Trải qua nhiửu sự thay đổi, như một nhân duyên định mệnh, đửn Ngọc Sơn vốn là ngôi đửn, rồi xây chùa, rồi dỡ chùa dựng lại đửn và đửn trở thà nh đửn Ngọc Sơn tồn tại cho đến ngà y nay và mãi vử sau.
Một không gian đẹp nên thơ giữa Hồ Gươm trong xanh, nổi bật trên nửn trời là ngọn tháp bút vòi vọi tạo nên không khí thanh bình yên ả, mà lại đầy hà o khí văn chương chữ nghĩa của Hà Nội dấu yêu.
Cũng vì nơi đây là nơi văn nhân Hà Nội và bạn bè tứ phương thường hay tới, nên mỗi dấu ấn ở đây đửu mang ý nghĩa văn chương tao nhã mà sâu sắc. Chẳng hạn ngay cổng ngoà i đã có những dòng chữ Hán mang ý nghĩa triết tự rất ý nghĩa như: Ngọc ư tư (nghĩa là : Ngọc ở đây); Sơn ngườ¡ng chỉ (nghĩa là : Ngửa trông núi).
Quả đúng như lời ứng nghiệm của quẻ bói năm nà o, đửn Ngọc Sơn trở thà nh một nơi nhuận sắc khang trang nức tiếng vang. Bạn bè thế giới và nhân dân khắp đất nước, mỗi khi tới Hà Nội đửu đến thăm đửn Ngọc Sơn xinh đẹp.
Ngà y nay, sĩ tử trước ngà y đi thi thường dập dìu ghé qua đửn Ngọc Sơn thà nh tâm cầu khấn, mong muốn được ngôi sao văn chương phù hộ cho đỗ đạt khoa trường. Đúng như lời Tiến sĩ Vũ Tông Phan viết trong văn bia Ngọc Sơn Đế Quân từ kí: Kể từ nay việc thử thần có nơi có chốn, các bậc sĩ phu cùng nhau hẹn ước đi vử. Người mến cảnh cà ng thêm yêu cả cái danh. Trong hội, ai ẩn dật tu hà nh, ai muốn du ngoạn, nghỉ ngơi đửu đã có nơi có chốn. Hứng vui ngắm trăng dưới nước, hứng vui hóng gió trên non, có thể giúp nhiửu cho điửu thiện, đâu chỉ riêng mình được hưởng.