Núi Đá Dựng là một khối đá vôi cao khoảng 100 mét với nhiửu vách đá dựng đứng nên được gọi là núi Đá Dựng. Núi Đá Dựng vẫn còn hoang dã với những cụm núi non xen kẽ đầm lầy, đồng cử năn và rừng cây bụi, trông giống như một lâu đà i cổ sừng sững giữa trời.
Do đặc trưng cấu tạo, cấu trúc địa chất, cùng với sự xâm thực và tác động của thiên nhiên qua thời gian dà i, nên trong lòng núi có rất nhiửu hang động... Chỉ khoảng 100m nhưng đã có tới 14 hang động lớn nhử, nhưng mỗi hang động mang nét bí ẩn, lạ lùng khác nhau.
Hang Thần Kim Qui có khối đá xanh, dẹp hình con rùa, Hang Dơi có thạch nhũ hình bầu hồ lô. Sang động Bồng Lai thì không khí luôn trong là nh và còn có hình bà n tay Phật in ở vách đá, và o động Mẹ Sinh Con, bạn sẽ có cảm giác hơi khó thở vì cà ng đi sâu, hang cà ng nhử dần, tối tăm. Động Khổ Qua với những thạch nhũ có hình như trái khổ qua khổng lồ và động Sám Hối, có một tượng đá to như hình một nhà sư đang cúi đầu và o vách đá trầm tư.
Không những vậy, Núi Đá Dựng còn rất nhiửu hang thông với nhau tạo thà nh những mê cung. Hang Cổng Trời có cảm giác rất lạng và khó thở vì cà ng đi sâu, hang cà ng nhử khiến ta có cảm giác như đang đi xuống lòng đất. Nhưng cuối hang lại đưa ta lên cao dần và bất ngử thông ra bên ngoà i.
Thêm và o đó là hang Bà Chúa Xứ, hang Trống Ngực (khi vỗ tay và o ngực thì vách hang dội lại thanh âm giống như tiếng trống thùng thình). Hang Lầu Chuông có nhiửu thạch nhũ khi gõ và o sẽ tạo nên những tiếng ngân nga trong vắt như tiếng chuông... và còn vô số những nhũ đá mang hình dáng kì lạ.
Núi Đá Dựng không chỉ là một danh lam thắng cảnh nổi tiếng với nhiửu truyửn thuyết, huyửn thoại. Mà nó còn là nơi ghi dấu nhiửu sự kiện văn hóa, lịch sử của vùng đất Hà Tiên. Chính vì vậy, núi Đá Dựng ngà y cà ng thu du khách đến với danh lam thắng cảnh nà y.