Gò Rùa là nơi chúa Trịnh đã cho xây dựng Tả Vọng đình làm nơi hóng gió về mùa hè. Năm 1884, Bá Kim, một tên đại phú, tay sai của thực dân Pháp, chạy chọt để được sử dụng gò Rùa với mục đích là đem chôn hài cốt của bố mẹ hắn, vì hắn cho đây là nơi đất tốt theo thuật phong thuỷ. Để lừa bịp dư luận, hắn nói trệch ra là muốn xây dựng ở gò một ngọn tháp để làm “gối đằng sau” cho chùa Báo Ân lúc đó chưa bị Pháp phá.
Hắn được phép xây dựng ngôi tháp đó nhưng phải để nguyên Tả Vọng đình, đào móng xây thêm cho vững chắc và xây các tầng tháp mới lên trên. Ngay đêm hôm khai móng, y cùng một số tay chân ngầm đem hài cốt bố mẹ ra chôn xuống giữa gò. Nhưng liền đó một bàn tay bí mật đã đào hai hài cốt của bố mẹ hắn vứt xuống hồ, chỉ còn trơ lại trên gò hai cái quách rỗng.
Bá Kim đã trót hứa với quan trên, cho nên vẫn phải tiếp tục công việc xây dựng.
Để thưởng cho công Bá Kim, thực dân Pháp đặt tên cho tháp là tháp “Bá Kim” nhưng nhân dân Thủ đô, vì tháp làm trên gò Rùa, vẫn gọi là tháp Rùa.
Theo Hà Nội Danh thắng và Di tích tập 01.