Nằm giữa bốn phố Đinh Tiên Hoàng, Lê Lai, Lê Thạch và Ngô Quyền, công viên này nguyên là phần đất của một ngôi chùa cổ - chùa Phổ Giác, tức chùa Tàu - của làng Hậu Lâu. Năm 1883, thực dân Pháp chiếm xong Hà Nội, bắt chùa này chuyển tới vườn viện Thái y, nay ở phố Ngô Sĩ Liên để lấy chỗ xây dựng toà Đốc lý, Kho bạc, Bưu điện và một vườn hoa. Năm 1886, nhân tổng công sứ Pôn Be (Paul Bert) chết, thực dân lấy tên ông ta đặt cho vườn hoa này. Năm sau, thực dân lại đúc tượng y dựng tại đây. Năm 1890 lễ khánh thành tượng tổ chức rùm beng. Tượng Pỗn Be đặt trên một bệ đá ở chỗ bây giờ là bồn hoa tròn, mặt nhìn ra hồ Gươm. Đằng sau tượng, có dựng một toà nhà bát giác làm chỗ cho nhạc binh biểu diễn những chiều chủ nhật.
Năm 1945 sau khi Nhật đảo chính Pháp, thị trưởng Trần Văn Lại cho hạ tượng này (cùng với một số tượng do thực dân dựng ở trong thành phố). Sau cách mạng, vườn hoa này đổi tên là Chí Linh. Đó là địa danh một vùng núi ở phía tây Thanh Hoá, một căn cứ của nghĩa quân Lê Lợi (đầu thế kỷ XV). Đặt tên này vì công viên gần hồ Gươm liên quan tới truyền thuyết về vua Lê trả gươm thần, và trên bờ hồ phía tây có đền và tượng vua Lê. Xung quanh hồ, ngoài phố Lê Thái Tổ, có các phố mang tên các danh tướng của vua Lê: Lê Thạch, Lê Lai, Nguyễn Xí, Trần Nguyên Hãn.
Năm 1984, thắt chặt tình hữu nghị Việt - Ấn, công viên mang tên Thủ tướng Ấn Độ Indira Gandi.
Nhân kỷ niệm 50 năm ngày giải phóng Thủ đô (10/10/1954 . 10/10/2004) và chào đón kỷ niệm 1000 năm Thăng Long - Hà Nội, thành phố Hà Nội đã quyết định xây dựng tượng đài vua Lý Thái Tổ tại vườn hoa lịch sử này. Lễ khánh thành tượng đài Lý Thái Tổ được tổ chức ngày 7/10/2004. Tượng vua Lý Thái Tổ cao 1.010cm, trọng lượng 34 tấn, theo mẫu của nhà điêu khắc Vi Thị Hoa, do các nghệ nhân đúc đồng nổi tiếng huyện Ý Yên (Nam Định) tạo tác.
Theo Hà Nội Danh thắng và Di tích tập 01
