Nơi đây vốn là trại Kim Mã, thuộc vùng Thập tam trại, nằm ở phía tây nam kinh đô Thăng Long. Xưa kia, đây từng là pháp trường và nghĩa địa. Vì vậy, người dân đã lập ra một am nhỏ để cúng vong linh. Cuối thời Lê - Trịnh, đây là nơi an táng binh lính Tây Sơn tử trận trong trận Ngọc Hồi - Đống Đa năm 1789, khi hoàng đế Quang Trung đại thắng quân Thanh. Lúc này, am được trùng tu và được gọi là đàn Vạn Linh. Năm 1881, nơi này được sửa sang, trở thành chùa Tàu Mã. Đến năm 1898, chùa đổi tên chữ thành Kim Sơn tự. Năm 1932, dân làng mở rộng khuôn viên chùa, tách riêng tòa Tam Bảo, đền thờ Mẫu và đàn tế Vạn Linh.
Chùa Kim Sơn có kết cấu kiểu “nội công ngoại quốc” với phong cách nghệ thuật cuối thời Nguyễn. Khách vào chùa theo ngũ môn quan rộng 50m. Qua cửa là con đường dẫn vào chính điện, đi qua hai nhà tả - hữu mạc nằm ở hai bên một khu vườn. Giữa vườn là pho tượng Bồ Tát đứng trên hồ bán nguyệt. Phía sau là bức bình phong, hai bên có các tháp mộ cổ.
Đi qua một sân rộng là chính điện, gồm 3 nếp nhà ba gian. Nếp nhà chính giữa được xây cao hơn và hơi nhô về phía trước là tòa tam bảo với hai cửa ngách thông sang đàn Vạn Linh và đền thờ Mẫu. Bên trong tam bảo hiện còn hệ thống hoành phi, câu đối và bia đá cùng bức đại tự đề 4 chữ “Kim Sơn Cổ Sát”, 21 pho tượng Phật, bên trên là 4 cửa võng chạm trổ cầu kỳ. Chính điện có pho tượng Phật bằng đồng nguyên khối đúc liền được coi là tuyệt tác nghệ thuật Phật giáo, cao 77cm, nặng 30kg.
Đàn Vạn Linh nằm bên phải tòa tam bảo, hậu cung bài trí hệ thống tượng Phật được đưa về từ chùa Linh Sơn (phố Nguyễn Trường Tộ) từng bị bom Mỹ đánh sập năm 1967. Gian ngoài cùng bày hương án thờ Phật và 2 hương án thờ Vạn Linh, phía dưới là tượng đàn voi Tây Sơn. Bên trái tòa tam bảo là đền thờ Mẫu, bên trong hậu cung đặt khám thờ cùng 3 pho tượng Thánh mẫu Liễu Hạnh, Bà chúa Thượng Ngàn và Thủy Tinh công chúa.
Hằng năm, vào ngày giỗ trận Đống Đa (mùng 5 tháng Giêng), các sư trụ trì chùa Kim Sơn lại lập đàn chay cúng tế vong linh binh lính Tây Sơn và các liệt sĩ đã hy sinh cho đất nước.
Năm 1985, chùa Kim Sơn được xếp hạng Di tích lịch sử - văn hóa cấp quốc gia.