Có nhiều truyền thuyết lý giải cho sự hình thành đền Kim Ngưu gắn với hồ Tây. Trên tấm bia trong khuôn viên đền ghi lại rằng: Khoảng năm 1030, triều Lý có vị thiền sư họ Dương, pháp danh Không Lộ, giỏi nghề y, đã sang sứ nhà Tống chữa bệnh cho hoàng tộc. Sau khi người nhà của vua khỏi bệnh, vua đặc ân cho sứ thần An Nam chọn bất cứ sản vật gì. Thiền sư Không Lộ xin một ít đồng đen để đúc chuông làm kỷ niệm. Khi về nước, thiền sư cho đúc một quả chuông lớn. Khi thỉnh, tiếng chuông ngân vang sang tận nước Tống. Trâu vàng của vua Tống ngỡ tiếng mẹ gọi liền chạy thẳng sang nước Nam. Đến khu vực rừng lim ngoài kinh thành Thăng Long, không còn nghe tiếng chuông ngân, trâu vàng bị mất phương hướng đã quần thảo khiến khu rừng lim sụt thành hồ nước mênh mông. Thiền sư bèn thả quả chuông đồng đen xuống hồ Kim Ngưu (hồ Tây ngày nay). Tại đây, người dân đã lập đền thờ thần Kim Ngưu.
Năm 1947, đền Kim Ngưu bị đạn đại bác của Pháp phá hủy. Năm 2000, đền được xây dựng lại với kiến trúc kiểu chữ Đinh, có tam quan, phủ chính, điện thờ Mẫu, sân trong và nhà khách. Trong đền hiện còn lưu giữ 32 đạo sắc phong cho thần Kim Ngưu từ thời Lê đến thời Nguyễn.
Bổ sung cho không gian cổ kính của đền Kim Ngưu còn có cây đa hơn 100 năm tuổi đã được Hội Bảo vệ thiên nhiên và môi trường (VACNE) công nhận là Cây di sản Việt Nam năm 2012. Cây đa này có bộ rễ khổng lồ với chu vi 32m, chu vi thân chính là 7,2m, thân cây cao trên 25m, tán cây rộng hơn 200m2, các rễ phụ mọc bao quanh toàn bộ gốc chính.
Cùng với cây đa di sản, đền Kim Ngưu và Quần thể di tích phủ Tây Hồ là những danh thắng - điểm đến du lịch nổi tiếng của Hà Nội.