Theo truyền thuyết, chùa Đại Dương đã có từ rất sớm, năm 1066, nguyên phi Ỷ Lan đã về cầu tự tại chùa này. Khi mới xây, chùa đã nổi tiếng là đẹp, sau khi bà Ỷ Lan về lại càng nổi tiếng hơn.
Đình Sủi có khởi nguồn từ ngôi đền cổ thờ tướng quân Đào Liên Hoa sống dưới thời Đinh Tiên Hoàng.
Đền Sủi thờ bà nguyên phi Ỷ Lan (? - 1117), xây dựng sau khi bà qua đời. Trải qua bao năm tháng, đình, đền, chùa Sủi đã được trùng tu sửa chữa nhiều lần lớn nhất vào các năm 1633, 1636, 1641, 1701, 1821. Năm 2005, khu di tích được tu bổ, nâng cấp lại toàn bộ đình, đền, chùa (Nhà nước đầu tư lớn với sự tham gia đóng góp của nhân dân).
Hiện nay di tích tập trung trên một khu đất cao, rộng rãi và bằng phẳng. Đình, đền, chùa xây kế tiếp nhau và liên hệ với nhau bằng hệ thống của ngách nhỏ bên trong. Di tích quay mặt về hướng đông, đình, chùa đặt theo thế “tiền thần hậu Phật” với các bộ phận kiến trúc đan vào nhau, cài răng lược. Bên ngoài là 2 cột biểu lớn, trước đền dành chỗ cho “rừng bia” bia tiến sĩ, bia công đức... của làng.
Đền thờ Ỷ Lan gồm Tiền tế, Phương đình và Hậu cung. Đình gồm có toà Đại đình 5 gian, Hậu cung 2 gian. Chùa ở sau đình, có 2 dãy nhà ngang song song với Hậu cung đình. Toà Tam bảo hình chữ đinh với 5 gian Tiền đường, 3 gian Hậu cung.
Đình, đền, chùa Sủi còn giữ được nhiều trang trí kiến trúc và di vật các thế kỷ XVII, XVIII, XIX.
Đình thờ tướng quân Đào Liên Hoa. Theo thần tích, Đào Liên Hoa người Hà Trung, tỉnh Thanh Hoá, lớn lên theo Đinh Bộ Lĩnh dẹp loạn 12 sứ quân thống nhất đất nước. Ông được phong Tây vị đại vương, từng đứng đầu sứ bộ ta sang Trung Quốc cầu phong cho Đinh Bộ Lĩnh. Khi về nước được phong làm thống lĩnh thiên hạ, đốc thuỷ bộ binh, đốc thuỷ bộ binh mã đại tướng quân, dẹp loạn ở Vũ Ninh (Bắc Ninh) rồi đóng đại bản doanh ở làng Sủi. Ông có nhiều công lao và ân huệ với nhân dân địa phương. Khi ông mất, vua Đinh hạ chiếu phàm làng nào thuộc địa phận ngài cai quản đều được phép lập đền thờ. Hằng năm dân làng mở hội vào ngày 3 tháng ba âm lịch để tưởng nhớ ông.
Đình, đền, chùa Phú Thị đã được Bộ Văn hoá và Thông tin xếp hạng di tích lịch sử, kiến trúc nghệ thuật năm 1989.
Theo Hà Nội Danh thắng và Di tích tập 01