Tương truyền, trong suốt cuộc khởi nghĩa chống ách đô hộ nhà Đường (thế kỷ thứ VIII), Phùng Luông đã lập nhiều chiến công, giúp cuộc khởi nghĩa của Phùng Hưng giành thắng lợi. Để tưởng nhớ công ơn của ngài, dân làng Giáp Nhất đã lập đền thờ, tôn là Thành hoàng làng. Hằng năm, lễ hội tưởng nhớ công ơn Thành hoàng làng được người dân tổ chức trang trọng vào ngày 12 tháng Giêng.
Trải qua những biến cố, thăng trầm lịch sử, đình Giáp Nhất đã bị giặc Pháp đốt cháy hoàn toàn. Năm 1986, hậu cung cùng một số hạng mục khác của đình được tu sửa, tôn tạo và có quy mô như hiện nay.
Theo các cụ cao niên trong làng, đình Giáp Nhất được xây dựng trên một gò đất cao. Trải qua nhiều thế kỷ, đình Giáp Nhất vẫn giữ được khuôn viên thoáng mát với 7 cây muỗm cổ thụ quanh năm tỏa bóng xum xuê cùng cổng, sân, giếng, ao, miếu, tòa đại bái và hậu cung...
Từ ngoài đi vào đình, chính giữa là cổng trụ. Hai bên thân trụ chính xây tường kiểu cuốn thư, nối liền là hai cổng nhỏ kiểu vòm cuốn. Qua khoảng sân rộng, bên trái là một cái ao nhỏ, bên phải là một giếng cổ. Cạnh giếng là một ngôi miếu nhỏ thờ thần Giếng.
Tòa đại bái được xây dựng theo kiểu tường hồi bít đốc 5 gian. Tường được xây bằng gạch Bát Tràng để mộc, gắn bằng vôi và mật - một kỹ thuật xây dựng cổ xưa của người Việt. Hai bên tường hồi đắp hình hổ phù.
Tòa đại bái và hậu cung kết nối với nhau theo kiểu chữ “Nhị”, ở giữa là một rãnh thoát nước, phía trên lát hai tảng đá xanh làm lối vào hậu cung. Giữa hậu cung là ban thờ Thành hoàng làng. Trong đình hiện còn lưu giữ 3 tấm bia đá được khắc năm 1812, 1892 cùng nhiều chân đá tảng có kích thước lớn và nhiều hiện vật có giá trị...
Với những giá trị về lịch sử và văn hóa, năm 1992, đình Giáp Nhất được xếp hạng là Di tích lịch sử, kiến trúc nghệ thuật quốc gia. Năm 2006, thành phố Hà Nội đã công nhận và gắn biển Di tích cách mạng - kháng chiến cho đình.