Phạm Ngũ Lão quê làng Phù Ủng, huyện Đường Hào, trấn Hải Dương (nay thuộc huyện Ân Thi, tỉnh Hưng Yên). Ông vừa là môn khách, vừa là con rể của Hưng Đạo vương Trần Quốc Tuấn. Con gái của ông được vua Trần Anh Tông nạp vào cung và phong làm Thứ phi. Trong sách Lịch triều hiến chương loại chí, sử gia đầu thế kỷ XIX là Phan Huy Chú, khi lựa chọn các “Tướng có danh tiếng và tài giỏi”, ở đời Trần (1226-1400), có 4 người, Phạm Ngũ Lão, được xếp tề danh với Trần Quốc Tuấn, Trần Nhật Duật và Trần Khánh Dư.
