Gia Phan nguyên tên là Nguyễn Thế Lịch, quê ở làng Yên Lũng, xã Dưỡng An, huyện Từ Liêm, đạo Sơn Tây (nay là xã An Khánh, huyện Hoài Đức, ngoại thành Hà Nội), Nguyễn Gia Phan sinh năm 1748, mất năm 1817, thọ 70 tuổi.
Dòng họ Phan Huy vốn ở xã Thu Hoạch, huyện Thiên Lộc, tỉnh Nghệ An đến đời Phan Huy Cận (1722 - 1789) thân sinh ra Phan Huy Ích (1751 - 1822), dời tới xã Thụy Khê, huyện Yên Sơn, phủ Quốc Oai, Sơn Tây (nay thuộc Hà Nội), rồi nhập tịch ở đấy.
