Trong trận giao chiến, thế giặc rất mạnh, cánh quân của ông bị bao vây. Sau khi chạy thoát đến đền Cờn Môn (Nghệ An), ông vào đền cầu khấn. Vừa khấn xong, quân giặc đuổi đến nơi. Bỗng nhiên có tiếng trống trận dồn dập nổi lên. Ông cùng quân lính lại xông ra trận, trước mặt tự nhiên có 4 nữ tướng cưỡi voi phất cờ. Ông và cánh quân chém chết tướng giặc khiến quân giặc hoảng loạn tháo chạy.
Sau trận chiến, dù được vua phong sắc, ban thưởng nhưng Lê Viết Thọ chỉ xin chân nhang 4 bát hương ở ngôi đền cổ để về lập đền thờ tại quê hương. Về đến Thanh Hóa, ông lại thấy dưới sông xuất hiện một phụ nữ mặc áo trắng chèo thuyền, phất cờ mừng. Trên đường trở về, trong một đêm mưa bão, có người báo mộng cho ông rằng ông thắng trận là nhờ âm phù linh ứng của Tứ vị Vua Bà và Cô Bơ, dân làng nên lập đền thờ để hưởng phúc lộc về sau. Nghe ông kể lại, cả làng đồng thuận góp tiền của xây đền thờ Tứ vị Vua Bà và Cô Bơ, chính là đền Mẫu Thoải - Phúc Xá Linh từ bây giờ.
Năm 1954, để cứu vãn cho chiến trường Tây Bắc đang trong thế thất thủ, thực dân Pháp đã huy động một số lượng lớn máy bay từ sân bay Gia Lâm lên chi viện cho cứ điểm Điện Biên Phủ. Tuy nhiên, rất nhiều máy bay đã bị quân ta tiêu diệt. Một lần, một chiếc máy bay bị trúng đạn định quay về sân bay Gia Lâm nhưng chưa tới nơi đã đâm chúi xuống đền Mẫu Thoải. Đền bị đổ, máy bay rơi ngoài bãi sông Hồng và bốc cháy. Nhưng kỳ lạ là tượng thờ trong đền không bị hư hỏng. Sau đó, nhân dân đã rước tượng gửi vào chùa Bắc Biên tạm thờ cúng.
Năm 1996, nhân dân Phúc Xá đã khôi phục đền thờ trên nền đất cũ. Đến năm 2015, ngôi đền được mở rộng, phục hồi nghi môn, cải tạo hạ tầng... Thời gian tới, đền Mẫu Thoải - Phúc Xá Linh từ sẽ được quy hoạch lại để đáp ứng nhu cầu sinh hoạt văn hóa tâm linh của nhân dân và khách thập phương.