Ngôi chùa này được xây dựng vào năm Qúy Mão, khi Trúc lâm đệ tam tổ Huyền Quang - một nhà sư, nhà thơ lớn đời Trần, trong một lần về thăm cha mẹ đã xây dựng nên. Ý nghĩa tên chùa Đại Bi chính là đức Phật đại từ đại bi đã đưa đường chỉ lối để cha mẹ hướng tới đạo Phật. Cũng chính từ đó, ngôi chùa này có tên gọi là Đại Bi.

Lễ hội chùa Đại Bi được tổ chức vào ngày 21 tháng Giêng âm lịch hàng năm. Đây là lễ hội lớn, nổi tiếng trong dân gian, thu hút đông đảo khách thập phương đến dâng hương. Với nghi thức tế rước long trọng và nhiều tục trò độc đáo, được 4 làng thuộc tổng Vạn Ty cũ cùng tổ chức. Đó là các làng: Đạo Viện (Viền), Hương Trạch (Chằm), Phúc Lộc (Tẩy) và Châu Lỗ (làng Dù).

Ngày 21, các làng rước sắc và bài vị thành hoàng làng ra đình làng xã, tiến hành  tế lễ và dâng hương cúng Phật, cúng tổ tại chùa Đại Bi.

Ngày 22, tiến hành rước oản và thi oản. Mỗi làng đưa 11 phẩm oản lên mâm ngũ quả, đặt và đòn bát cống rồi rước từ thôn ra chùa. Người rước có 8 người chính, được làng chọn cử gọi là phù giá. Đoàn rước có chiêng, trống, cờ lọng, siêu đao, bát biểu; từ các làng hội tụ về chùa, dâng oản, dâng hương hoa, lễ vật cúng Phật, cúng Đức Tổ Huyền Quang.

Ngày 23, làm lễ tạ oản và đưa ra đình làng xã để thi. Nếu oản của làng nào to, đẹp, hạt gạo trắng trong, phía ngoài trông như vẩy rồng sẽ được giải. Giải oản đơn giản chỉ có 1 bánh pháo và 3 hào, nhưng đó là điềm lành, điều may nắm cho cả làng, báo hiệu một năm làm ăn thuận lợi, dân an vật thịnh. Vì vậy, các làng đều thi nhau làm oản thật to, đẹp và việc chấm giải cũng rất khắt khe, kỹ lưỡng.

Trong những ngày lễ hội, sau phần tế lễ là phần hội với nhiều tục trò dân gian như:  đu, vật, chọi gà, biểu diễn tuồng, chèo, đánh cờ người…vui tươi, mang đậm bản sắc dân tộc, thu hút đông đảo quần chúng nhân dân địa phương và du khách. 

Với những giá trị cốt lõi còn lưu giữ, chùa Đại Bi đã được Bộ Văn hoá Thông tin (nay là Bộ Văn hoá Thể thao và Du lịch) công nhận xếp hạng cấp Quốc gia tại Quyết định số 34/VH-QĐ ngày 9 tháng 1 năm 1990.