Đền thờ Trạng nguyên Nguyễn Nghiêu Tư vốn được xây dựng từ lâu đời, trước nằm ở cánh đồng Tổ Mối, phía Đông Nam của làng, sau được chuyển lên sườn núi Đền (khu cổng Thông), rồi lại được chuyển về cạnh đình làng ở phía Tây núi Vĩnh. Nhưng tiếc thay cả đền và đình bị phá hủy trong kháng chiến chống Pháp, nhân dân phải gửi tượng thờ vào đền Tiên. Đến năm 2004, dân làng xây dựng lại ngôi đền trên đỉnh núi Đền, mặt đền quay về hướng Nam, khuôn viên không xây tường bao và không có cổng.

Hàng năm, từ ngày mồng 9 đến 14 tháng Giêng, nhân dân nơi đây nô nức mở hội. Vào ngày hội, từ mồng 9, các ông đám mở cửa đình, đền để bao sái đồ thờ tự, phong cờ quạt. Sang ngày mồng 10, làng tổ chức tế với lễ vật đặc biệt được gọi là “lợn ông”. Các giáp được phân công sẽ cấy ruộng công và nuôi lợn từ trong năm, lợn tế phải là lợn đen tuyền và phải đủ ít nhất 40 kg. Sang ngày 11 và 12, làng tổ chức tế các đức Thánh với lễ vật là xôi gà, hoa quả; đến ngày 13 là lễ tế giã đám “tế lợn tuỳ”. Trong ngày 13 còn có nghi thức mời chạ Từ Phong (xã Cách Bi) và con rể của làng cùng tham dự lệ làng.

Ngoài ra, vào ngày 5 tháng 8 (âm lịch) là ngày mất của Trạng nguyên Nguyễn Nghiêu Tư, dân làng Hiền Lương tổ chức cúng tế tại đền. Lễ vật dâng thánh có xôi gà, hoa quả, bánh trái.

Trong những ngày lễ hội, ngoài các phần lễ có phần hội với một số trò chơi dân gian như: đu, vật, kéo co, hát trống quân, hát chèo, hát quan họ… thu hút đông đảo nhân dân tham gia vào các hoạt động văn hoá tâm linh vui tươi lành mạnh nhằm đoàn kết cộng đồng, gìn giữ và phát huy những thuần phong mỹ tục.

Hội làng là dịpsinh hoạt văn hóa tinh thần của người dân Hiền Lương, giúpgiáo dục truyền thống tốt đẹp, nuôi dưỡng đời sống văn hóa tinh thần và gìn giữ những thuần phong mỹ tục của cha ông, góp phần làm giàu truyền thống lịch sử quê hương. Tấm gương sáng ngời về đức độ, tài năng của Trạng nguyên xứng danh khắc vào bia đá muôn đời các thế hệ học tập noi theo.