குலோத்துங்க சோழனின் படைத்தளபதியான கருணாகரத்தொண்டைமான் யாழ்ப்பாணத்தில் இருந்தபோது இவ்வாலயத்தின் சிறப்பினையறிந்து இங்கு வருகைதந்து தங்கி தரிசித்துச் சென்றான் என வரலாற்றுப்பதிவுகள் கூறுகின்றன. ஒவ்வொரு வருடத்திலும் ஆடி மாதத்தில் கொடியேற்றத்திருவிழாவுடன் ஆரம்பித்து தொடர்ந்து பன்னிரண்டு தினங்கள் திருவிழா நடை பெறுவது வழக்கம்.