இவ்வாலயத்தின் வரலாற்றினை கர்ணபரம்பரைக் கதைகள் மூலமாகவே அறியமுடிகின்றது. அகாயன் என்ற அரசன் இக்கோவிலின் பக்கத்தில் ஒரு குளத்தினை வெட்டுவித்தான் என்றும் அவ்வரசனால் வெட்டுவிக்கப்பட்ட அக்குளமானது அவனுடைய பெயரைநினைவூட்டும் வகையில் அகாயக்குளம் என அழைக்கப்படுவதுடன் அக்குளத்தின் பக்கத்தில்அமைந்துள்ள இவ் ஆலயத்தினையும் அகாயக்குளம் பிள்ளையார் என்றே அழைத்து வந்தனர்என்பதும் பதினேழாம் நூற்றாண்டில் டச்சுக்காரர்களால் சைவக் கோயில்களை இடித்தழித்த வேளையில இவ்வாலயத்தினையும் அழிக்கமுற்பட்டபோது இவ்வூர் மக்களால் இவ்வாலயம்மாதா கோயில் என டச்சுக்காரர்களுக்குக் கூறியதனால் அவர்கள் இவ்வாலயத்தினை அழிக்காது சென்றனர் என்றும் கூறப்படுகின்ற கர்ணபரம்பரைக் கதைகளே இவ்வாலயத்தின் வரலாறாக அமைந்துள்ளது குறிப்பிடத்தக்கது.இன்றும் பிள்ளையார் கோயில் என்பதனைவிடமாதா கோயில் என்று கேட்டால் உடனேயேகோயிலைக் காண்பிக்குமளவிற்கு இவ்வரலாறுபதிந்துள்ளது.
