இவ் ஆலயம் பருத்தித்துறையில் மலையன் கடவையில் எழுந்தருளி இருக்கின்றது. 17ஆம்நூற்றாண்டின் பிற்பகுதியில் தென்னிந்தியாவில் முகமதியர் ஆட்சி இருந்த காலத்தில் அவர்களுடைய கொடுமை தாங்கமுடியாது ஒரு சந்நியாசி இங்கு வந்தார் எனவும் இவ்வாயத்தின் மூலஸ்தானம் அமைந்துள்ள இடத்தில் அப்பொழுது குளம் இருந்ததாகவும் இக்குளத்திற்கு அருகில் ஒரு கொன்றை மரமொன்று இருந்ததாகவும் இச்சந்நியாசியார் தன்னுடன் கருங்கல்லில் செதுக்கிய பிள்ளையாரையும், பஞ்சரூபத்தால் செய்யப்பட்ட வீரபத்திரர் விக்கிரத்தினையும் கொண்டுவந்து இக்கொன்றை மரத்திற்கு கீழ் வைத்து இவற்றிற்கு பூசைகள் செய்துவந்தார். இச்சந்நியாசியை மக்கள் கௌபீன சாமியார் என்று அழைத்தார்கள். நோயாளிகள் இச்சுவாமியாரை நாடிவந்த பொழுது இவர் குளத்திலிருந்த மண்ணினை கொடுப்பதாகவும் இதனால்நோய் நீங்கியதாகவும் ஒரு கர்ணபரம்பரைக்கதையுண்டு. காலப்போக்கில் காரைக்காலிலிருந்து சுங்க இலாகாவில் பணிபுரிந்த சுப்பிரமணியம் கணபதிப்பிள்ளை என்பவர் வந்து சேர்ந்தார் சுவாமியின் நெருங்கிய அன்பரானார். சுவாமிகள் அன்பரிடத்து ஒரு வேண்டுகோள் விடுத்தார். தான் சமாதியடைந்த பின் ஒரு சிவன் கோயில் கட்டிப் பசுபதீஸ்வரர் என்று அச்சிவனுக்கு நாமம் சூட்டுமாறு வேண்டினார். கோயில்கட்ட தன்னிடம் பணம் ஏது என்று அன்பர் கைவிரித்தார். அப்போது இக்குளத்தினை தூரெடு பணம் கிடைக்கும் என்று வழி சொன்னார் சுவாமிகள். சுவாமிகள் சமாதியடைந்தார் குளம் தூரெடுக்கப்பட்டது ஒரு செப்புக்குடம் கிடைத்தது. குடத்திலிருந்த பொருளைக் கொண்டு கோவில் கட்டப்பட்டது. கணபதிப்பிள்ளையவர்கள் இந்திய சிற்பாச்சாரி அவர்களை வருவித்து மூலஸ்தானம், அர்த்தமண்டபம், மகாமண்டபம், அபிஷேக மண்டபம் ஆகியவற்றை பொழி கல்லினால் 1822 ஆம் ஆண்டளவில் கட்டிமுடித்தார். 1840வரை அவரே ஆலயத்தைப் பரிபாலித்தார். இன்று வரை இவரின் சந்ததியினரே ஆலயத்தினைபரிபாலித்து வருகின்றனர். பர்வதவர்த்தனி சமேத பசுபதீஸ்வரர் ஆலயம் ஆகமவிதிப்படி அமைந்த ஆலயமாகும். இங்கு சிவனுக்கு ஆனி உத்தரத்திற்கு தீர்த்தம் வரும் வரையிலான 15நாள் உற்சவமும், அம்மனுக்கு ஆடிப்பூரத்திற்கு தீர்த்தம் வரும்வரையிலான 10 நாள் உற்சவமும் இடம்பெறும்.
