सिंधु घाटी सभ्यता की खुदाई के दौरान कालीबंगा और अन्य खुदाई के स्थलों पर मिले पकी मिट्टी के शिवलिंगों से प्रारंभिक शिवलिंग पूजन के सबूत मिले हैं। सबूत यह दर्शाते हैं कि शिवलिंग की पूजा 3500 ईसा पूर्व से 2300 ईसा पूर्व भी होती थी।

 मानवविज्ञानी क्रिस्टोफर जॉन फुलर ने लिखा है कि हालांकि अधिकांश मुर्तियाँ मानवरूपी मिली हैं परन्तु शिवलिंग एक महत्वपूर्ण अपवाद है।  कुछ का मानना है कि शिवलिंग-पूजा स्वदेशी भारतीय धर्म की एक विशेषता थी।

अथर्ववेद के स्तोत्र में एक स्तम्भ की प्रशंसा की गई है, संभवतः इसी से शिवलिंग की पूजा शुरू हुई हो। अथर्ववेद के स्तोत्र में अनादि और अनंत स्तंभ का विवरण दिया गया है और यह कहा गया है कि वह साक्षात् ब्रह्म है (यहाँ भगवान ब्रह्मा की बात नहीं हो रही है)। स्तम्भ की जगह शिवलिंग ने ले ली है। लिङ्ग पुराण में अथर्ववेद के इस स्तोत्र का कहानियों द्वारा विस्तार किया गया है जिसके द्वारा स्तम्भ एवं भगवान शिव की महिमा का गुणगान किया गया है। 

शिव पुराण में शिवलिंग की उत्पत्ति का वर्णन अग्नि स्तंभ के रूप में किया गया है जो अनादि व अनंत है और जो समस्त कारणों का कारण है। लिंगोद्भव कथा में परमेश्वर शिव ने स्वयं को अनादि व अनंत अग्नि स्तंभ के रूप में ला कर भगवान ब्रह्मा और भगवान विष्णु को अपना ऊपरला व निचला भाग ढूंढने के लिए कहा और उनकी श्रेष्ठता तब साबित हुई जब वे दोनों अग्नि स्तंभ का ऊपरला व निचला भाग ढूंढ नहीं सके। शिवलिंग के ब्रह्मांडीय स्तंभ की व्याख्या का समर्थन लिङ्ग पुराण भी करता है। लिङ्ग पुराण के अनुसार शिवलिंग निराकार ब्रह्मांड वाहक है - अंडाकार पत्थर ब्रह्मांड का प्रतीक है और पीठम् ब्रह्मांड को पोषण व सहारा देने वाली सर्वोच्च शक्ति है। इसी तरह की व्याख्या स्कन्द पुराण में भी है, इसमें यह कहा गया है "अनंत आकाश (वह महान शून्य जिसमें समस्त ब्रह्मांड वसा है) शिवलिंग है और पृथ्वी उसका आधार है। समय के अंत में, समस्त ब्रह्मांड और समस्त देवता व इश्वर शिवलिंग में विलीन हो जाएँगें।"  जग्गी वासुदेव के अनुसार शिवलिंग को रचना के बाद बना पहला रूप और ब्रह्माण्ड के अंत से पहले का रूप माना जाता है।  महाभारत में द्वापर युग के अंत में भगवान शिव ने अपने भक्तों से कहा कि आने वाले कलियुग में वह किसी विशेष रूप में प्रकट नहीं होगें परन्तु इसके बजाय वह निराकार और सर्वव्यापी रहेंगे। 

 अथर्ववेद के इन निम्न श्लोकों में स्तंभ का उल्लेख हुआ है:


अर्थार्त: कौन मुझे स्तम्भ के बारे में बता सकता है। जिसके देह में सभी तैंतीस इश्वर विराजमान हैं?


अर्थार्त: स्तंभ ने स्वर्ग, धरती और धरती के वातावरण को थाम रखा है। स्तंभ ने 6 दिशाओं को थाम रखा है और यह स्तंभ संपूर्ण ब्रह्मांड में फैला हुआ है।

प्राकृतिक रूप से मिलने वाले शिवलिंग
उत्पत्ति
ऐतिहासिक काल
रचना