यहाँ पर मन्दिर की ध्वस्तता के सम्पूर्ण कारणों का उल्लेख करना जटिल कार्य से कम नहीं है। परन्तु यह सर्वविदित है कि अब इसका काफी भाग ध्वस्त हो चुका है। जिसके मुख्य कारण वास्तु दोष भी कहा जाता है परन्तु मुस्लिम आक्रमणों की भूमिका अहम रही है।
कहा जाता है कि यह मन्दिर अपने वास्तु दोषों के कारण मात्र ८०० वर्षों में क्षीण हो गया था। जिसे वास्तु कला व नियमों के विरुद्ध कहा-सुना जाता है। इसी कारणवश यह अपनी समयावधि से पहले ही ऋगवेदकाल एवम् पाषाण कला का अनुपम उदाहरण होते हुए भी धराशायी हो गया। इस सूर्य-मन्दिर के मुख्य वास्तु दोष हैं:-।

कई कथाओं के अनुसार, सूर्य मन्दिर के शिखर पर एक चुम्बकीय पत्थर लगा है। इसके प्रभाव से, कोणार्क के समुद्र से गुजरने वाले सागरपोत, इस ओर खिंचे चले आते हैं, जिससे उन्हें भारी क्षति हो जाती है। अन्य कथा अनुसार, इस पत्थर के कारण पोतों के चुम्बकीय दिशा निरूपण यंत्र सही दिशा नहीं बताते। इस कारण अपने पोतों को बचाने हेतु, मुस्लिम नाविक इस पत्थर को निकाल ले गये। यह पत्थर एक केन्द्रीय शिला का कार्य कर रहा था, जिससे मंदिर की दीवारों के सभी पत्थर संतुलन में थे। इसके हटने के कारण, मंदिर की दीवारों का संतुलन खो गया और परिणामतः वे गिर पड़ीं। परन्तु इस घटना का कोई ऐतिहासिक विवरण नहीं मिलता, ना ही ऐसे किसी चुम्बकीय केन्द्रीय पत्थर के अस्तित्व का कोई ब्यौरा उपलब्ध है।

कोणार्क मंदिर के गिरने से सम्बन्धी एक अति महत्वपूर्ण सिद्धांत, कालापहाड से जुड़ा है। उड़ीसा के इतिहास के अनुसार कालापहाड़ ने सन १५०८ में यहां आक्रमण किया और कोणार्क मंदिर समेत उड़ीसा के कई हिन्दू मंदिर ध्वस्त कर दिये। पुरी के जगन्नाथ मंदिर के मदन पंजी बताते हैं, कि कैसे कालापहाड़ ने उड़ीसा पर हमला किया। कोणार्क मंदिर सहित उसने अधिकांश हिन्दू मंदिरों की प्रतिमाएं भी ध्वस्त करीं। हालांकि कोणार्क मंदिर की २०-२५ फीट मोटी दीवारों को तोड़ना असम्भव था, उसने किसी प्रकार से दधिनौति (मेहराब की शिला) को हिलाने का प्रयोजन कर लिया, जो कि इस मंदिर के गिरने का कारण बना। दधिनौति के हटने के कारण ही मन्दिर धीरे-धीरे गिरने लगा तथा छत से भारी पत्थर गिरने से, मूकशाला की छत भी ध्वस्त हो गयी। उसने यहाँ की अधिकांश मूर्तियां और कोणार्क के अन्य कई मंदिर भी ध्वस्त कर दिये।

पौराणिक महत्त्व
पूजा-अर्चना सम्बन्धी बाधाएँ
ध्वंस सम्बन्धी किंवदन्तियाँ
कथा एवं किंवदन्तियाँ