1943 में लिंकन हाई स्कूल के खुलने तक सैन होज़े के छात्र केवल सैन होज़े हाई स्कूल में पढ़ने जाते थे। शहर के इतिहास का कुछ भाग मिसिसिपी के पश्चिम में सहित इन दो उच्च विद्यालयों के भीतर सन्निहित है, जो अभी भी "बिग बोन" नामक एकमात्र धन्यवाद दिवस उच्च विद्यालय फुटबॉल खेल का आयोजन करते हैं। . 2010 के आंकड़ों के अनुसार, 127 प्राथमिक, 47 मध्यम और 44 उच्च विद्यालय हैं। जिनमें से सभी सार्वजनिक हैं। . इस शहर में चार उच्च विद्यालय जिलों, चौदह प्राथमिक जिलों और चार एकीकृत विद्यालय जिलों (जो प्राथमिक एवं उच्च विद्यालय दोनों प्रदान करते हैं।) द्वारा सार्वजनिक शिक्षा प्रदान की जाती है। 

मुख्य सैन होज़े यूनिफाइड स्कूल डिस्ट्रिक्ट (एसजेयूएसडी/SJUSD) के अतिरिक्त, समीपवर्ती शहरों के अन्य समीपवर्ती एकीकृत विद्यालय जिलें - मिल्पिटास यूनिफाइड स्कूल डिस्ट्रिक्ट, मॉर्गन हिल यूनिफाइड स्कूल डिस्ट्रिक्ट और सांता क्लारा यूनिफाइड स्कूल डिस्ट्रिक्ट हैं। .

"फीडर" सिस्टम का इस्तेमाल करने वाले जिलें

प्राथमिक और माध्यमिक शिक्षा
स्थानीय
कानून और सरकार
निजी शिक्षा