यूरोपीय उपनिवेश से पहले इस क्षेत्र में ओहलोन मूल अमेरिकियों के कई समूहों का निवास था। पहली चिरस्थायी यूरोपीय उपस्थिति की शुरुआत फादर जुनिपेरो सेरा द्वारा 1769 से स्थापित फ्रांसिस्कन मिशनों की एक श्रृंखला से हुई थी। एक कृषि समुदाय की स्थापना करने के लिए न्यू स्पेन के स्पेनिश वाइसराय, एंटोनियो मारिया डी बुकारेली वाई उर्सुआ के आदेश पर लेफ्टिनेंट होज़े जोक़िन मोरेगा ने 29 नवम्बर 1777 को (सेंट जोसफ के सम्मान में) एल "पुएब्लो डी सैन होज़े डी ग्वाडालूप (El पुएब्लो de San José de Guadalupe)" के रूप में सैन होज़े की नींव रखी. यह क़स्बा, अल्टा कैलिफोर्निया का पहला नागरिक उपनिवेश था।

1797 में, पुएब्लो को इसके मूल स्थान से हटाकर ग्वाडालूप पार्कवे और टेलर स्ट्रीट के वर्तमान मिलन स्थल के पास एक ऐसे स्थान में स्थानांतरित कर दिया गया जहां अब डाउनटाउन सैन होज़े स्थित है। मैक्सिको के स्पेनिश राज से अलग होने के बाद 1821 में सैन होज़े मैक्सिकी शासन के अधीन हो गया. इसके बाद यह संयुक्त राज्य अमेरिका का हिस्सा बन गया जब इसने 1846 में बिना रक्पात के आत्मसमर्पण कर दिया और कैलिफोर्निया पर अधिकार कर लिया गया. बहुत जल्द आगे चलकर 27 मार्च 1850 को सैन होज़े (सैक्रामेंटो के बाद) राज्य का दूसरा निगमित शहर बना जिसके पहले मेयर का नाम जोसियाह बेल्डेन था। यह क़स्बा राज्य की पहली राजधानी होने के साथ-साथ कैलिफोनिया विधायिका के पहले और दूसरे सत्रों (1850–1851) का मेजबान भी था। आज डाउनटाउन का सर्कल ऑफ़ पाम्स प्लाज़ा राज्य की पहली राजधानी का ऐतिहासिक चिह्नक है। 

1906 में सैन फ्रांसिस्को में हुए भूकंप से सैन होज़े की काफी क्षति हुई थी लेकिन इसकी हालत सैन फ्रांसिस्को जितनी गंभीर नहीं थी। ऐग्न्यूज़ असाइलम (बाद में ऐग्न्यूज़ स्टेट हॉस्पिटल) की दीवार और छत गिरने से 100 से भी ज्यादा लोगों की मौत हो गई, और सैन होज़े हाई स्कूल का ईंट-और-पत्थर का बना तीन मंजिला इमारत भी नष्ट हो गया था। द्वितीय विश्व युद्ध का समय एक अशांतिकर समय था। मुख्य रूप से जापानटाउन के जापानी अमेरिकियों को नजरबंदी शिविरों में भेजा गया था जिसमें भावी मेयर, नॉर्मन मिनेटा भी शामिल थे। लॉस एंजिलिस की ज़ूट सूट दंगों के बाद 1943 की गर्मियों में मैक्सिकी-विरोधी हिंसा भड़क उठी. सम्पूर्ण क्षेत्र युद्ध की शुरुआत के लिए तैयार था।

द्वितीय विश्व युद्ध की शुरुआत होने पर शहर की अर्थव्यवस्था कृषि से औद्योगिक उत्पादन में स्थानांतरित हो गई (डेल मोंटे कैनरी (Del मोंटे cannery) सबसे बड़ा नियोक्ता था) और साथ ही साथ यूनाइटेड स्टेट्स वॉर डिपार्टमेंट ने 1000 लैंडिंग वेहिकल ट्रैक्ड (Landing Vehicle Tracked) का निर्माण करने के लिए फ़ूड मशीनरी कॉर्पोरेशन (Food Machinery Corporation) (जिसे बाद में एफएमसी कॉर्पोरेशन (FMC Corporation) के नाम से जाना जाने लगा) को अनुबंधित किया। द्वितीय विश्व युद्ध के बाद एफएमसी (FMC) (बाद में यूनाइटेड डिफेंस (United Defense) और वर्तमान में बीएई सिस्टम्स (BAE Systems)) एक रक्षा ठेकेदार के रूप में काम करता रहा, 
और साथ में सैन होज़े के केन्द्रों में एम113 आर्मर्ड पर्सनेल कैरियर (M113 Armored Personnel Carrier), ब्रैडली फाइटिंग वेहिकल (Bradley Fighting Vehicle) और एम1 अब्राम्स (M1 Abrams) के विभिन्न उपतंत्रों जैसे सैन्य प्लेटफार्मों का डिज़ाइन एवं निर्माण कार्य भी चलता रहा. आईबीएम (IBM) ने 1943 में सैन होज़े में अपना वेस्ट कोस्ट मुख्यालय स्थापित किया और 1952 में एक डाउनटाउन अनुसन्धान एवं केंद्र खोल दिया. ये दोनों सैन होज़े की अर्थव्यवस्था के अग्रदूत साबित हुए क्योंकि बाद में रेनॉल्ड जॉन्सन और उनकी टीम ने रमक (RAMAC) के साथ-साथ हार्ड डिस्क ड्राइव (Hard disk drive) का अविष्कार किया और इसके साथ ही साथ सैन होज़े की अर्थव्यवस्था के प्रौद्योगिकीय क्षेत्र में भी वृद्धि हुई.

1950 और 1960 के दशक में, नगर प्रबंधक डच हैमन ने एक प्रमुख विकास अभियान में इस शहर का नेतृत्व किया। इस शहर ने इस अभियान के तहत अल्विसो और कैम्ब्रियन पार्क जैसे आसपास के क्षेत्रों को समाहित कर लिया जिससे उपनगरों के निर्माण के लिए काफी जगह उपलब्ध हो गई। इस तीव्र विकास के प्रभावस्वरूप 1970 के दशक में एक विकास-विरोधी प्रतिक्रिया का उद्भव हुआ जिसे नॉर्मन मिनेटा और जेनेट ग्रे हायज़ जैसे मेयरों का समर्थन प्राप्त हुआ। एक शहरी विकास सीमा का निर्धारण, विकास शुल्क और कैम्पबेल एवं क्यूपर्टिनो के निगमीकरण के बावजूद विकास प्रक्रिया को धीमा नहीं किया गया बल्कि इसे पहले से ही निगमित क्षेत्रों में निर्दिष्ट कर दिया गया. सिलिकन वैली में सैन होज़े की स्थिति ने आर्थिक एवं जनसंख्या वृद्धि को और तेज़ कर दिया जिसके परिणामस्वरूप 1976 और 2001 के बीच देश की आवासन लागत में सबसे अधिक 936% की वृद्धि हुई. 1990 के दशक में घनत्व में वृद्धि करने का प्रयास जारी रहा जब 1974 की शहरी योजना के एक अद्यतन के फलस्वरूप शहरी विकास की सीमाओं को यथावत रखा गया और तलहटियों में विकास सम्बन्धी प्रतिबंधों को कम करने के लिए मतदान देने के एक उपाय को मतदाताओं ने अस्वीकार कर दिया. 1980 के बाद से सैन होज़े में निर्मित आवासों में से साठ प्रतिशत और 2000 के बाद से निर्मित आवासों में से तीन-चौथाई से भी ज्यादा आवासों की संरचना बहुपरिवार संरचना है जो स्मार्ट ग्रोथ योजना सिद्धांतों की एक राजनीतिक प्रवृत्ति का प्रदर्शन करता है।

इतिहास
फ्रीवे और राजमार्ग
सैन होज़े लाइब्रेरी सिस्टम
निजी शिक्षा