1952 में, आयातित मोटरसाइकिलों पर 40% कर के अमेरिकी सीमा-शुल्क आयोग के उनके प्रयोग के बाद, हार्ले-डेविडसन पर प्रतिबंधक चलन का आरोप लगाया गया। 4 जुलाई 1947 को होलिस्टर रौएट (Hollister riot) के बाद, 1950 के दशक से 1870 के दशक तक अपराधी बाइकर गैंग पर अनेक फिल्में बनाकर हॉलीवुड ने भी हार्ले की छवि को नुकसान पहुंचाया. एक लंबे तक "हार्ले-डेविडसन" का नाम हेल्स एंजेल्स और अन्य अपराधी मोटरसाइकिल सवारों के नाम का पर्यायवाची बन गया था।

1969 में, अमेरिकी मशीनरी एंड फाउंड्री (AMF) ने यह कंपनी खरीद ली, उत्पादन सरल किया गया और कर्मचारियों की संख्या घटा दी गयी। इस नीति के कारण मजदूर हड़ताल हुई और बाइकों की किस्म घटिया हुई। जापानी मोटरसाइकिलों की तुलना में ये बाइक महंगी और प्रदर्शन, संचालन तथा गुणवत्ता में घटिया थीं। बिक्री घट गयी, गुणवत्ता में अचानक गिरावट आई और कंपनी लगभग दिवालिया हो गयी। "हार्ले-डेविडसन" के नाम का मजाक उड़ाते हुए इसे "हार्डली एबलसम" ("Hardly Ableson"), "हार्डली ड्राइवेबल" ("Hardly Driveable") और "होगली फर्ग्युसन" ("Hogly Ferguson") कहा जाने लगा,
और उपनाम "होग" ("Hog") अपमानजनक शब्द बन गया। 

1977 में, हार्ले-डेविडसन द्वारा कंफेडेरेट संस्करण का उत्पादन इसके सबसे विवादास्पद मॉडलों में एक बन गया। विशेष रंग और विस्तृत सूचनाओं के साथ बाइक निश्चित रूप से हार्ले के ही घराने का था।

भारत में निर्यात की दिशा में कदम
पुनर्गठन और पुनरुद्धार
कलंकित प्रतिष्ठा
महामंदी