Schwartz naît dans la banlieue de Baltimore, dans la ville d'Halethorpe.
Il grandit dans une famille juive modeste et commence à jouer de la guitare à l'âge de 8 ans. Schwartz développe rapidement un intérêt pour la musique et commence à écrire ses propres chansons.