Buster Smith war der ältere Bruder des Schlagzeugers Marvin „Boogaloo“ Smith.
Er selbst war ein bekannter Jazzmusiker und spielte als Saxophonist in verschiedenen Bands, darunter in der Gruppe von Louis Armstrong. Seine Musik war geprägt von Swing und Bebop.