Tijdens zijn kinderjaren sloop hij vaak binnen bij de Frank Holiday biljarthal en daar hoorde hij de pianist optreden die de vlam voor het instrument aanwakkerde in zijn ziel.
Ondanks dat Duke Ellington pianoles nam, werd hij vaak aangetrokken door baseball. Hij ging naar the Armstrong Technical High School en vertelde zelfs eens dat President Roosevelt vaak langskwam op zijn paard en stopte om hen te zien spelen. Tijdens zijn kinderjaren sloop hij vaak binnen bij de Frank Holiday biljarthal en daar hoorde hij de pianist optreden die de vlam voor het instrument aanwakkerde in zijn ziel. Vanaf dat moment liet hij zich diep meevoeren in het bestuderen van de piano. In de zomer van 1914 werkte Duke Ellington als een barman in het Poodle Doc Cafe en daar schreef hij zijn eerste compositie “Soda Fountain Rag”. Dit werk werd volledig op gehoor gecreëerd omdat Duke nog niet had geleerd om noten te lezen en schrijven.