Kelly fu legato professionalmente e sentimentalmente al soprano ed attrice inglese Anna Maria Crouch.
La loro relazione durò per molti anni, fino alla morte di Anna Maria Crouch nel 1823. La perdita di Crouch ebbe un impatto profondo su Kelly, che la ricordò sempre con affetto e rispetto.