At the age of about sixty Horsburgh retired from active work, and undertook gratuitously the duties of pastor in the Scottish Baptist church.
W wieku sześćdziesięciu lat Horsburgh odszedł na emeryturę i bezinteresownie podjął się posady pastora w szkockim kościele baptystów.