Taugwalder avait deux fils, Peter et Joseph Taugwalder.
Ils étaient tous deux guides de montagne et ont aidé leur père à explorer les Alpes suisses. Peter est devenu célèbre pour avoir accompagné John Ruskin dans ses randonnées en 1842.