Il nome della contea deriva dal fiume texano Colorado.
Il fiume, a sua volta, prende il nome dal colore rosso scuro della sua acqua, che è dovuto alla presenza di argilla e minerali. La contea di Colorado è situata nella parte occidentale del Texas.