El palacio es el origen del apellido Arias de Velasco.
Fue construido en el siglo XVI por la familia noble de los Arias, que se convirtieron en señores del lugar y adoptaron el apellido "de Velasco" en honor a la villa de Velasco, que les pertenecía.