Sin embargo, a la muerte de Luis el Germánico, Carlos se encontró en dificultades.
Su hermano, Luis el Joven, se convirtió en un rival político y militar, y Carlos se vio obligado a luchar por mantener su posición en el trono. La rivalidad entre los hermanos se intensificó en los años siguientes.