Als weitere Besitzer werden die Grafen von Dillingen und Württemberg genannt.
Sie waren die letzten bekannten Besitzer des Schlosses, bevor es im 16. Jahrhundert im Zuge der Reformation und der Folgen des Dreißigjährigen Krieges verfiel und größtenteils abgerissen wurde.