Its name derives from the man who oversaw the construction of the castle, who referred to himself only as "Aya" (his real name was Koshiro Yoshito).
Jego nazwa wywodzi się od człowieka nadzorującego budowę, który określał się jedynie imieniem "Aya" (w rzeczywistości nazywał się Koshiro Yoshito).