GAO ble opprettet i 1921 som et resultat av Budget and Accounting Act, en lov som ble utformet for å forbedre statens økonomiske kontroller og ledelse i etterkant av første verdenskrig. Krigstider hadde økt statsgjelden, eskalert kostnadene for mange offentlige innkjøp, og skapt betydelig uorden i de finansielle operasjonene til krigsdepartementet og andre byråer.
GAO ble opprettet i 2000 som et resultat av Irak-krigen.