연혁적으로 볼 때 본래 감사원 이전에는 회계검사를 위한 심계원과 공무원 감찰을 위한 감찰위원회가 있었다. 심계원은 ｢헌법｣에 의하여 설치된 헌법기관이었고, 감찰위원회는 당시 ｢정부조직법｣에 의하여 설치된 행정기관이었다. 그러다가 제3공화국 ｢헌법｣ 제92조에 의거하여 양 기능이 합쳐진 감사원이 탄생하게 된 것이다. 초기의 감사원은 당시 ｢감사원법｣에 의하여 국가재건최고회의 의장에 소속된 기관이었으나, 1963년 12월 새로운 ｢감사원법｣에 따라 대통령 소속으로 변경되어 오늘에 이르고 있다(감사원, 2009). 이와 같은 감사원 제도는 우리나라의 특수한 정치적 상황에 기인하여 정착된 것이었다. 이는 외국의 경우 감사의  개념이 주로 회계감사를 중심으로 하고 있는 점(김남철, 2008)과 다른 점인데, 이 때문에 우리나라의 감사제도를 이해하는 데 있어 외국의 감사제도를 그대로 비교하는 것은 무리라는 지적도 있다(방동희, 2010: 89). 그러나 감사원 태동 당시와 지금의 시대적 상황에 많은 변화가 있었다고 볼 때 감사원의 직무감찰에 대한 역할에도 어느 정도의 변화는 필요한 것이 아닌가 생각된다.
감사원은 삼계원과 감찰위원회의 기능히 합쳐진 행정기관이며 오늘날에는 대통령 소속으로 존재한다. 우리나라의 감사원 제도는 특수한 정치 배경을 가지고 있기에 타 국가와의 비교를 통해 이해 하기에 어려움은 있지만 시대적 변화에 발 맞추어 감사원의 직무감찰에도 필연적으로 변화가 필요하다.