본 연구는 대규모 평가에서 서답형 문항의 활용을 제고하고 채점의 효율화를 도모하기 위해, 사회과 문항을 포함한 단어?구 수준의 서답형 문항 자동채점 적용의 타당성을 검증하고자 하였다. 이를 위해, 자동채점 프로그램을 국가수준 학업성취도 평가 사회과 서답형 문항의 채점에 적용하기 위한 절차를 탐색하고, 그에 따라 채점한 결과를 바탕으로 채점자 간 일치도 측면에서 자동채점의 적용 타당성을 검토하였다. 더불어 자동채점 프로그램과 적용 절차에 대한 사용자 편의성을 조사하여 향후 보완해야 할 사항을 범주화하였다. 그 결과, 채점자 간 채점 점수의 완전일치도가 평균 99.5%로 매우 양호하여 채점 결과의 정확성을 중시하는 고부담 대규모 평가에도 적정한 것으로 나타났다. 또한 단어?구 수준 자동채점 프로그램의 사용자인 채점자와 채점관리자를 대상으로 프로그램의 기능, 화면 구성 및 조작, 채점 절차 측면의 만족도 조사 결과, 대부분 만족하여 편의성이 높은 수준으로 나타났다. 본 연구는 대규모 평가의 자동채점 적용에 대한 선도적인 연구로 새로운 평가 체제에 대비하여 채점의 효율성을 제고하는 데 기여할 것으로 기대한다.
이 연구는 대규모 평가에서 서답형 문항의 활용을 제고하고 채점의 효율화를 도모하기 위해, 사회과 문항을 포함한 단어?구 수준의 서답형 문항 자동채점 적용의 타당성을 검증하고자 했다.