Shermis & Hammer(2013)는 ASAP 공개경쟁 대회에 참여한 9개 자동채점 프로그램의 채점결과를 분석하였는데, 장문형 답안에 대한 자동채점의 결과는 대체적으로 만족할 만한 수준인 것으로 나타났다. 한편, 150단어 이하의 단문형 답안에 대한 자동채점의 경우 150개 팀이 참여하여 공개경쟁을 하였으나, 장문형 답안에 비하여 자동채점의 결과는 만족스럽지 못하였으며 채점의 정확성을 높이기 위해서는 후속 연구들이 필요한 것으로 나타났다. 현재 한국교육 과정평가원에서는 단어·구 및 문장 수준의 한국어 답안에 대한 자동채점 프로그램을 개발하는 연구를 진행하고 있으며, 향후 에세이 수준의 한국어 답안에 대한 자동채점 프로그램까지 개발된다면 학교 현장의 평가 방법을 획기적으로 변화시키는 파급효과가 있을 것으로 기대된다.
ASAP 대회에 참여한 자동채첨 프로그램 채점 결과, 단문형 답안에 대한 성능이 아직 부족한 것으로 나타났다. 한국교육 과정평가원에서는 한국어 단어구 및 문장 길이의 자동채점 프로그램 개발을 진행중에 있다.