자동화된 교육 평가 시스템과 관련된 연구가 컴퓨터 기술의 발전에 따라 크게 개선되어 왔다. 그러나 이전의 자동화된 교육 평가 시스템에서는 기술적인 한계 때문에 주로 선다형 객관식 평가 방법이 적용되어 왔고 몇몇의 주관식 평가 시스템의 경우는 주로 간단한 단어 매칭 기법을 채용한 것이었다. 본 논문에서는 기존의 시스템들을 분석하여 이러한 과거의 주관식 평가 시스템이 갖는 한계를 극복할 수 있는 자동화된 주관식 평가 시스템을 설계하고 구현하여 그 성능을 평가하였다. 개발된 시스템은 LSA(Latent Analysis)를 사용하고 있으며 이를 통하여 정확한 답과 학습자의 답이 갖는 의미적인 유사도를 평가하게 하도록 하였다. 개발된 시스템의 성능을 평가하기 위하여 LSA 평가 결과와 인간 교사의 채점 결과를 비교하도록 하였다. 비교 결과는 LSA 기반의 자동화된 주관식 평가와 인간 교사의 채점 결과가 매우 유사함을 보였으며 이는 개발된 시스템이 효과적으로 자동화된 주관식 평가 시스템으로 사용될 수 있음을 보이는 것이 라고 결론지을 수 있다.
본고에서는 기존의 시스템들을 분석하여 이러한 과거의 주관식 평가 시스템이 갖는 한계를 극복할 수 있는 자동화된 주관식 평가 시스템을 설계하고 구현하여 그 성능을 평가하였다.