채점에 시간과 노력이 많이 든다. 논술형 문항을 제대로 채점하기 위해서는 채점 기준표 작성과 모범 답안지 작성 외에도 수많은 긴 글을 읽어야 한다. 경우에 따라서는 한 답안지를 여러 번 읽어야 하는데, 읽기가 힘들게 쓴 글씨도 정확하게 읽어 주어야 한다. 이러한 노력과 어려움 때문에 흔히 논술형 문항을 피하려 하고, 또 사용했더라도 채점을 소홀히 한다. 그러나 아무리 시간이 걸리고 힘이 들어도 구체적인 기준 없이 전체를 한번 훑어보고 느낌이나 인상으로 평정하는 식의 채점이 되어서는 안 된다. 구체적인 기준이나 모범 답안에 의한 분석적인 채점 요령이 필요하다. 이것이 평가의 타당도와 신뢰도를 높이는 길이기 때문이다.
논술형 문항은 읽기가 힘들어도 기준 없이 훑어보는 식의 채점은 하지말아야 한다. 구체적 기준으로 분석적인 채점을 해야하며 이것이 평가의 타당도와 신뢰도를 높이는 길이다.