이 연구의 목적은 학생들의 시스템 사고 수준을 측정하는 문항을 개발하기 위하여 첫째, 문헌 분석을 통해 시스템 사고 수준과 정의를 제시하고 둘째, 시스템 사고 정의와 수준에 근거하여 문항 개발을 위한 Framework을 개발하고 셋째, 시스템 사고 측정을 위한 열린 응답형 검사지를 채점할 수 있는 루브릭을 개발하는 것이다. 이를 위하여 문헌 분석 틀을 적용하여 국외 논문 60편에 대한 문헌 분석을 실시하였으며 분석된 내용을 근거로 시스템 사고 수준과 정의를 제시 하였다. 그리고 시스템 사고 수준과 정의에 근거하여 각 수준별 핵심 아이디어와 평가 요소를 포함한 Framework을 개발하였다. 또한 순위 선다형 문항 외에 열린 응답형 검사 문항의 채점을 위한 루브릭을 개발하였다. 루브릭은 Hung(2008)이 개발한 시스템 사고 측정을 위한 루브릭에 기반하여 연구팀에서 시스템 사고 수준과 정의에 적합하 도록 문항과 위계를 수정하였다. 그리고 각 문항마다 1~5점 척도로 변환이 가능하도록 각 점수에 대한 정의를 제시하였다. 연구팀이 개발한 시스템 사고 수준과 정의, 문항 개발을 위한 Framework, 열린 응답형 검사지 채점을 위한 루브릭에 대하여 과학교육 전문가 7인에게 내용 타당도 검증을 의뢰하였으며 그 결과 CVI가 세 도구에서 모두 .95이상이 확인되었다. 이 연구 결과를 바탕으로 앞으로 학생들의 시스템 사고 수준을 측정할 수 있는 문항을 개발하고 개발된 문항에 대한 구인 타당도 및 준거 타당도 검증을 실시하고자 한다. 나아가 2015 개정 교육과정에서 강조하는 핵심 역량과 관련된 시스템 사고 수준의 체계적인 측정을 위한 타당화 연구도 진행하고자 한다.
본 논문은 학생들의 시스템 사고 수준을 측정하는 문항을 개발하기 위하여 문헌 분석을 통하여 시스템 사고 수준과 정의를 제시하고 시스템 사고 정의와 수준에 근거하여 문항 개발을 위한 Framework을 개발하였다. 시스템 사고 측정을 위한 열린 응답형 검사지를 채점할 수 있는 루브릭을 개발하고 하였다. 문헌 분석 틀을 적용하여 국외 논문 60편에 대한 문헌 분석을 실시하였고, 분석된 내용을 근거로 시스템 사고 수준을 정의하였다.