본 연구는 태권도 품새기술의 체계적 내용분석을 기반으로 품새기술을 구체적이고 객관적으로 기록하기 위해 품새기술 평가도구인 심사기록지의 개발과 이에 따른 심사기록지의 유용성 평가를 위해 심사자간 신뢰계수(inter-reliability)및 평가정확성(accuracy) 분석을 통해 품새기술 평가에 대한 객관적인 기초 자료를 제공하는데 목적이 있다. 품새기술 평가도구 개발을 위한 자료의 수집은 연구 목적에 따라 국기원, 대한태권도협회, 세계태권도연맹에서는 사용되는 공인 품새(유급자: 태극1장~8장, 유단자: 고려~일여) 총 17개 자료와 ‘태권도 품새 교본’(국기원, 2011)의 내용을 근거기반으로 하여 운동기술평가의 측정학적 분류를 통해 품새 기술 평가를 위한 심사기록지를 개발하였다. 심사기록지의 현장 유용성 평가를 위해 대한태권도협회의 협조 하에 경기현장과 가장 유사한 형태의 모의대회를 개최하였으며, 선수(n=68)와 심판(n=11) 총 79명이 참여하였다. 심판 및 선수배정은 현행 태권도 품새경기 심판분과위원회에서 진행되는 배정방식을 적용하여 각 코트에 5명씩 무작위(random) 배정하였고 채점방식은 기존의 총괄채점방식과 새로운 심사기록지에 의한 채점방식 두 가지를 균형설계(Counter-balanced design)되도록 배정하였다. 자료분석은 PASW18.0 Ver Program을 이용하여 모의시합을 통해 수집된 심판들의 평가 자료는 평가방법(Old vs. New) 및 평가항목(정확성, 숙련성)으로 분류하였으며, 각각에 대한 상관행렬(correlation matrices), 신뢰계수(consistency) 분석을 실시하였다. 또한 심사자들의 평가정확성(accuracy)을 비교하기 위하여 선수들과 사전협의를 통해 선정한 감점동작에 대한 평가결과를 분석하였다. 결과를 요약하면 다음과 같다. 품새동작의 손기술 및 발기술에 대한 평가정확성을 분석한 결과, 심판경력에 따라 심판판정의 정확성은 차이가 있었으며, 경력이 많은 심판들이 전반적으로 손기술, 발기술에 대한 평가정확성이 높은 것으로 나타났다(85% vs. 65%; 75% vs. 70%). 그리고 발기술보다는 상대적으로 동작이 단순한 손기술에 대한 정확도가 다소 높게 나타났다. 그리고 심사자들의 평가결과에 대한 신뢰도를 분석한 결과, ‘정확성’ 평가항목에서 심사자들 간의 신뢰계수는 기존 채점방식보다 기록지 채점방식에서 높게 산출되었으며(α=.688 vs. α=.847), 이러한 결과는 ‘숙련성’ 평가항목에서도 유사하게 나타났다(α=.73 vs. α=.83). 전반적으로 기존 총괄평가방식보다 개발된 기록지에 의한 평가방식을 적용했을 때 각 평가항목에서 심판들의 채점결과 간의 상관계수들이 상대적으로 높았고 보다 일관성 있게 산출되었다.
본 논문은 태권도 품새기술의 체계적 내용분석을 기반으로 품새기술을 구체적이고 객관적으로 기록하기 위해 품새기술 평가도구인 심사기록지의 개발과 이에 따른 심사기록지의 유용성 평가를 위하여 심사자간 신뢰계수와 평가정확성 분석을 통하여 품새기술 평가에 대한 객관적인 기초 자료를 제공하고자 하였다. 품새기술 평가도구 개발을 위한 자료의 수집은 연구 목적에 따라 국기원, 대한태권도협회, 세계태권도연맹에서는 사용되는 공인 품새 총 17개 자료와 ‘태권도 품새 교본’의 내용을 바탕으로 하여 운동기술평가의 측정학적 분류를 통하여 품새 기술 평가를 위한 심사기록지를 개발했다. 심사기록지의 현장 유용성 평가를 위해 대한태권도협회의 협조 하에 경기현장과 유사한 형태의 모의대회를 개최하였다.