일차연구에 대하여 3명의 연구자가 두 팀을 이루어 분류한 연구설계에 대한 평가자간 신뢰도(inter-reviewer reliability)와, DAMI(2009)와 NICE(2009)의 문헌 분류도구를 이용하여 분류된 연구설계의 일치도를 평가하기 위하여, κ-coefficient(unweighted model) statistic을 Stata SE 10.0을 이용하여 계산하였으며, Kappa 통계량은 Landis and Kock(1977)6)에 의한 일치강도를 근거로 해석하였다.사용자의 편의성에 대한 평가는 연구 설계를 분류하는데 소요된 시간을 비교하였고, 평가자가 느낀 편의성에 대하여, 문장의 명확성과 간결성(clarity and simplicity), 평가항목의 완결성(Completeness), 사용하기 편리함(User-friendly)에 대해 7점 리커트 척도로 질문한 결과의 평균을 제시하였다.
평가자간 신뢰도와 연구설계의 일치도를 평가하기 위하여 Stata SE을 이용하여 계산하였고 Kappa 통계량은 일치강도를 근거로 해석하였다. 사용자의 편의성에 대한 평가는 7점 리커트 척도로 질문한 결과의 평균을 제시하였다.