이 연구는 현재 운영되고 있는 KOLIS-NET의 두 가지 핵심 시스템인 ‘KOLIS-NET 클라이언트 통합형 시스템’과 ‘KOLIS-NET 일반이용자 검색용 시스템’의 품질 수준을 유용성과 사용성의 평가기준을 적용하여 평가하고 개선과제를 제시한 것이다. ‘KOLIS-NET 클라이언트 통합형’ 시스템의 경우 업무 프로세스별 시스템의 유용성 평가로서, 검색성과 사용 용이성, 사용자 지원성을 주된 평가 항목으로 설정하였으며, 각각의 평가 항목에 대해 연구팀과 실제 업무를 하고 있는 사서들 간의 브레인스토밍 기법과 심층면담 기법을 통해 평가결과를 도출하였다. 한편 ‘일반이용자 검색용 시스템’에 대한 평가는 시스템 사용의 편이성 관점에서 진행되었으며, 다양한 사용성 평가 방법 중에서 인지평가 방법을 사용하였다. 마지막으로 도출된 문제점과 개선 과제를 화면 재설계, 용어 표준화, 기능 개선, 신규 기능의 네 가지로 범주화하여 제시하였다.
‘KOLIS-NET 클라이언트 통합형’ 시스템의 경우 업무 프로세스별 시스템의 유용성 평가로서, 검색성과 사용 용이성, 사용자 지원성을 주된 평가 항목으로 설정하였으며, 각각의 평가 항목에 대해 연구팀과 실제 업무를 하고 있는 사서들 간의 브레인스토밍 기법과 심층면담 기법을 통해 평가결과를 도출하였다. ‘일반이용자 검색용 시스템’에 대한 평가는 시스템 사용의 편이성 관점에서 진행되었으며, 다양한 사용성 평가 방법 중에서 인지평가 방법을 사용하였다.