본 논문에서는 키넥트의 3차원 영상정보를 이용하여 종이 바이올린 지판과 손가락 끝점을 검출하고 활 움직임을 판정한 뒤, 이 정보를 이용하여 가상 바이올린을 구현하는 방법을 제안한다. 키넥트의 컬러영상과 깊이영상을 이용하여 먼저 바이올린 지판을 식별하고 손가락 끝점을 검출한 뒤 지판 정보와 사용자의 지판 누름 여부를 판정하기 위한 지판의 깊이 정보를 검출한다. 운지와 활 움직임 정보에서 음이름을 판정하여 PC MIDI 인터페이스를 통해 가상 바이올린 연주시스템을 구현하였다. 본 논문에서 제안하는 방법을 이용하여 가상 바이올린 성능평가를 수행한 결과 높은 검출 정확도를 보였다. 구현된 가상 바이올린 기능을 활용하여 바이올린 연주 입력장치를 구현함으로써 PC기반 바이올린 연주시스템 구현의 편리성을 보였으며 악기 초보자가 PC 기반 바이올린 연주 학습에 사용자 인터페이스로 활용할 수 있는 가능성을 확인하였다.
본고는 키넥트의 3차원 영상 정보를 이용해 종이 바이올린 지판과 손가락 끝점을 검출하여 활 움직임을 판정하고, 이 정보를 이용해 가상 바이올린을 구현하는 방법을 제시한다.