본 논문에서는 도심 영상에 대해 맨하탄 좌표계를 추정하는 합성곱 신경망(Convolutional Neural Network) 기반의 시스템을제안한다.도심영상에서맨하탄좌표계를추정하는것은영상조정, 3차원장면복원등컴퓨터그래픽스및비전문제해결의기본이 된다. 제안하는 합성곱 신경망은 GoogLeNet[1]을 기반으로 구성한다. 합성곱 신경망을 훈련하기 위해 구글 스트리트뷰 API로 영상을 수집하고 기존 캘리브레이션 방법으로 맨하탄 좌표계를 계산하여 데이터셋을 생성한다. 장면마다 새롭게합성곱신경망을학습해야하는PoseNet[2]과달리,본논문에서제안하는시스템은장면의구조를학습하여맨하탄좌표계를추정하기 때문에 학습되지 않은 새로운 장면에 대해서도 맨하탄 좌표계를 추정한다. 제안하는 방법은 학습에 참여하지 않은구글스트리트뷰영상을검증데이터로테스트하였을때3.157의중간오차로맨하탄좌표계를추정하였다.또한,동일검증데이터에 대해 제안하는 방법이 기존 맨하탄 좌표계 추정 알고리즘[3]보다 더 낮은 중간 오차를 보이는 것을 확인하였다.
본 연구에서는 도심영상에 대하여 맨하탄 좌표계를 추정하는 합성곱 신경망(Convolutional Neural Network) 기반의 시스템을제안하고자 한다.