"나는 한국어를 배운 적이 없어요. 북한의 리더 김정은을 만나려고 이 기술을 준비했습니다. 정상회담이 기대됩니다. 곧 만납시다." 지난해 6월 도널드 트럼프 미국 대통령의 짧은 한국어 연설이 유튜브에 공개됐다. 발음은 다소 어눌했지만 틀림 없는 트럼프 대통령의 목소리였다. 트럼프 대통령은 어떻게 한국어 연설을 한 걸까, 비밀은 딥러닝 기술을 사용한 음성생성 기술에 있었다. 인공지능(AI)이 특정인의 목소리를 학습해 여러 가지 언어로 변환할 수 있는 기술이다. 국내 스타트업 네오사피엔스가 개발했다. 세상을 떠난 스티븐 호킹 박사의 목소리로 새 논문을 발표하거나, 방탄소년단(BTS) 멤버의 목소리로 나만의 생일 축하 메시지를 받을 수도 있다. 앞으로 엔터테인먼트는 물론 방송·기념관 등 분야에서 폭넓게 사용될 것으로 예상된다. 삼성전자 C랩이 지원하는 스타트업 프로젝트에 선정되는 등 대기업들로부터 큰 관심도 받고 있다. 음성생성 기술을 개발하게 된 계기는. "문자음성 자동변환 기술(TTS)은 1990년대 본격적으로 나왔고, ARS·공공장소 안내 방송 등 제한적으로 사용됐다. 여기에 딥러닝 기술을 접목해 굉장히 자연스러운 음성을 생성할 수 있게 됐다. 지난해 구글에서 기계 음성이 전화해서 예약하는 AI 듀플렉스를 선보이기도 했다. 앞으로 원하는 앵커의 목소리로 24시간 뉴스를 들을 수 있고, 좋아하는 연예인의 음성으로 메시지를 받을 수 있다. 개인화된 미디어로도 발전할 수 있다." 어느 누구의 목소리라도 생성할 수 있나. "깔끔하게 녹음된 음성이 있다면 다 가능하다. 녹음된 음성을 AI에게 40분~1시간가량 학습을 시키고, 여기에 원하는 문장을 입력해 음성을 만든다." 음성생성 기술을 어떻게 상용화 할 수 있나. "놀이문화에 사용할 수 있다. 현재 유튜브 등 온라인 방송의 경우 시청자가 BJ에게 돈을 기부하면 기부자의 댓글을 기계음성이 읽어준다. 이를 BJ 목소리로 바꾸면 BJ가 자신과 대화하는 것 같은 효과가 난다. 이를 사용자나 할아버지 등 다양하게 바꿀 수 있다. 실제 최근 젊은 사용자들이 이런 서비스에 즐거워한다. 1인 제작자가 음성 드라마나 여기에 삽화를 넣은 영상을 만들 수 있다. 지난해 5월 트럼프 대통령의 목소리로 '더퀴즈 라이브' 방송을 하기도 했다." 엔터테인먼트 분야로도 가능성이 열려 있나. "음성생성 기술은 가상의 연예인이자 연기자다. 만약 성우에게 음성 드라마를 맡기면 녹음실 임대 등 돈이 많이 드는 데 비해 음성생성은 비용이 아주 적게 든다. 사람들의 기호는 다양하다. BTS가 댓글을 읽어주는 등 여러 요구에 대응할 수 있다. 물리적 한계가 없기 때문에 연예인들은 자신의 시간을 할애하지 않고도 많은 대중에게 서비스 할 수 있다. 직접 발로 뛰지 않아도 더 많은 수입을 창출할 수 있다." 연예인 목소리의 희소성은 떨어질 수 있지 않나. "음원의 경우 CD에서 스트리밍으로 넘어오면서 가수들의 라이브콘서트 가격이 기하급수적으로 올랐다. 오리지널의 가치는 더욱 오를 수 있다. 과거 축음기의 발명으로 부자에게 귀속됐던 가수들이 대중 스타로 신분이 상승했고, 이때부터 밀리언 셀러도 등장했다. 앞으로 발전 방향은 지켜봐야 한다." 목소리가 같아도 영상 속 입모양이 다르면 어색하지 않나.
도널드 트럼프 미국 대통령의 한국어 연설이나, 고인의 목소리로 새 논문을 발표하고, 방탄소년단(BTS) 멤버의 음성이 담긴 생일 축하 메세지 등은 딥러닝 기술을 이용하여 특정인의 목소리를 학습한 문자음성 자동변환 기술로 전 분야에 걸쳐 폭넓게 사용될 것으로 예상된다.