인공지능 기술의 개발 목표는 인간 뇌의 기능을 기계에게 성공적으로 외주하는 것이다. 이 목표를 달성하려면 뇌의 기능 중 어떤 것의 작동 기제를 알로리즘으로 포착 할 수 있는지 그 범위가 일차적으로 문제될 것이다. 특히 관심을 끄는 대목은 전통적으로 인간에게만 특유한 것으로 이해되어 왔던 핵심적인 기능까지 수행할 수 있는 소위 강한 인공지능의 출현 가능성 문제다. 또한 강한 인공지능이 제작 가능하다고 하더라도 그것의 쓸모가 무엇인지에 대한 문제도 제기될 수 있다. 그러나 그런 문제에 답을 구하는 것보다 강한 인공지능의 제작이 성공하기 이전 단계에서도 초지능이 출현할 가능성이 있다는 사실을 더 심각하게 고려해야 한다. 도덕성이 결여된 초지능의 출현은 인간에게는 큰 위험이 될 수 있기 때문이다. 이 글에서 필자는 초지능의 출현이 인류의 운명에 대해 갖게 될 심중한 함축을 조명해보면서 AI 기술 개발의 방향에 관하여 좀 더 깊이 생각해야 할 필요가 있다는 점을 강조할 것이다.
인공지능 기술의 개발 목표는 인간 뇌의 기능을 기계에게 성공적으로 외주하는 것이다. 그러나 그런 문제에 답을 구하는 것보다 강한 인공지능의 제작이 성공하기 이전 단계에서도 초지능이 출현할 가능성이 있다는 사실을 더 심각하게 고려해야 한다.