ㆍ'의도 없이' 인종과 성별 따라 차별 가능성… '알고리즘 시민권' 고민할 때 얼굴을 갖다 대면 인공지능이 여권 사진과 비교해 본인이 맞는지 확인한다. 인천국제공항에서는 안면인식 출입국 심사 절차가 2019년 도입됐다. 심사과정은 간소화됐지만 자신의 얼굴을 담은 안면인식 정보가 어떻게 활용되는지는 알기 힘드니 찜찜하다. 게다가 범죄자나 불법체류자 등을 식별하기 위해 수집된 대량의 안면인식 정보를 바탕으로 인공지능이 '학습'을 거친 뒤 특정 얼굴 형태를 가진 사람이 위험하다고 낙인찍기라도 한다면? 아직까지는 인공지능을 활용하는 비율이 낮아 큰 걱정거리는 아니다. 하지만 언제라도 인공지능 알고리즘이 알게 모르게 차별을 학습하는 데 그치지 않고 차별행위를 저지를 수 있다는 우려는 곳곳에서 나오고 있다. 인공지능 음성서비스는 여성 목소리 인공지능이 높은 수준으로 학습을 하는 기기는 아니지만 흔히 사용되는 인공지능 스피커는 처음부터 성차별적인 인식이 반영된 상태로 세상에 나왔다. 애플의 '시리'나 구글의 '어시스턴트', 마이크로소프트의 '코타나'와 같은 해외 글로벌기업의 인공지능 음성서비스는 물론 국내 기업 SK텔레콤의 '누구', KT의 '기가지니' 등은 여성에 가까운 목소리로 안내를 한다. 삼성의 '빅스비'나 네이버의 '프렌즈'처럼 남녀 모두의 목소리를 담아 나온 제품은 오히려 소수였다. 이에 대해 국내·외에서 여성을 보조적인 역할을 맡는 인식이 반영된 것이라는 비판이 일자 업체들은 대부분 남성 목소리에 가깝게 안내할 수 있게 하는 설정을 뒤늦게 추가했다. 이희은 조선대 교수(신문방송학)는 "'왜 목소리인가' 하는 문제에 대해 깊이 고민했다"고 말했다. 인공지능 기술이 활용된 스피커 외에 과거의 자동응답전화(ARS)가 진일보한 인공지능 안내 시스템에서도 대부분의 고객센터는 젊은 여성의 목소리를 기본값으로 내보낸다. 이 교수는 인공지능이 현실의 차별을 그대로 학습하는 현상의 문제점을 짚어보기 위해 열린 '성평등포럼' 자리에서 "기업의 ARS 음성이 상냥한 여성의 목소리인 것은 철저히 문화적이고 사회적인 이유"라고 지적했다. 인공지능 기술을 활용했다는 첨단기기에서 여성의 목소리를 많이 사용하는 이유 역시 역설적이게도 현재의 기술 수준에서 인공지능이 수행할 수 있는 일이 부차적인 일에 그치기 때문이다. 이 교수에 따르면 "전통적으로 여성의 영역으로 여겨졌던 문화적인 맥락 때문에 인공지능 기기에서 나오는 여성의 목소리도 결국 비서나 하녀의 역할을 대신한 것"이다. 문제가 단순하지 않다는 것은 실제로 스피커에서 나오는 음성 내용을 들으면 더욱 분명해진다. 국내 통신업체의 스피커에서는 성별을 묻는 물음에 "아리따운 여자랍니다"라고 답하는가 하면 자동차를 좋아하냐고 물었을 때는 "제가 여자라서 그런지 자동차에 관심이 없다"고 답하기도 했다. 이후 여성민우회에서 문제를 제기하자 업체들은 성중립적인 입장에서 답하는 방향으로 기기를 수정했다. 성별이 달라서 나타나는 차별에 더해 인종적인 차별문제까지 얽히는 나라에서는 인공지능이 '의도 없이' 저지르는 차별적 결과가 더 심각한 문제를 낳기도 한다. 미국 플로리다주 등 여러 주의 법원에서 사용되는 인공지능 알고리즘 콤파스(COMPAS)는 흑인을 차별하는 재범 가능성 환산 결과를 내놓는 문제가 제기됐다.
개발자 혹은 제작자의 내제된 문화적, 사회적 차별관념이 AI 알고리즘에 반영되어 의도치 않은 인종적, 성적 차별 등이 발생되고 있다.