TV에서 뉴스를 진행하는 아나운서가 진짜 사람일까요? 아니면 가상인간일까요? 이제 이 질문을 고민해야 하는 시대가 왔습니다. 인공지능(AI) 휴먼이라 불리는 가상인간이 일상에 녹아들고 있기 때문이죠.

신한라이프 광고 모델 '로지'가 대표 사례에요. 신한라이프 광고에서 화려한 춤 솜씨를 보여준 로지가 사실 가상인간이라는 사실이 밝혀졌을 때 놀란 사람들이 많았죠. 사실 저도 가상인간이라는 것을 뒤늦게 알고 놀랐던 기억이 나네요.

가상인간은 점점 많은 곳에서 발견할 수 있는데요. 온라인 행사를 인공지능(AI) 앵커가 진행하고, 매장 상품 설명을 AI 휴먼이 진행하는 경우가 점차 늘어나고 있습니다. 그렇다면 가상인간은 어떻게 만들어질까요? 또 사람의 역할을 가상인간이 대체할 수 있을까요? 이번 [위드AI] 기획을 통해 알아보겠습니다.

신한라이프 광고 모델 로지를 아시나요? 동양적인 얼굴에 서구적인 체형을 지닌 이 22세 여성은 가상인간입니다. 신한라이프는 광고 모델로 가상인간 로지를 선택하며 '대박'을 터뜨렸는데요. 현재 로지를 모델로 한 신한라이프의 광고 유튜브 조회수는 1100만 회를 넘어섰답니다.

보험 업계 최초로 가상 인간 로지를 광고 모델로 발탁한 신한라이프는 기존의 보험 광고 편견을 깨고 MZ세대에게 친근하게 접근하고자 이 같은 전략을 내세웠다고 했죠.

로지는 싸이더스 스튜디오 엑스에서 태어났습니다. 로커스(LOCUS)의 자회사인데요. 참고로 로커스는 TV 광고 영상·애니메이션·영화·영상 캐릭터 제작 기업이에요. 규모로는 한국에서 가장 크다고 합니다.

김진수 싸이더스 스튜디오 이사는 <AI타임스>와 인터뷰에서 "영국의 슈두, 미국의 미켈라, 일본의 이마 등 해외에서는 가상인간을 여럿 선보이고 있는데 한국은 관련 움직임이 보이지 않아 로지를 제작하게 됐다"고 말했습니다.

로지가 처음 등장했을 때 어떻게 개발했는지에 대한 관심이 많았죠. 딥페이크 기술이 사용됐다는 얘기도 많았고요. 김 이사는 "유튜브 댓글에서 로지를 딥페이크로 제작한 것이 아니냐는 글이 있었는데, 사실 로지는 딥페이크로 제작하지 않고 3D 모델링 기술로 개발했다"고 밝혔습니다.

단순히 얼굴을 합성하는 기술이 아닌 3D 모델링을 활용해 현실감을 줬다고 했는데요. 사람의 얼굴이 움직일 때 뼈와 피부가 함께 움직이듯이 로지도 피부와 뼈 신경망을 심어 실제와 같이 연출했다고 했죠.

신한라이프 광고에서는 대역 모델이 춤을 추는 모습을 먼저 촬영한 뒤 모델을 로지로 대체해 제작했다고 하는데요. 김 이사는 "물론 3D로 로지를 제작해 붙여넣을 수 있지만 광고의 영역도 고려해야 한다"며 "춤을 추며 중간중간 짓는 매력적인 표정에 대해서는 사람이 할 수 있는 영역이므로 이를 인식·학습한 로지가 똑같이 표정을 짓도록 했다"고 말했습니다.

로지는 기존에 없던 새로운 존재를 만든 것이지요. 그런데 실존 인물을 가상인간으로 만드는 것도 가능합니다. 대표적인 인물이 김현욱 아나운서에요. 지난해 AI 분야를 취재하며 많이 만난 사람 중 한 명은 김현욱 아나운서인데요. 온라인 행사를 진행하기도 하고, 은행 키오스크 안에 들어가 있고, 무인 편의점 앞에도 있더라고요. 모두 실존 인물이 있었던 것은 아니고 가상인간이 업무를 대체했던 거죠.

AI 버추얼 휴먼이라고 불리는 이 기술을 공급하고 있는 곳은 딥브레인AI에요. 실재하는 사람을 촬영한 후 그 사람의 목소리와 표정, 행동 데이터를 AI로 학습시켜 가상인간을 만들어요. 원하는 문구를 시스템에 입력하면 가상인간이 대신 텍스트를 읽어주죠. 딥브레인AI에 따르면 이 결과물을 만드는데 5분 이내의 짧은 시간이 걸린다고 합니다.

딥브레인 관계자는 "딥브레인AI의 AI 휴먼 영상 합성 플랫폼 'AI 스튜디오스(AI STUDIOS)' 서비스를 활용하면 숙달된 사람의 경우 5분, 빠르면 1분 내에 AI 휴먼 영상을 만들 수 있다"며 "여기에 보도 관련 이미지, 영상 등을 첨부하면 뉴스 영상 하나가 만들어지는 것"이라고 말했습니다.

가상인간을 만드는 기술은 점점 더 발전하고 있어요. 클레온은 사진 1장과 음성 데이터 30초 만 있으면 가상인간을 만들 수 있는 딥러닝 기반 '딥휴먼' 기술을 개발했는데요. 진승혁 클레온 대표는 인터뷰에서 "딥페이크 기술로 영상의 얼굴과 목소리를 바꾸려면 기본적으로 사진 10만 장과 40시간 정도의 학습 시간이 필요하지만, 우리는 사진 1장과 실시간에 가까운 속도로 이를 구현할 수 있다"고 자신했습니다.

클레온이 자체 개발한 딥휴먼은 AI 딥러닝 기반 영상생성 기술입니다. 이미 만들어진 영상의 얼굴을 다른 사람의 얼굴과 목소리로 변환할 수 있고, 목소리를 입히면 영상 속 인물이 목소리에 맞춰 입모양을 바꾸는 것이 가능합니다. 우리말로 녹음한 목소리를 입혀도 자체 개발한 음성통역(STS) 기술로 영어, 중국어, 일본어로 변환할 수 있습니다.

이 기술은 가상인간 생성에도 사용할 수 있습니다. 여러 명의 사진을 합쳐 새로운 인물을 만들 수 있고, 32가지 파라미터(매개변수)의 조정 장치가 있어 눈이나 코를 특정 인물에 더 가깝게 하는 등 미세한 조정을 할 수 있습니다. 웹캠을 통해 나의 모습을 다른 사람이나 강아지, 애니메이션 캐릭터, 고전 초상화 등으로 바꾸는 것도 가능합니다. 강아지나 애니메이션 캐릭터 사진을 적용하면 웹캠에 촬영되는 나의 표정을 사진 속 대상이 그대로 따라하는 방식이지요.

해당 기술은 이미 세상을 떠난 사람과 대화하는 등 다양한 기술로 응용해 사용할 수 있습니다. 진승혁 대표는 "먼 훗날 부모님이 돌아가시는 상황이 됐을 때 부모님의 기억을 기반으로 가상 챗봇을 만들어 대화하는 것이 가능하다"면서 "고객센터 등에서 가상인물과 화상채팅을 하고 가상으로 연예인과 통화하는 것도 가능해질 것"이라고 말했습니다.

가상인간 출현은 긍정적인 부분이 많아요. 사람의 역할을 가상인간이 할 수 있겠죠? 예를 들면 방송과 행사에 비싼 가격의 아나운서를 고용하지 않고 가상인간으로 대체한다면 행사 비용을 훨씬 줄일 수 있겠네요.

그런데 여기서 걱정되는 부분이 있어요. 사람의 일자리가 점점 뺏길 수 있다는 거지요. 사람의 자리를 가상인간이 대체하면서 일자리가 줄어들 수 있다는 건데요.

그런 일은 이미 벌어지고 있어요. 신한라이프는 광고모델로 사람 대신 로지를 사용하면서 그야말로 대박을 쳤지요. 인기 높은 연예인을 모델로 쓴 것보다 더 많은 광고 효과를 얻었죠. 그런데 회사에서 모델값으로 낸 비용은 인기 연예인보다 훨씬 적었다고 해요. 만약 제가 광고주여도 이러한 광고 효과를 낼 수 있다면 인기 많은 연예인보다 가상인간을 모델로 채용하는 것을 먼저 검토할 것 같아요.

아나운서도 마찬가지에요. 딥브레인AI는 AI 휴먼 서비스로 기업 운영에 효과를 보는 사례는 이미 나오고 있다고 밝혔어요. 지상파 방송국보다 유명 아나운서를 구하기 힘든 케이블 방송국에서 이 서비스에 대한 니즈가 많다고 했지요.

딥브레인AI 관계자는 "새벽 시간대 자정 뉴스를 위해 기존에는 15명 인력이 필요했다면 AI 휴먼 기술 도입 후에는 1, 2명만 있으면 된다"고 말했어요. 또 "이지애, 김현욱 아나운서와 같은 유명인을 지역 방송의 생활 정보 프로그램에서도 사용할 수 있다"며 "실제로 MBN과 LG 헬로비전에서 효과를 보고 있다"고 밝혔지요.

이러다 사람의 역할을 모두 가상인간에 뺏길 수 있겠어요. 하지만 너무 걱정하지 마세요. 가상인간이 사람을 모두 대체할 순 없어요. 여기서 AI가 가진 한계를 짚고 넘어가야 하는데요. AI는 과거 데이터를 학습해 만든 결과물이에요. 과거 데이터에 대해선 알 수 있지만, 데이터가 없는 상황이라면 어떨까요? 학습방식을 통해 유추를 할 순 있겠지만, 정확한 결과를 내진 못하겠죠?

지난해 TV조선이 방영한 미스터트롯 결승전을 예로 들게요. 당시 방송이 생방송으로 진행됐는데요. 시청자의 실시간 투표를 취합하느라 시간이 걸렸어요. 결국 다음주에 결과를 발표하게 됐죠. 당시 사회자가 김성주 아나운서였는데요. 생방송에서 투표 취합에 걸리는 시간을 혼자서 메꿔갔어요. 대본이 없이 시청자가 기다리는 시간이 지루하지 않도록 임영웅, 장민호 등 참가자를 인터뷰하며 시간을 벌었지요. 이러한 역할을 가상인간이 할 수 있을까요? 절대 못할 것이에요.

현재 가상인간이 투입된 부분을 보면 이미 대본이 있는, 모든 게 완성된 구성에 들어가요. 구성이 완벽하지 않은 부분은 사람이 대체하고요. 그만큼 사람과 가상인간이 할 수 있는 부분은 확실히 구별되어 있어요. 실시간 대응할 수 있는 부분이나 생방송 등은 사람이, 이미 완벽한 대본과 구성이 있는 부분은 가상인간이 할 수 있다고 보면 되죠.

하지만 안심할 순 없어요. 기술 발전 속도가 상당히 빠른 만큼, 가상인간이 얼마나 빨리 더 발전할 수 있을지 알 수 없기 때문이에요. 그동안 사람만이 할 수 있는 역할에 대한 고민이 필요할 거에요. 유명 아나운서를 AI 휴먼으로 만들기 때문에 상대적으로 인기가 높은 사람만 돈을 벌고, 인기가 적은 사람은 직장을 잃는 양극화 현상도 걱정되는 부분이에요. 소 잃고 외양간 고치는 일이 없도록 기술 발전으로 발생할 문제점을 미리 분석해 예방하는 일이 필요하겠네요.