[뉴스를 부탁해] AI 만나 확장되는 콘텐츠

드라마 ‘이태원 클라쓰’ 삽입곡 ‘시작’(원곡 가호)의 반주가 흐른다. 후렴이 시작될 무렵 그룹 거북이의 리더 터틀맨(고 임성훈)의 목소리가 또박또박 가사를 따라간다. “쉬어 가면 돼/ 힘들게만 보이던 내일도/ 넌 결국 해낼 거잖아.” 특유의 굵직한 목소리로 마이크를 잡고 노래를 부르는 그는 다른 멤버와 함께 안무도 정확히 맞춘다. 지난 9일 엠넷 ‘AI 음악 프로젝트 다시 한번’이 방송한 이 공연 장면은 2008년 심근경색으로 세상을 떠난 터틀맨이 살아 돌아온 듯한 착각을 불러일으켰다.

방송에서 처음으로 시도한 인공지능(AI) 목소리 재현으로, 터틀맨이 예전 같은 얼굴과 체격으로 정확한 입모양까지 구사하는 모습을 볼 수 있었다. 먼저 무대에서 춤을 추던 거북이 멤버 지이와 금비는 물론 그의 모습을 객석에서 본 터틀맨의 어머니와 형, 랜선으로 접한 관객들의 눈에는 금세 눈물이 찼다. 금비는 방송에서 “완전체를 볼 마지막 기회라고 생각했는데 너무 (터틀맨과) 똑같아 깜짝 놀랐다”고 했고, 형 임준환씨는 “한 번이라도 다시 보는 게 소원이었는데 생전 모습을 보는 것 같아 무대 위로 뛰어오를 뻔한 걸 참았다”고 말했다.AI 목소리로 살아난 김현식·김광석···추억·새로운 경험 선물
최근 방송가에서는 이처럼 AI와 컴퓨터 그래픽 기술을 통해 옛 가수들의 목소리를 살려내는 프로그램들을 속속 선보이고 있다. 스타를 추모하고 기억한다는 의미와 함께 시청자에게 추억과 새로운 경험을 줄 수 있기 때문이다.

12년 만의 거북이 완전체 무대는 AI의 목소리 학습과 페이스 에디팅을 통해 가능했다. 가수의 생전 자료에서 뽑은 음성 데이터와 악보 데이터를 딥러닝으로 학습한 AI의 음성에, 반주(MR)를 더하면 노래가 완성된다. 음악에 맞춘 영상은 과거 일상과 무대 위 모습을 담은 사진, 방송 자료 등에서 터틀맨의 모습을 가져와 댄서의 춤 동작에 입히는 방법으로 제작했다. 오는 16일에는 같은 방식으로 가수 김현식의 목소리에 홀로그램 시각 효과를 결합한 공연이 전파를 탄다.

SBS가 다음달 22일 방송하는 신년특집 ‘세기의 대결! AI vs 인간’은 김광석의 목소리를 되살린다. 1996년 세상을 떠난 그가 2002년 나온 김범수의 ‘보고 싶다’ 등 여러 가요를 부른다. 특유의 톤과 바이브레이션, 호흡 등 습관까지 고스란히 담아낼 예정이다. “AI가 오리지널의 근원적 가치까지 복제할 순 없지만, 긍정적 가능성도 큰 만큼 현주소를 짚고 바람직한 발전 방향을 논의해 보자”는 기획 의도다.

‘다시 한번’과 ‘세기의 대결’에 참여한 오디오 전문 AI 업체 수퍼톤에 따르면 이러한 복원 과정은 AI로 김광석 악기, 터틀맨 악기를 각각 만드는 데 비유할 수 있다. 한국어 발음과 악보로 훈련시킨 AI에 각 가수의 목소리 데이터를 입력하면 맞춤형 AI가 만들어지고, 이후에는 어떤 노래든 그 사람처럼 부를 수 있다는 설명이다. 이렇게 한 가수의 특성을 고스란히 담으려면 최소 20곡의 깔끔한 음원이 필요하다. 이 때문에 가수 김현식처럼 음원 자료가 희귀하고 오래된 경우는 더 까다롭고 정교한 작업을 거쳐야 한다.

이는 뉴스를 읽는 AI나 내레이션 등에 쓰이는 ‘텍스트 투 스피치’(TTS), 즉 글자를 음성으로 읽어 주는 기술보다 한 단계 진화한 형태다. 최희두 수퍼톤 이사는 “평범한 문장을 읽는 것이 2세대였다면 지금 기술은 그다음 세대로 감정 표현까지 담아낼 만큼 정교해졌다”며 “세계 최초로 우리가 상용화한 가창 합성 기술”이라고 설명했다.

‘세기의 대결’은 노래 외에 ‘골프 여제’ 박세리 감독과 AI 골퍼의 대결도 펼친다. 박세리가 상대하는 미국 AI 골퍼 엘드릭은 로봇에 AI를 탑재해 스윙머신을 발전시킨 것으로, ‘골프 황제’ 타이거 우즈, ‘장타 괴물’ 브라이슨 디섐보 등 골퍼 1만 7000명의 샷을 학습했다. 벙커에 들어가면 망가진다는 점을 제외하면 엄청난 ‘스펙’을 보유했고, 바람의 세기와 지형까지 스스로 읽어 낼 수 있다. 박세리와 롱드라이브(장타 대결), 홀인원, 퍼팅 등 세 종목을 겨룬다.

슈가도 무대 위에····디지털 휴먼·캐릭터 등 확장성 무궁무진
이런 AI 기술은 세상을 떠난 스타들뿐만 아니라 무대에 오르지 못하는 연예인을 대체할 가능성도 엿보인다. 지난 6일 ‘엠넷 아시안 뮤직 어워즈’(2020 MAMA)에서는 어깨 수술로 외부 활동을 중단한 방탄소년단의 슈가가 무대에 올라 놀라움을 자아냈다. 최신곡 ‘라이프 고스 온’(Life Goes On) 무대 중간에 가상의 문에서 걸어나온 그는 멤버들과 나란히 서서 노래를 소화했다. 다른 멤버들과의 이질감이 느껴지지 않을 정도였다.

‘가상 슈가’를 구현하는 데는 볼류매트릭 기술이 사용됐다. 360도를 촬영할 수 있는 카메라 여러 대가 동시에 대상을 촬영해 실사 기반 입체 영상을 만드는 것으로, 한 번의 촬영으로 3D 데이터를 추출할 수 있다는 장점을 지녔다.

CJ ENM T&A와 무대 구현에 참여한 영상기술 전문 업체 비브스튜디오스에 따르면 슈가의 자연스러운 모습은 노이즈를 제거한 3D 데이터를 바탕으로 조명을 묻히고, 피부톤까지 보정하는 섬세한 작업을 거친 결과물이다. 비브스튜디오스 관계자는 “볼류메트릭을 이용하면 활동을 중단한 가수는 물론 가상 캐릭터와 엔터테이너 개발 등 다방면으로 활용할 수 있다”며 “현재 AI 기술과 접목한 디지털 휴먼 기술도 개발 중”이라고 덧붙였다.

이처럼 첨단 기술과의 결합은 콘텐츠의 다양성과 확장성을 넓힐 수 있다는 장점을 가진다. 최근에는 비교적 창의적인 일까지 가능해 업계의 관심이 더 높아졌다. SKT와 SM엔터테인먼트는 AI 서비스 ‘누구’의 음성 안내를 원하는 아이돌의 목소리로 들을 수 있는 서비스를 시작하는 등 엔터 업계 변화도 활발하다. 지난 1월에는 MBC 다큐멘터리 ‘너를 만났다’에서 세상을 떠난 아이를 구현하기 위해 AI 음성 재구성과 가상현실(VR) 기술을 사용하는 등 방송가의 관심도 꾸준하다.

‘세기의 대결’을 연출한 김민지 SBS PD는 “2016년 이세돌과 알파고의 대결은 방송계에도 큰 관심을 불러일으켰고 이번 기획을 하게 된 계기”라며 “AI가 콘텐츠 창작자들에게도 그동안 하지 못했던 것을 상상하게 해주고 아이디어와 가능성을 넓혀 주는 역할을 했다”고 말했다. 김동규 CJ ENM 콘텐츠 R&D센터 프로듀서는 “지금까지와 다른 경험을 제공하거나 완전히 새로운 콘텐츠를 만드는 것은 업계 모두의 관심사”라며 “올해 초부터 AI를 활용한 새로운 프로그램 제작을 본격적으로 검토했다”고 했다.

오남용 방지·권리 보호 등 장기적 과제
활용 가능성이 큰 만큼 사전에 고려해야 할 점도 적지 않다. 이미 상당 부분 사람의 음성과 AI를 구분하기 어려운 수준까지 기술이 발전해 오남용 가능성도 존재하기 때문이다.

이를 위해서 기술적으로는 사람과 AI를 구분할 수 있는 보완 장치와 목소리 출처를 알려 주는 워터마크를 활용할 수 있다. 또한 서비스 측면에서는 소비자에게 직접 서비스하기보다 우선 기업간거래(B2B)로 한정할 필요가 있다는 게 업계의 판단이다.

최희두 이사는 “아직 관련 제도나 가이드라인이 없는 상황”이라며 “‘AI 경찰’과 같은 보완 장치로 유출이나 악용을 막기 위해 자체적으로 노력을 기울이고 있다”고 말했다. 이어 “목소리의 주인인 당사자나 유족, 저작권자 동의 없이 기술을 활용하지 않기로 원칙을 정했다”고 덧붙였다. 엠넷과 SBS 등 방송 제작진 역시 일단 해당 가수들의 유족과 동료, 팬들로부터 목소리 복원에 대한 동의를 최우선으로 구하고, 복원도 허락된 범위에서 진행했다는 후문이다.

인격권, 저작권 등 권리 보호도 중요한 과제다. 장민지 경남대 미디어커뮤니케이션학과 교수는 “인간의 목소리나 모습을 복원하는 경우 인권과 저작권을 침해하지 않도록 충분한 주의가 필요하다”면서 “세계적으로도 관련 기술에 대한 제도나 가이드라인이 정비되지 않은 만큼 이에 대한 사회적 논의를 전개하면서 콘텐츠 개발도 신중하게 접근해 나가야 한다”고 밝혔다.

김지예 기자 jiye@seoul.co.kr