총선 D-50 선관위 대응팀 가보니

보름여 만에 저작물 129건 적발
“위법 판단땐 징역·벌금 법적조치”

#1. 유튜브 채널에서 총선 입후보 예정자 A씨가 자신을 소위 ‘셀프 디스’하는 모습이 담긴 영상이 적발됐다. 분명 A씨인데, 그는 그런 말을 한 적이 없다고 했다. 검증 결과 A씨의 목소리를 영상에 입힌 ‘딥보이스’ 저작물이었다. 영상에 자막까지 삽입해 시청자들은 실제 방송뉴스와 분간하기 어려웠다.

#2. 한복을 입은 총선 예비후보자 B씨가 새해를 맞아 “새해 복 많이 받으세요. 국회를 바꾸겠습니다. ○○○을 국회로 보내 주세요”라고 세배하는 영상도 문제가 됐다. ‘페이스스와프’ 기술로 기존 영상에 B씨 얼굴만 입힌 가짜였다. 음성도 B씨 목소리를 학습한 생성형 인공지능(AI)의 ‘딥보이스’였다.

중앙선거관리위원회 ‘허위사실비방 AI 딥페이크(생성형 AI가 만든 가짜 이미지나 영상물) 특별대응 모니터링반’(특별대응반)이 4·10 총선을 50일 앞두고 19일 서울신문에 공개한 딥페이크 적발 사례다. 이곳에서 걸러낸 정치·선거 관련 딥페이크 저작물(1월 29일~2월 15일)만 129건으로 하루 평균 7건꼴이다. 우리나라도 딥페이크의 선거 개입 위협에서 더이상 무풍지대가 아닌 셈이다.

지난 16일 찾은 경기 과천시 중앙선관위의 특별대응반 사무실 입구에는 검은 연기 기둥을 내뿜는 ‘딥페이크 펜타곤’(미국 워싱턴DC 인근 국방부 청사)과 실제 펜타곤 사진을 나란히 표출한 대형 모니터가 있었다. 지난해 5월 트위터 유료 계정에서 급속히 유포돼 미국 주식시장을 출렁이게 했던 가짜 이미지다. 눈여겨보면 가짜인 게 확연하지만, 일부 주식시장 참여자들이 진위 판단보다 주식을 먼저 팔아치우면서 ‘딥페이크의 무서움’을 보여 준 대표 사례가 됐다.

손욱 주무관은 “딥페이크 기술은 하루가 다르게 정교해지고 완벽해진다. 총선이 임박해 딥페이크 기반의 가짜 영상, 음성, 사진이 기승을 부릴 가능성을 배제할 수 없다”고 말했다. 이어 “지난해 8월부터 미국, 튀르키예, 인도네시아, 대만 등 해외 선거에서 딥페이크 작업물이 발견되면서 이들의 제작 형태와 유포 경로 등을 닥치는 대로 학습했다. (총선 관련) 딥페이크 저작물의 유포 경로를 빠르게 파악하고 선거에 영향을 미치지 못하게 신속 차단하는 게 임무”라고 했다.

선관위 “딥페이크 전면 금지”
특별대응반 꾸려 집중 감시

우리나라는 지난해 12월 ‘선거 90일 전부터 딥페이크를 활용한 선거 운동을 전면 금지’하는 내용으로 공직선거법을 개정했다. 이에 선관위도 지난해 8월부터 AI 전문 감별반 개설 준비에 착수했다. 지난달 11일엔 400여명 규모의 ‘허위사실 사이버범죄 특별대응팀’ 산하에 특별대응반(59명)을 구성했다.

사무실에서는 데이터분석 전문가 등 AI 전담 요원 5명을 포함해 17명이 모니터링에 한창이었다. 유튜브, 트위터, 페이스북 등에 선거와 관련된 특정 단어, 정치 논쟁 이슈를 입력해 선거법 위반 소지가 있는 영상, 음성, 사진을 선별한다. 요원 1명이 하루에 약 300건을 검토한다고 했다. 지금까지 적발한 129건의 딥페이크 저작물은 대부분 개인이 제작한 것으로, 지지 후보의 이미지를 활용해 반대 진영 후보를 언급하는 수준이었고, 이에 선거 운동의 목적이 있는 게시물에만 단순 삭제 조처를 했다고 한다. 하지만 선관위는 악의적이거나 조직적으로 제작됐다고 판단되면 향후 고발 조치에 나설 수 있다고 했다. 공직선거법을 어기면 7년 이하의 징역 또는 1000만원 이상 5000만원 이하의 벌금형에 처한다.

우리나라에서는 지난 지방선거 때 소위 ‘AI 윤석열’을 이용해 특정 남해군수 후보를 지지하는 영상이 유포된 게 대표적인 딥페이크 악용 사례로 꼽힌다. 특히 선관위는 개인용 딥페이크 저작물이라도 유권자의 일상을 교묘히 파고드는 식이면 심각한 문제가 될 수 있다고 했다. 선관위 관계자는 “딥페이크 작업물 대부분은 아직 영상이나 사진이 어색하고 내용을 조금만 보면 (가짜임을) 알 수 있다”면서도 “하지만 올해 적발된 영상들은 소름 끼치도록 정교하게 진화했다”고 했다. 이에 딥페이크의 발전 속도가 지나치게 빨라 감별 프로그램이 따라가지 못할 수 있다고 우려했다. 현재 딥페이크 적발 프로그램은 기존에 학습되지 않은 딥페이크 작업물의 경우 감별하기 어렵고 악의적인 딥페이크 저작물을 찾아내도 해외 인터넷주소(IP) 등으로 유포되면 제작자를 찾아내 처벌하기 쉽지 않다. 특히 저작물이 워낙 빠르게 확산되고 소비되다 보니 가짜뉴스의 확산 자체를 막는 게 더욱 힘들다.

선관위는 ‘신속한 확산 저지’를 목표로 3단계 접근법을 구축했다. 1단계는 자체 제작한 ‘AI 지능형 사이버 선거범죄 대응 시스템’으로 위법성이 의심되는 정치 관련 게시물을 자동 수집해 검토한다. 이후 범용 프로그램으로 실제 딥페이크 저작물인지 확인하고, 가짜일 확률이 높을 경우 삭제 요청을 한다. 아주 정교한 딥페이크 저작물은 생성형 AI 전문가인 전문 위원 3명에게 자문하는데, 지금까지 이런 사례는 없었다.美·英 등 해외 선거판 흔들어
탐지 속도보다 확산 더 빨라

외국은 딥페이크를 활용한 선거 왜곡 시도가 더욱 심각하다. 지난달 미국 뉴햄프셔 유권자들에게 걸려 온 28초가량의 전화에서 조 바이든 미국 대통령의 목소리를 흉내 낸 ‘로보콜’(녹음된 음성이 재생되는 자동전화)은 실제와 똑같았다. 가짜 바이든은 “여러분의 투표는 이번 화요일이 아니라 11월에 변화를 만들 수 있다”며 민주당 경선에 참여할 필요가 없다고 해 유권자들에게 혼란을 주었다.

튀르키예의 지난 5월 대선도 딥페이크 저작물이 흔들었다. 레제프 타이이프 에르도안 튀르키예 대통령은 터키 분리주의 단체인 쿠르디스탄노동자당(PKK)이 상대 후보인 케말 클루츠다로을루를 지지하는 노래를 부르는 영상을 뿌려 지지자의 반감을 자극했다. AI로 조작한 영상이었지만, 에르도안 대통령은 이겼다. 지난해 9월 슬로바키아에서도 선거를 며칠 앞두고 친미 성향의 야당 대표가 맥주가격 인상과 선거 조작 계획을 논의한 것처럼 꾸민 딥페이크 음성이 확산됐다. 이 음성 역시 가짜로 판명됐지만 야당 패배의 주요 원인 중 하나로 지목됐다.

영국에서는 소셜미디어(SNS) 틱톡에서 사디크 칸 런던 시장이 정전협정일 행사의 중요성을 부인하는 가짜 음성이 유포돼 논란이 일었다. 해당 음성은 문법적 오류가 많았지만 칸 시장의 억양을 정확히 재현해 얼핏 듣기에 진위를 가리기 어려웠다고 한다.

■딥페이크(Deepfake)란 인공지능 기술인 딥러닝(Deep learning)과 ‘가짜’를 의미하는 단어인 페이크(Fake)의 합성어다. 딥러닝을 이용해 원본 이미지나 동영상 위에 원본과는 관련 없는 이미지를 결합해 진위를 구별하기 어렵게 만든 가짜 이미지나 영상물을 뜻한다. 딥페이크라는 단어가 등장한 것은 2017년 말로 미국 온라인 커뮤니티 레딧의 한 회원이 기존 영상에 유명인의 얼굴을 입혀 가짜 포르노 영상을 게재한 데서 유래됐다. 이후 온라인 커뮤니티와 소셜미디어(SNS)를 중심으로 급속히 확산한 딥페이크 콘텐츠는 최근 딥페이스랩(DeepFaceLab), 페이스스와프(Faceswap) 같은 오픈 소스 형태의 영상 합성 제작 프로그램이 배포되면서 더욱 성행하고 있다.