김명주 서울여대 바른AI연구센터장

인공지능(AI)으로 만든 가짜 영상과 음성, 사진 등 딥페이크 저작물로 인한 폐해가 전 세계적으로 거세다. 특히 우리나라와 미국을 비롯해 올해 선거를 치르는 국가가 76개국에 달하면서 딥페이크 허위 조작 정보가 여론을 호도해 민주주의를 위협할 수 있다는 우려가 크다. 구글, 오픈AI, 마이크로소프트 등 글로벌 빅테크 기업 20곳이 최근 독일 뮌헨안보회의에서 유권자를 속이는 ‘선거 딥페이크’에 공동 대응한다는 협약을 발표한 것도 상황이 그만큼 심각하다는 방증이다. 챗GPT 등장 이후 상상을 초월하는 속도로 빠르게 진화하는 AI 기술을 올바르게 활용하는 방안은 무엇일까. 김명주 서울여대 바른AI연구센터장(정보보호학부 교수)은 “AI 악용과 오남용을 막는 법과 규제는 꼭 필요하지만 사후적 성격이어서 한계가 있다”며 “안전하고 신뢰할 수 있는 AI 윤리에 대한 공론화가 중요하다”고 했다. 2018년 ‘인공지능 윤리 가이드라인 서울 팩트(Seoul PACT)’를 만드는 등 국내 AI 윤리 연구를 선도해 온 그를 지난 13일 인터뷰했다.-딥페이크 악용으로 선거의 공정성이 훼손되고 민주주의가 혼란에 빠질 수 있다는 경고음이 커지고 있다.

“지난달 미국 뉴햄프셔주 예비 경선을 앞두고 조 바이든 미국 대통령의 목소리를 흉내 낸 가짜 전화가 민주당 당원들에게 돌아 충격을 줬다. 지난해 5월 튀르키예 대선에선 테러 집단이 야당 후보를 지지하는 내용의 딥페이크 영상이 유포돼 결과적으로 집권당 승리에 도움을 줬다. 딥페이크 선거운동에 대한 우려가 현실로 드러난 단적인 사례들이다. 사실에 기반한 유권자의 투표 행위라는 선거의 기본적 신뢰를 무너뜨리는 것으로, 민주주의를 흔드는 매우 심각한 위험이다.”

-우리나라는 4월 총선을 앞두고 지난해 말 공직선거법을 개정해 선거 90일 전부터 딥페이크를 활용한 선거운동을 전면 금지했는데.

“여야가 합의해서 선거에 AI를 사용하지 않기로 했지만 열성 지지자들이 개인적으로 제작해 유포하는 것까지 원천적으로 차단할 수는 없다. 중앙선거관리위원회가 전담팀을 구성해 단속하고 있으나 딥페이크 저작물 생성에 수분밖에 걸리지 않고 소셜미디어(SNS) 등을 통해 퍼지는 속도가 워낙 빠르기 때문에 현실적으로 대응하기가 쉽지 않다. 선거 하루 이틀 전이 가장 위험하다. 선관위가 딥페이크 여부를 확인하기 전에 투표가 끝나 버리는 상황을 노리고 상대 후보에게 타격을 주는 가짜 정보를 마구잡이로 퍼뜨릴 가능성이 높다. 가짜뉴스가 중도층의결정에 영향을 미쳐 선거판을 흔들 수 있다.”

선관위에 따르면 지난달 29일부터 지난 16일까지 적발된 딥페이크 게시물은 129건이었다. 딥페이크 선거 운동 금지법을 위반하면 7년 이하의 징역 또는 1000만원 이상 5000만원 이하의 벌금형에 처한다. 선관위 전담 인력 70여명이 3단계에 걸쳐 딥페이크 감별과 분석, 삭제 조치 등을 맡고 있다.

-해외의 딥페이크 규제는 어떤가.

“미국은 지난해 10월 바이든 행정부 주도로 AI로 만든 음성, 사진, 영상물에 의무적으로 워터마크(식별표시)를 부착하는 행정명령을 발표했다. 유럽연합(EU) 회원국이 이달 초 합의한 AI 규제법에도 AI 생성 표시를 의무화하는 내용이 포함돼 있다. 이 법은 2년 유예를 거쳐 2026년부터 시행된다. 글로벌 빅테크 기업들도 이런 흐름에 동참하고 있다. 다만 미국, EU를 제외한 국가 또는 중소 AI 기업은 법과 규제의 적용을 피할 수 있어 실효성이 떨어질 우려가 있다. 누구나 AI 허위 조작물을 만들 수 있을 정도로 딥페이크 기술이 대중화됐다. 규제를 너무 강하게 하면 그 규제를 따라가지 못하는 이들이 음지로 숨어 버려 부작용이 커지는 역효과가 날 수 있다. 규제의 적절한 기준을 도출하는 것이 중요하다.”

-국내 AI 관련 법·규제 현황은.

“과학기술정보통신부가 추진하는 AI 기본법(AI 산업 육성 및 신뢰 기반 조성에 관한 법률안)이 국회에 계류 중이다. 지난해 2월 과학기술정보방송통신위원회 법안소위를 통과했지만 시민단체가 반대해 멈춰 선 상태다. EU의 AI 규제법은 처음부터 만들지 말아야 하는 AI 금지 항목을 명확하게 규정하고 있는 것과 달리 우리는 AI 산업 진흥을 앞세워 규제가 느슨하다는 이유에서다. 챗GPT 등장 이후 규제론이 힘을 얻고 있는데 AI 기본법에 이를 반영해야 한다는 의견이 제기되면서 합의가 미뤄지고 있다. 미국과 유럽은 글로벌 AI 규제 주도권 경쟁이 한창이다. 지난해 11월 영국 런던에서 처음 개최된 ‘AI 안전 정상회의’의 후속 회의가 오는 5월 서울에서 열린다. 이를 계기로 우리도 글로벌 규제에 적극 대비해야 한다.”

-지난해 11월 오픈AI의 샘 올트먼 CEO 사퇴 소동이 화제였다. AI 개발론자와 규제론자의 갈등이 극적으로 표출된 사건으로 주목받았는데.

“오픈AI가 챗GPT를 출시했을 때 구글은 그보다 성능이 뛰어난 생성형 AI 기술을 개발한 상태였다. 다만 잠재적 위험을 제거할 수 있는 방안을 찾기 전까지 공개하지 않는다는 원칙을 지켰다. 그러나 이사진 요구에 떠밀려 바드를 출시했고 생성형 AI 개발 경쟁이 불붙었다. 그러나 AI의 급격한 발전으로 인한 부작용이 커지면서 규제론이 부상했다. AI 기술은 비가역적이다. 일단 세상에 나온 신기술은 되돌릴 수 없다. 시작 단계부터 올바른 발전 방향을 고민하고 사회적 담론을 형성하는 것이 중요하다. 오픈AI 사태로 AI 윤리에 대한 관심이 커진 것은 다행이다.”

-법으로 규제하면 되는데 AI 윤리가 왜 필요한가.

“법은 사후적 성격이고 정해진 조건에서만 적용되는 한계가 있다. 또한 AI 기술 발전 속도는 다른 기술보다 월등하게 빨라서 현실적으로 법이 기술의 발전 속도를 따라갈 수가 없다. 법보다는 윤리로 선제 대응해야 한다. AI는 스스로 학습할 수 있지만 윤리적 판단은 못 한다. AI에 양심이라는 코드를 넣어 준 적이 없기 때문이다. 결국 양심을 가진 사람이 AI를 잘 만들어 올바로 이용하고, 그에 따르는 책임을 져야 한다. AI 윤리가 중요한 이유다.”

-AI 윤리의 핵심 원칙은.

“투명성, 통제성, 책무성, 공공성 등을 꼽을 수 있다. AI의 행동과 판단 배경, 위험 가능성에 관한 정보가 투명하게 제공돼야 하고 모든 상황에서 언제든 인간이 개입해 통제할 수 있어야 한다. 또한 AI 기술이 사회와 개인에 부정적인 영향을 끼칠 경우 책임을 묻는 책무성도 기본이다. ”

-AI 기술을 잘 활용하려면 어떻게 해야 하나.

“비판적 시각을 갖는 게 중요하다. 이 세상에 완전한 기술은 없다. 첨단 기술이 나오면 ‘유용하기만 할까’, ‘조심해야 할 건 뭘까’ 등 질문을 해야 한다. 자신의 관점에서 기술을 소화하는 능력도 필요하다. AI 기술이 얼마나 위험한지 아무도 모른다. 누군가 문제를 발견하면 공론화하는 과정이 필요하다. 그래야 시행착오를 줄일 수 있다. AI 기술은 피할 수 없다. 그렇다면 악용이나 오남용하지 않고 목적에 맞게 잘 활용하는 방안을 지속적으로 고민해야 한다.”

● 김명주 센터장은

서울대 컴퓨터공학과 석·박사. 한국인터넷윤리학회 회장 역임. 2018년 국내 최초로 ‘인공지능 윤리 가이드라인 서울 팩트(Seoul PACT)’를 만든 공로로 근정포장 훈장 수상. 2019년 바른AI연구센터 설립. 현 인공지능윤리정책포럼 위원장, OECD 글로벌AI협의체 전문가. 저서 ‘AI는 양심이 없다’(2022).