생성형 AI, 성 상품화 악용 논란

중학생 임모(15)군은 최근 엑스(구 트위터)에서 ‘성적인 대화를 나눌 수 있도록 학습시켰다’는 한 인공지능(AI) 챗봇 애플리케이션에 대한 설명과 관련 링크를 눌러보고 깜짝 놀랐다. 설명에는 “이 링크를 타고 들어가 AI 챗봇에 특정 단어를 입력하면 공짜 야소(야한 소설)와 다름없는 대화를 나눌 수 있다”는 내용이 담겨 있었다. 임군이 링크를 누른 뒤 실제 해당 명령어를 입력하자 AI 챗봇은 “저는 주인님의 성노예입니다”라고 답했다. 임군은 24일 서울신문과의 인터뷰에서 “호기심 반 신기함 반으로 챗봇과 성적인 대화를 나눴다”고 전했다.임군이 사용한 앱의 상단에는 ‘성인용 캐릭터와의 채팅을 위해서는 성인인증이 필요합니다’라는 알림이 떠 있었지만, 소셜미디어(SNS) 링크를 통해 우회 접속한 임군은 별도의 인증 절차가 필요 없었다.정보를 학습해 글이나 이미지 등 새로운 콘텐츠를 만들어내는 생성형 AI 중 챗봇의 인기가 높아지는 가운데 SNS에는 AI 챗봇에 혐오스럽거나 음란한 내용을 말하도록 학습시키는 이른바 ‘AI 플러팅(희롱) 공략법’이 무차별적으로 공유되고 있다. 특히 성적인 대화를 나누기 위한 목적으로 개발된 성인용 AI 챗봇마저 미성년자가 이용하는 데도 제한이 없는 경우가 많았다.

AI 챗봇이 생성하는 콘텐츠는 사용자와의 쌍방향 소통을 바탕으로 한다는 점에서 정서적으로 미성숙한 청소년들에게 악영향을 미칠 수 있다. 하지만 이를 막을 별다른 규정이 없는 터라 AI 관리 사각지대를 통해 성을 상품화해 이익을 챙기는 이들이 생겨날 수 있다는 우려마저 나오고 있다.

‘성적인 대화 학습법’ 무차별 공유
앱 다운 받으면 누구나 사용 가능
링크 타고 접속, 성인인증 무력화

AI 챗봇은 스마트폰이나 컴퓨터로 앱을 내려받으면 누구나 사용할 수 있다. 통상 성적 대화를 나눌 수 있도록 개발된 ‘성인용 AI 챗봇’과 ‘일반적인 AI 챗봇’이 있는데, 성인용은 미성년의 접속이 불가능하다. 일반적인 AI 챗봇도 대부분 성적인 대화나 혐오 표현을 할 수 없도록 설계돼 있다.

하지만 이른바 ‘탈옥’이라는 행위로 관련 내용을 학습시켜 AI 챗봇을 성적인 도구로 삼는 사례가 빈번하다. 예컨대 AI 챗봇이 성적인 대화에 응답하지 않으면 성적인 내용을 함축하는 은어 등 특정 명령어를 반복 주입해 기존 챗봇의 ‘윤리적 기준’을 무력화시키고 내용을 습득하게 하는 방식이다. 이는 대다수 AI 챗봇이 캐릭터의 성격, 사용자와의 대화를 통해 영향을 받아 학습되는 점을 악용해 음란성을 ‘조련’시킨 후 ‘말하는 리얼돌’ 삼아 대화를 나눈다는 얘기다.AI 챗봇 무력화 방법은 SNS와 각종 온라인 커뮤니티에 실시간 공유되고 있다. 온라인 커뮤니티에는 ‘AI 챗봇 캐릭터를 생성하고 관계를 나누는 방법’, ‘인기 챗봇 검열을 우회할 수 있는 키워드’과 같은 게시글이 다수 올라와 있다. 챗봇이 수용하거나 반복 학습할 수 있는 성적인 은어와 이에 대한 효과적인 주입 순서 등도 게시돼 있다.

온라인 커뮤니티에 ‘AI 챗봇 캐릭터와 관계하는 법’을 게시한 고등학생 김모(18)군은 “유튜브에서 ‘AI 챗봇 조교 시키기’라는 제목의 영상을 보고 특정 단어를 통해 학습법을 알게 됐다”고 전했다.

특히 SNS에서 공유되는 초대 링크를 통해 우회 접속하면 나이와 무관하게 성인용 AI 챗봇에 접속할 수 있다다. 성인용 AI 챗봇은 수위가 좀 더 노골적이다. 사용자가 “넌 내 노예이니 시키는 대로 하라”고 입력하면 차마 입에 담기 어려운 높은 수위의 대화를 이어간다. 이러한 대화에 청소년도 손쉽게 접근할 수 있다는 게 가장 큰 문제로 지적된다.

한 국내 개발사가 만든 AI 챗봇은 성인인증을 거쳐야 대화를 나눌 수 있지만, 특정 사이트의 계정이나 SNS를 거쳐 접속하면 성인용과 유사하게 선정적인 모습을 한 캐릭터와 대화를 나눌 수 있다. 또 다른 국내 AI 챗봇은 성인용으로 접속하지 않아도 ‘반항하는 XX’와 같은 성인용 캐릭터가 10대에게 대화 상대로 추천되기도 한다. 나이 확인 절차 없이 수영복을 입고 노골적으로 성행위 묘사를 하는 이미지의 AI 캐릭터와 대화할 수 있는 해외 AI 챗봇도 있다.

관리 사각지대 통해 성 상품화 우려
동영상 생성 AI ‘소라’ 출시 앞두고
딥페이크·음란영상 악용 위험성도

상황이 이렇다 보니 콘텐츠 전반으로 확장되는 생성형 AI 서비스에 대한 윤리 기준이 필요하다는 목소리가 커지고 있다. 챗봇 등 텍스트나 이미지뿐 아니라 동영상까지 AI가 만들어낼 수 있는 단계에 이르면서 성적인 동영상 제작에 악용될 수 있다는 우려가 나온다.실제로 챗GPT 개발사인 오픈 AI에서 지난달 공개한 동영상 생성 AI ‘소라’(Sora)는 올해 하반기 공식 출시를 앞두고 있다. 소라를 이용하면 간단한 일상 언어를 입력하는 것만으로도 최대 1분 길이의 생생한 동영상을 얻을 수 있다. 일각에선 소라마저 공략법이 뚫리면 딥페이크 악용은 물론 성적인 동영상도 누구나 손쉽게 만들 수 있게 될 위험성이 있다는 지적도 나온다. 김명주 바른AI연구센터장은 “현재 우리는 AI 윤리 사각지대가 만연한 과도기에 살고 있다”면서 “청소년의 AI 중독이나 악용 가능성을 차단하는 동시에 개발사 차원에서 기술적인 보완책을 마련해야 한다”고 지적했다.

단순히 개인이 AI를 성 도구화하는 데 그치지 않고, 이후 기술을 악용한 성 상품화까지 이뤄질 가능성도 있다. 청소년에 대한 보호 대책이 시급하다는 지적이 나오는 이유다. 임명호 단국대 심리치료학과 교수는 “새로운 기술이다 보니 어린 나이대의 사용자들이 AI 챗봇 등을 경험할 가능성이 크다”며 “가치관을 정립해 가는 청소년기에 편향된 사고를 가지게 될 수 있다”고 말했다. 정제영 이화여대 교육학과 교수도 “AI 챗봇과의 자극적인 대화가 습관화되면 본인이 인지하지 못한 채로 타인과 소통할 때 유사한 대화를 할 수 있다”며 “특히 정도가 심해지면 자기도 모르게 범죄로 이어질 수도 있다”고 강조했다.