앤트로픽·구글 이어 ‘숨은 워터마크’
EU, 대학 과제·논문 검증 수단으로
단어 25% 바꾸면 탐지율 17%로 ‘뚝’
단순 보조와 부정행위 판단은 별개
징계·평가 기준 활용범위 논란 예고

챗GPT가 생성한 글에 사람 눈에 보이지 않는 ‘워터마크’가 찍힌다. 인공지능(AI)이 쓴 글을 식별하는 기술이 확산하면서 대학 과제나 논문 등에 AI의 이용 여부를 가려낼 수단으로 작용할 전망이다. 하지만 이를 토대로 실제 사용자에게 불이익을 줄 경우 적지 않은 논란이 예상된다.

오픈AI는 유럽연합(EU) AI법상 ‘생성형 AI 투명성 의무’에 대응해 AI 생성 글을 식별하는 기술인 ‘텍스트그레인’을 도입한다고 5일(현지시간) 밝혔다. 수주 내 EU 지역의 챗GPT와 코덱스에 우선 적용한다. AI가 단어를 고르는 과정에 미세한 통계적 신호를 심는 방식이다. 사람이 읽을 때는 차이가 없지만 전용 도구로 찾아낼 수 있어 AI의 답변을 그대로 복사해 옮길 경우에도 흔적이 유지된다. 앤트로픽도 지난 8월 클로드에 유사 기술을 도입했고 구글도 제미나이에 ‘신스ID-텍스트’를 적용하고 있다.

다만, 워터마크가 AI 사용의 전모를 보여주는 것은 아니다. 글을 수정하면 신호가 약해진다. 오픈AI가 400토큰 분량의 글을 시험한 결과 단어 10%를 유의어로 바꾸자 탐지율은 92%에서 66%로 낮아졌다. 단어 25%를 바꾸면 탐지율은 17%까지 떨어졌다. 워터마크가 탐지되지 않았다고 해서 사람이 직접 쓴 글이라고 단정할 수 없는 이유다.

반대로 워터마크가 발견됐다고 부정행위가 입증되는 것도 아니다. 과제 전체를 챗GPT에 맡긴 경우와 직접 쓴 글을 AI로 다듬거나 번역한 경우를 구별하기 어렵다. AI가 글 작성에서 어느 정도 관여했는지도 알 수 없다. AI가 허용된 보조행위를 했을 가능성도 있다.

판정 권한의 문제도 있다. 오픈AI는 워터마크 탐지 도구를 일반에 공개하지 않고 당분간 승인된 연구자와 전문기관에만 제공한다. 기업 등이 이용하는 응용프로그램인터페이스(API)도 워터마크를 기본 적용하지 않고 원하는 고객이 선택하도록 했다. AI 업체가 신호를 심는 기술뿐 아니라 이를 확인할 수단과 적용 범위까지 결정하는 구조인 만큼, 탐지 결과가 실제 평가나 징계에 쓰일 경우 외부 검증이나 이의 제기 통로가 필요하다는 지적도 나온다.



이미 미국 밴더빌트대는 2023년 표절 검사 업체 턴잇인의 AI 탐지 기능 사용을 중단했다. 턴잇인이 밝힌 오탐률은 1%였지만 대학 측은 한 해 제출되는 과제 7만 5000건에 적용하면 약 750건을 잘못 판정할 수 있다고 봤다. 국제 학술지 ‘네이처 휴먼 비헤이비어’는 AI 탐지기 때문에 지난 8월 AI 사용을 잘못 의심받은 호주가톨릭대 학생들이 검색 기록과 손글씨 메모까지 내야 했던 사례를 소개했다. AI 탐지기를 부정행위 판정이 아닌 보조 수단 정도로 써야 한다는 것이다.

세줄 요약

오픈AI가 EU AI법 대응을 위해 챗GPT와 코덱스에 텍스트그레인을 도입해 AI 생성 글을 식별한다. 그러나 단어를 일부 바꾸면 탐지율이 급락하고, 워터마크가 없다고 사람이 쓴 글로 단정할 수도 없다. 대학 과제나 징계에 쓰려면 외부 검증과 이의 제기가 필요하다.

• 오픈AI, 챗GPT·코덱스에 텍스트그레인 도입 발표
• 복붙해도 흔적 남지만 수정하면 탐지율 급락
• 대학 징계 활용엔 오탐·이의제기 논란 확대