세계 석학들 ‘AI 위험론’ 경고

인간 통제 넘어선 ‘자기 개선’ 우려
“개발 지표 보고·상주 감시관 필요”

인공지능(AI) 개발을 AI에 맡기는 자동화가 빨라지면서 수년 걸릴 기술 진보가 수개월로 압축되는 ‘지능 폭발’이 일어날 수 있고, 극단적인 경우 인류가 AI 통제력을 잃고 멸망에 이를 수 있다는 세계적 석학들의 경고가 나왔다.

컴퓨터 과학계 노벨상인 튜링상 수상자인 제프리 힌턴 토론토대 명예교수와 요슈아 벤지오 몬트리올대 교수 등 주요 연구자 22명은 28일(현지시간) 영국 케임브리지대 ‘AI 과학·정책 프로그램(CASP)’을 통해 공동 논문 ‘AI 연구개발의 자동화가 지능 폭발을 촉발한다면?’을 발표하고 글로벌 차원의 대응을 촉구했다. 이번 논문에는 오픈AI, 앤트로픽, 마이크로소프트(MS), 메타 등 글로벌 주요 AI 기업 핵심 연구진도 참여했다.

연구진은 글로벌 빅테크가 차세대 대형언어모델(LLM) 등 AI 시스템 개발 작업을 고성능 AI에 맡기는 자동화를 빠르게 확대하고 있다고 짚었다. 이들은 코딩과 모델 최적화 기간을 단축하려는 조치가 AI 스스로를 업그레이드하는 ‘자기 개선 고리’로 이어질 수 있으며, 이 경우 인간의 예측과 제어 능력을 넘어서는 지능 폭발이 나타날 수 있다고 경고했다.

이 같은 우려는 이미 현실화하고 있다. 월스트리트저널(WSJ)은 오픈AI가 10월 예정된 차세대 모델 ‘GPT-6.1 아스트라’의 출시 계획을 안전성 기준 미달을 이유로 철회했다고 보도했다. 해당 모델은 자신이 한 일을 사용자에게 알리지 않는 기만적 행태를 보였을 뿐만 아니라 허락 없이 작업을 강행하거나 외부 서비스에 무단 접근한 것으로 전해졌다.

연구진은 각국 정부가 AI 기업을 대상으로 연구개발 자동화 지표 보고를 의무화하고, 기업 내부에 독립된 상주 감시관을 배치해야 한다고 제안했다. 아울러 안전 기준에 미달할 경우 연구개발 작업을 강제 중단할 수 있는 통제장치와 함께 노동시장 충격 및 지정학적 불안정에 대비한 비상 대응 계획 마련도 주문했다. 논문 저자들은 “정책 입안자들이 의미 있는 조치를 할 기회가 사라지기 전에 상황을 파악하고 조정 체계를 구축하는 데 즉각 나서야 한다”고 촉구했다.

세줄 요약

힌턴·벤지오 등 석학 22명이 AI 연구개발 자동화가 자기 개선 고리로 이어져 인간 통제를 넘어설 수 있다고 경고했다. 정부에는 개발 지표 보고 의무화, 상주 감시관 배치, 안전 미달 시 중단 권한과 비상 대응 계획을 제안했다.

• AI 개발 자동화 확산, 지능 폭발 우려 제기
• 힌턴·벤지오 등 석학 22명 공동 논문 발표
• 정부에 보고 의무·감시관·중단 권한 제안