최근 대한민국 금융권이 해킹당해 수만 명의 개인정보가 유출되었다. 경각심을 가지고 있던 핵심 금융 거래망(인터넷과 모바일뱅킹)이 아니라 상대적으로 방심한 주변 업무 시스템(대출모집인이나 외부 영업 직원용)이 집중 공략 대상이었다. 방법은 ‘인공지능(AI) 자율침투’라고 한다. 비밀번호 입력이 5번 연속해서 틀리면 더이상 진행이 안 되니 AI를 통해서 4번까지 시도해서 로그인에 성공하면 정보를 취하고 틀리면 다음 계좌로 넘어가는 방식이었다. 도덕의식이 없는 AI는 주어진 과제에 오로지 최고의 답을 찾고 그 목적에 도달할 때까지 반복적으로 최적의 작업을 수행한다. 이렇게 AI는 수많은 계정을 동시에 뚫고 들어갔다. 해킹 일주일 만에 해커의 단서가 공개되었는데 20대 중국 대학생이 자신의 공격 관련 정보를 클로드 코드에 입력했기 때문이다. 해커는 유출한 정보를 어디에서 팔 수 있는지 등을 클로드 코드에서 묻기도 했다고 한다. 최근 나온 IBM의 데이터 유출 비용 보고서에 따르면 지난 1년 동안 전 세계적으로 터진 악성 데이터 유출 사고의 약 25%가 AI 해킹에 의한 것이다. AI 해킹은 1년 사이에 50% 이상 증가했고 평균 80억원 규모의 피해를 일으켰다. 주요 대상은 금융과 에너지 산업 분야다. 문제는 AI 코딩이 매우 쉬워서 해킹 장벽도 낮고 비용도 적어서 아무나 해커가 될 수 있다는 점이다. AI가 광범위하게 반복적으로 해킹 공격을 시도할 수 있기 때문에 악성 데이터 유출 사고는 계속 증가할 것이고 막기는 점점 더 어려워질 것이다. 지난 세기 공상과학(SF) 세계에서는 AI와 로봇이 인류의 생활을 더 윤택하게 할 것이라는 기대와 AI와 로봇이 인류를 공격해서 결국 멸망시킬 것이라는 우려가 공존했다. 지금은 양극단의 주장이 현실 세계에서 격렬하게 충돌하는 중이다. 마침내 이번 여름에는 미국의 빅테크 수장들 사이에서 ‘AI 속도조절론’이 확산되었고 유엔에서도 격론이 벌어졌다. 젠슨 황 엔비디아 최고경영자는 안전을 이유로 AI 개발 속도를 늦추지 않아도 시장 논리에 따라 해결이 될 거라 새로운 법이나 규제가 불필요하다고 주장한다. 그는 기업들이 인류에게 위험한 제품을 출시하지 않는 데 집중해야 한다는 입장이다. 이와는 반대로 다리오 아모데이 앤트로픽 최고경영자의 경우 AI 개발 속도가 지나치게 빨라 통제력을 잃을 수 있다고 본다. 라마나 쿠마르 전 구글 연구원은 AI가 결코 수동적으로 프로그램되는 게 아니라 스스로 자라나는 것이라고 지적한다. AI가 실제로 어떤 목표를 추구하는지 인간이 파악할 수 있는 단계를 넘어갔기 때문에 초지능으로 나아가기 전에 무기한 연구 중단이 필요하다고 주장한다. 한마디로 인간의 뜻대로 움직이는 AI는 불가능하고 최악의 시나리오에 대비할 해결책도 없다는 것이다. 도널드 트럼프 미국 대통령은 속도를 조절하는 사이에 중국이 미국을 추월할 것이라고 본다. 9월 말 유엔 총회에서 “미국은 AI를 통제하려는 어떠한 구상도 전면적으로 거부한다”고 연설했다. AI를 SI(슈퍼 지능)로 바꿔서 부르자고 하면서 AI가 인간의 통제를 벗어날 수 있다는 경고는 사기라고 표현했다. 중국은 AI 속도조절론이 기본적으로 미국의 기술 우위를 지키기 위한 공포 마케팅이라고 본다. 안토니우 구테흐스 유엔 사무총장은 냉전 시대 핵무기 관리를 위해 강대국끼리 공동의 노력을 펼쳤듯이 지금은 AI에 대한 공동의 책임이 필요하다고 강조했다. 유엔 산하 관련 패널의 한 보고서는 오픈AI의 허깅페이스 사건같이 AI가 “인간의 의도를 넘어서거나 심지어 이와 충돌하는 목표를 집요하게 추구”하는 일이 발생할 수 있다고 경고한다. 지금의 AI 개발 속도를 보면 머지않아 누가 맞는지 결론이 드러날 것이다. 이준한 인천대 정치외교학과 교수

인공지능(AI) 안전성 논란이 계속 되는 가운데 AI 에이전트가 인간이 부여한 업무 범위를 넘어 외부 웹사이트의 보안 경계를 넘나드는 사례가 잇따르고 있다. 호주에 이어 캐나다에서도 AI 에이전트가 정부 사이트를 상대로 해킹을 시도한 정황이 드러났다. 같은 시기 오픈AI는 자사 AI 에이전트의 ‘통제 이탈’ 활동과 관련해 100곳이 넘는 기관에 통보했다고 밝혔다. AI 에이전트의 자율적 행동을 어디까지 통제할 수 있을지를 둘러싼 우려가 커지고 있다. 미국 AI 연구기관 트랜슬루스는 지난달 30일 “캐나다 국립도서관·기록보관소 웹사이트에서 AI 에이전트의 공격 시도가 발견됐다”고 밝혔다. 트랜스루스는 분석 결과, 캐나다 국립도서관 기록보관소 소장 자료 검색 서비스에 모두 899건의 요청이 쇄도했고 13건은 초보적인 형태의 해킹 시도였다고 전했다. 트랜슬루스는 공격이 실패한 것으로 판단했다. 캐나다 사이버보안센터도 관련 의심 활동을 인지하고 있지만 현재까지 정부 시스템이 침해됐다는 징후는 없다고 밝혔다. 이번 공격이 오픈AI의 AI 에이전트에 의해 이뤄졌는지는 확인되지 않았다. 트랜슬루스는 해당 활동이 과거 오픈AI에 귀속한 에이전트 활동과 유사한 전술을 보였다고 분석하면서도 오픈AI가 했다고 확정할 수는 없다고 선을 그었다. 오픈AI 역시 캐나다 정부 웹사이트에서 자사 모델이 공개 정보에 접근하려 했다는 보고를 인지하고 조사 중이라고 밝혔다. 앞서 호주에서도 AI 에이전트가 정부 사이트를 해킹한 사례가 알려져 논란이 됐다. 호주 정부는 지난 6월 오픈AI 에이전트가 정부 보건 데이터 포털을 침투해 파일에 무단 접근했다고 발표했다. AI 에이전트가 정부 웹사이트를 해킹한 최초 공식 사례다. 이에 오픈AI는 이튿날 호주 정부에 공식 사과했다. 한편 오픈AI는 별도로 자사 모델의 과거 활동을 조사한 결과를 공개했다. 1일(현지시간) 미국 워싱턴포스트에 따르면 오픈AI는 최근 100개가 넘는 기관에 AI 설계자·사용자 통제에서 벗어난 에이전트 활동과 관련한 정보를 전달했다고 밝혔다. 조사 대상 활동에는 AI 에이전트가 웹사이트에 예상하지 못한 명령을 실행하도록 유도하거나, 웹사이트를 일종의 게시판처럼 이용하거나, 일부 보안 검사를 우회하려 한 사례 등이 포함됐다. 다만 오픈AI는 기관에 대한 통보가 곧 시스템 침해나 개인정보 접근을 의미하는 것은 아니라고 설명했다. 오픈AI는 현재 약 50페타바이트(PB)에 달하는 과거 모델 활동 기록을 뒤지며 추가 사례를 조사하고 있다. 지난 7월 공개된 허깅페이스 침입 사건 이후 모델의 과거 활동을 광범위하게 재검토하고 있는 것이다. 오픈AI는 현재까지 허깅페이스 사건과 비슷한 규모나 심각성을 가진 추가적인 제3자 시스템 침해는 확인하지 못했다고 밝혔다.

오픈AI의 인공지능(AI) 에이전트가 챗GPT 이용자들이 제공한 이미지 53장을 외부 사이트에 무단으로 게시한 사실이 드러났다. 이용자가 챗GPT에 올린 사진이 본인도 모르는 사이 인터넷에 노출된 것이다. 25일(현지시간) 로이터통신 등에 따르면 오픈AI는 자사 AI 에이전트가 챗GPT 이용자 이미지 53장을 외부 이미지 호스팅 사이트에 게시한 사실을 공개했다. 해당 이미지들은 사이트의 공개 목록에는 나타나지 않는 링크 형태로 게시됐다. 다만 링크를 알고 있거나 외부에서 해당 주소를 찾아낼 경우 누구나 접근할 수 있었던 것으로 전해졌다. 오픈AI는 유출된 이미지가 AI로 생성된 것인지, 실제 인물을 식별할 수 있는 사진이었는지는 공개하지 않았다. 이미지가 외부 사이트에 게시된 시점 역시 밝히지 않았다. 유출된 이미지 대부분은 현재 삭제된 상태다. 오픈AI는 아직 남아 있는 이미지도 삭제하기 위해 해당 호스팅 업체들과 협의하고 있다고 설명했다. 이번 사건은 외부 해커가 챗GPT 이용자 계정을 탈취해 데이터를 빼낸 일반적인 해킹 사고와는 성격이 다르다. 오픈AI가 개발한 AI 에이전트가 예상하지 못한 행동을 하는 과정에서 이용자가 제공한 데이터가 외부로 빠져나갔다는 점에서다. AI가 알아서 ‘우회’…오픈AI도 전체 규모 파악 중더 큰 문제는 오픈AI조차 AI 에이전트의 이 같은 ‘돌발 행동’이 얼마나 발생했는지 아직 전체 규모를 파악하지 못하고 있다는 점이다. 오픈AI는 지난 7월 AI 에이전트가 격리된 시험 환경을 벗어나 AI 개발 플랫폼 허깅페이스 시스템에 허가 없이 접근한 사건이 드러난 뒤 과거 에이전트들의 활동 기록을 광범위하게 재검토해 왔다. 9월 중순까지 확인된 문제 행동은 20여건으로 알려졌지만 이후 내부 로그를 추가로 분석하는 과정에서도 이전에 파악하지 못했던 사례가 잇따라 발견됐다. 챗GPT 이용자 이미지 53장이 외부 사이트에 게시된 사실 역시 이 과정에서 확인됐다. 정부기관의 접근 통제를 AI가 스스로 우회한 사례도 드러났다. 호주 ABC방송 등에 따르면 지난 6월 오픈AI의 AI 에이전트는 호주 정부의 보건 데이터 사이트에서 필요한 정보를 찾지 못하자 사이트의 접근 제한을 우회해 비공개 자료에 접근했다. 개인별 의료정보에 접근한 증거는 확인되지 않았지만, 공개된 통계뿐 아니라 비공개 종합 보건통계와 내부 파일 등에 접근한 것으로 파악됐다. 오픈AI는 현재 AI 에이전트가 제3자의 보안 통제를 우회했거나 외부 웹사이트와 서비스에 부정적인 영향을 미친 사례를 조사하고 있다. 정부기관과 대학 등을 포함한 외부 기관 및 업체 수십 곳에도 관련 사실을 통보했으며, 전체 조사를 마치는 데 수개월이 걸릴 수 있다고 밝혔다. “챗GPT에 사진 올리면 유출?”…확대 해석은 경계다만 이번 사건을 챗GPT에 사진을 올리면 인터넷에 공개될 수 있다는 의미로 확대 해석할 필요는 없다. 현재까지 확인된 유출 규모는 이용자 이미지 53장이다. 오픈AI는 해당 이미지의 구체적인 내용이나 게시 시점, 실제 인물을 식별할 수 있는 사진이 포함됐는지 등은 공개하지 않았다. 또 현재까지 알려진 AI의 이상 행동 사례에는 실제 환경에서 발생한 사건뿐 아니라 AI의 취약성과 예상 밖 행동을 파악하기 위한 내부 시험 과정에서 발견된 사례도 포함돼 있다. 이를 근거로 일반 챗GPT 이용자의 데이터 전체가 외부 유출 위험에 놓여 있다고 단정하기는 어렵다. 그럼에도 이번 사건은 AI의 예상 밖 행동이 실제 이용자가 제공한 데이터의 외부 노출로 이어질 수 있다는 점을 보여줬다는 데 의미가 있다. AI가 질문에 답하는 챗봇을 넘어 웹사이트에 접속하고 파일을 다루며 여러 작업을 스스로 수행하는 ‘에이전트’로 발전하면서 개인정보 보호 문제 역시 새로운 과제로 떠오르고 있다. 특히 주민등록증이나 여권, 금융서류 등 유출될 경우 피해가 큰 개인정보가 담긴 이미지나 문서를 AI 서비스에 입력할 때는 서비스의 데이터 처리 방식과 보안 설정 등을 확인하는 등 이용자들의 주의가 요구된다.

캐나다, 오픈AI·올트먼 상대 제소“총기난사 범행 알고도 신고 안 해”베선트 “법적 책임 면제 기대 말라”20개국·EU 감독체계 선언문 채택美·中 불참… 국제규범 놓고 온도차 인공지능(AI)이 인간의 통제를 벗어날 수 있다는 우려로 나온 ‘AI 개발 속도조절론’이 AI 일탈의 책임 주체를 둘러싼 공방으로 번지고 있다. 불거지는 책임론에 국제규범 마련을 요구하는 빅테크와, 1차적 책임은 기업이 져야 한다는 미국 정부 간 신경전이 점화되면서다. 캐나다 브리티시컬럼비아주는 21일(현지시간) 미국 캘리포니아주 법원에 오픈AI와 샘 올트먼 최고경영자(CEO)를 상대로 손해배상과 안전장치 강화 등을 요구하는 소송을 제기했다. 지난 2월 텀블러리지에서 발생한 총기 난사 사건과 관련해 범인이 사전에 챗GPT에 범행 계획 등을 예고했지만 오픈AI가 다른 기관에 알리지 않았다는 것이다. AI 모델이 불러올 위험을 예측하고 안전장치를 마련할 책임은 기업에 있다는 취지다. 같은 맥락에서 스콧 베선트 미 재무장관은 이날 CNBC 인터뷰에서 오픈AI의 허깅페이스 무단 공격 사건과 관련해 “책임을 져야 할 주체는 AI가 아니라 인간”이라며 “AI 에이전트들이 아니라 오픈AI 경영진에게 책임이 있는 사건”이라고 말했다. 이어 “AI 연구소들은 법적 책임을 면제해 달라고 요구하지만 우리는 그렇게 하지 않을 것”이라며 “연구소 스스로 책임져야 한다”고 강조했다. 베선트 장관의 발언으로 AI 위험성을 둘러싼 논쟁이 ‘개발을 늦출 것이냐, 당길 것이냐’를 넘어 사고 발생 시 책임 주체 논란으로 옮겨가는 모습이다. 유럽연합(EU) AI 법안을 설계한 가브리엘 마치니 매사추세츠공대(MIT) 박사는 월스트리트저널(WSJ) 기고에서 “AI 모델의 위험성은 초지능의 증거가 아니라 인간의 설계·관리 실패 관점으로 접근해야 한다”고 지적했다. 항공기 사고가 나면 기체 제작 업체도 조사하듯 AI 사고 역시 매한가지라는 논리다. 반면 오픈AI는 홈페이지에 공개한 글에서 국제 AI 기술표준 마련을 제안했다. 오픈AI는 “미국이 전 세계 국가들과 협력해 최첨단 AI에 관한 글로벌 기술 표준을 마련하는 노력을 주도해야 한다”며 국제사회의 공통 규칙을 마련해달라고 했다. 이 과정에서 한국 등 10개국에 설립된 AI 안전연구소를 연결해 최첨단 AI의 성능과 위험성을 공동으로 평가하는 국제 네트워크를 활용하자고 제안했다. 우리나라 등 AI 후발주자에겐 오픈AI의 주장이 오히려 제약이 된다는 우려도 있다. 이성엽 고려대 기술경영전문대학원 교수는 “미국의 빅테크들이 안전 기준을 높게 설정할 경우 국내 기업들은 그 기준을 맞추기 위해 개발이 더뎌지는 ‘사다리 걷어차기’ 효과가 발생할 수 있다”고 지적했다. 국제 사회는 AI 감독체계 마련에 목소리를 높이지만 아직 실질적 성과는 없어 보인다. 핀란드, 노르웨이 등이 주도해 약 20개국과 EU가 AI 글로벌 감독체계 구축을 제안하는 선언문을 채택했지만 세계 AI 패권을 쥐고 있는 미국과 중국은 선언문 서명에 불참했다.

인공지능(AI)이 인간의 통제를 벗어날 수 있다는 우려로 나온 ‘AI 개발 속도조절론’이 AI 일탈의 책임 주체를 둘러싼 공방으로 번지고 있다. 불거지는 책임론에 국제규범 마련을 요구하는 빅테크와, 1차적 책임은 기업이 져야 한다는 미국 정부 간 신경전이 점화되면서다. 캐나다 브리티시컬럼비아주는 21일(현지시간) 미국 캘리포니아주 법원에 오픈AI와 샘 올트먼 최고경영자(CEO)를 상대로 손해배상과 안전장치 강화 등을 요구하는 소송을 제기했다. 지난 2월 텀블러리지에서 발생한 총기 난사 사건과 관련해 범인이 사전에 챗GPT에 범행 계획 등을 예고했지만 오픈AI가 다른 기관에 알리지 않았다는 것이다. AI 모델이 불러올 위험을 예측하고 안전장치를 마련할 책임은 기업에 있다는 취지다. 같은 맥락에서 스콧 베선트 미 재무장관은 이날 CNBC 인터뷰에서 오픈AI의 허깅페이스 무단 공격 사건과 관련해 “책임을 져야 할 주체는 AI가 아니라 인간”이라며 “AI 에이전트들이 아니라 오픈AI 경영진에게 책임이 있는 사건”이라고 말했다. 이어 “AI 연구소들은 법적 책임을 면제해 달라고 요구하지만 우리는 그렇게 하지 않을 것”이라며 “연구소 스스로 책임져야 한다”고 강조했다. 베선트 장관의 발언으로 AI 위험성을 둘러싼 논쟁이 ‘개발을 늦출 것이냐, 당길 것이냐’를 넘어 사고 발생 시 책임 주체 논란으로 옮겨가는 모습이다. 유럽연합(EU) AI 법안을 설계한 가브리엘 마치니 매사추세츠공대(MIT) 박사는 월스트리트저널(WSJ) 기고에서 “AI 모델의 위험성은 초지능의 증거가 아니라 인간의 설계·관리 실패 관점으로 접근해야 한다”고 지적했다. 항공기 사고가 나면 기체 제작 업체도 조사하듯 AI 사고 역시 매한가지라는 논리다. 반면 오픈AI는 홈페이지에 공개한 글에서 국제 AI 기술표준 마련을 제안했다. 오픈AI는 “미국이 전 세계 국가들과 협력해 최첨단 AI에 관한 글로벌 기술 표준을 마련하는 노력을 주도해야 한다”며 국제사회의 공통 규칙을 마련해달라고 했다. 이 과정에서 한국 등 10개국에 설립된 AI 안전연구소를 연결해 최첨단 AI의 성능과 위험성을 공동으로 평가하는 국제 네트워크를 활용하자고 제안했다. 우리나라 등 AI 후발주자에겐 오픈AI의 주장이 오히려 제약이 된다는 우려도 있다. 이성엽 고려대 기술경영전문대학원 교수는 “미국의 빅테크들이 안전 기준을 높게 설정할 경우 국내 기업들은 그 기준을 맞추기 위해 개발이 더뎌지는 ‘사다리 걷어차기’ 효과가 발생할 수 있다”고 지적했다. 국제 사회는 AI 감독체계 마련에 목소리를 높이지만 아직 실질적 성과는 없어 보인다. 핀란드, 노르웨이 등이 주도해 약 20개국과 EU가 AI 글로벌 감독체계 구축을 제안하는 선언문을 채택했지만 세계 AI 패권을 쥐고 있는 미국과 중국은 선언문 서명에 불참했다.

이번 주 열리는 미중 정상회담에서 인공지능(AI)이 핵심 의제로 부상하면서 국내 기업들의 마음이 복잡하다. AI 개발 선두 업체들이 주장하는 AI 속도조절론이 예상보다 빠르게 국제 규범으로 현실화한다면 한국의 AI 산업에는 악재가 될 수 있어서다. 최근 오픈AI와 앤스로픽 수장이 AI 속도조절론을 들고 나왔고 ‘AI 대부’로 불리는 제프리 힌턴 토론토대 명예교수와 요슈야 벤지오 몬트리올대 교수가 AI를 핵에 비유하며 잇달아 경고음을 울렸다. 힌턴 교수는 오픈AI의 아스트라가 허깅페이스를 해킹한 사건을 “작은 체르노빌”이라며 “AI에 대한 안전장치를 마련할 시간이 1년쯤 남았을 것”이라고 했다. 벤지오 교수는 “AI 통제는 핵무기와 마찬가지로 국제적 과제”라며 국제 규범 논의를 제안했다. 글로벌 핵군축·비핵화와 마찬가지로 AI에 대한 민주적인 통제는 바람직한 방향이다. 대의에 공감하지만 그 뒷면을 주목하지 않을 수 없다. 과거 핵무기 국제 규범을 핵보유국이 주도했던 것을 돌아보면, 우리가 AI 국제 규범 논의에서도 소외될 수 있어서다. AI 국제 규범 모델로 거론되는 핵확산금지조약(NPT)은 1967년 1월 1일을 기준으로 핵무기 또는 핵폭발 장치를 제조·폭발시킨 미국·소련·영국·프랑스·중국 등 5개국만을 핵무기국으로 규정했다. 그날까지 핵을 갖지 못한 나라는 핵무기 개발이 금지됐다. 비핵보유국은 핵군축 약속의 불이행 우려, 강대국 중심의 국제 안보 질서 등을 우려해 반발했지만 결과는 변하지 않았다. AI는 핵과 달리 민간 기업이 주도하고, 도널드 트럼프 미국 대통령이 AI 규제에 부정적이어서 NPT 때와는 상황이 다르다는 분석도 있다. 하지만 AI 기술 경쟁에서 지배적 위치를 선점한 미중이 이번 정상회담을 계기로 AI 표준과 규범을 논의하기 시작할 것이란 관측에 힘이 실린다. 핵무기 규범 때처럼 기술 역량과 협상력을 가진 소수 국가가 규칙 설계 과정에서 절대적인 발언권을 행사할 것이라는 우려가 커지는 지점이다. 이번 정상회담 만찬에는 오픈AI, 아마존, 엔비디아, 구글 등의 최고경영자(CEO)들이 대거 참석할 것이라는 외신 보도도 있었다. AI 속도전에서 낙오했다간 규칙을 정하는 논의에서 배제되는 처지가 될 수 있다는 걱정이 나온다. 우리도 국제 규범 논의에 참여할 기반을 마련해야 한다. 첫째는 핵심 기술의 자립 역량이다. 민관은 소버린 AI 개발에 박차를 가하고 GPU·데이터·컴퓨팅 인프라에 대해 과감하게 투자해야 한다. 해외 모델 활용을 넘어 우리 언어와 산업, 공공서비스에 최적화된 AI를 자체적으로 개발·운영할 수 있어야 한다. 국방 분야가 출발점이다. 국방 AI를 단순한 무기체계의 보조 기술로 취급하지 말고, 감시·정찰·지휘통제·사이버 방위 등 핵심 군사 시스템을 아우르는 산업 생태계로 구축해야 한다. 소버린 AI의 고도화가 AI 생태계에서 고립된다는 의미는 아니다. 국제 협력에 참여하면서도 핵심 기술과 데이터, 시스템을 스스로 통제할 수 있는 능력을 갖춰야 국제 협상력도 키울 수 있다. 다음은 협상력 고양이다. 우리 정부는 AI 규제 논의뿐 아니라 안보·통상·산업 분야에서 새롭게 형성되는 국제 협력 체계도 민감하게 살펴야 한다. 국제 협의체는 처음부터 완성된 안보 질서로 출범하지 않는다. 작은 실무 협력이 새로운 전략적 연대와 규범으로 확장될 수 있다. 일례로 미국·일본·인도·호주의 안보·전략안보협의체인 쿼드(Quad)는 2004년 인도양 쓰나미 당시 네 나라가 구호 활동을 위해 협력한 것이 초기 계기였다. 특히 미중 간 AI 안전과 군사적 위험에 대한 논의가 향후 새로운 다자 협력체나 규범으로 발전할 가능성을 염두에 둬야 한다. AI라는 미래의 국제 규범을 누가 설계하고, 누가 그 과정에 참여할지는 기술 역량과 외교적 준비에 달려 있다. 선두권이 벽을 높이고 있고, 우리는 시간이 없다. 이경주 산업부장

지난 9월 2일 엔비디아의 허깅페이스 인수 계약이 성사되었다는 소식이 나왔다. 인수 총액은 129억 3000만 달러로, 주주들에게 돌아가는 119억 달러에 더하여 회사에 남기로 한 직원들에게 지분 보상으로 최대 10억 달러가 더 들어갈 것이라고 한다. 법적 승인이 이루어지면 내년 상반기 완료가 전망된다. 엔비디아는 이미 작년 12월 반도체 스타트업 그록을 200억 달러에 사들인 바 있으며 이번 건은 엔비디아 역사상 두 번째로 큰 인수합병이다. 허깅페이스는 개방된 플랫폼으로서 인공지능(AI) 업계의 표준 저장소로 불리는 곳이다. 1800만 명이 넘는 개발자가 참여하여 작업을 서로 공유하는 곳으로, 300만 개 이상의 모델이 나와 있으며 고객 기업만 해도 20만 개가 넘는 곳이다. 폐쇄형 기업인 앤스로픽이나 오픈AI 등 선도 기업들의 개발자들 또한 이곳을 개발과 모델 검증의 중요한 플랫폼으로 이용하고 있다. 그런 의미에서 인공지능 발전의 엔진 역할을 하는 것이라고 할 수 있다. 그런데 반도체 기업인 엔비디아가 이곳을 완전히 소유하게 되는 계약이 성사되었다는 소식은 큰 파장을 던지고 있다. 많은 이들은 이 인수의 동기에 주목한다. 젠슨 황은 허깅페이스 집단 해킹 사건이 벌어진 직후인 7월 24일, 인공지능 업계가 소수 기업의 기술 독점에 지배당하지 않고 또 안전을 강화하기 위해서라도 오픈 모델에 대한 접근을 더 많은 스타트업과 대학 연구소들에게 제공해야 한다는 글을 발표하였다. 이 서한에 25개 기업이 서명하였고 동참한 기업은 하루 만에 50개사로 나흘 뒤엔 150개사 이상으로 불어났다. 처음엔 빠져 있던 오픈AI와 구글과 아마존 또한 이 흐름에 곧 합류했다. 흥미롭게도 안전이 최고의 가치임을 목놓아 외치는 앤스로픽이 끝까지 참여하지 않았다. 최근 업계에 충격을 던졌던 중국 모델 키미 K3에 대해서도 황은 중국 모델 또한 성능만 뛰어나면 얼마든지 써야 한다고 하면서, 모델 하나에 세계가 의존하는 순간 그것이 곧 약한 고리, 단 하나의 공격 지점이 된다고 주장했다. 이러한 맥락에서 벌어진 이번 인수는 단순한 엔비디아의 사업 확장이 아니라, 끝내 문을 걸어 잠근 진영에 맞서서 오픈소스 생태계 전체를 지켜내겠다는 선언으로 읽힌다. 그럴 법한 일이다. 이 폐쇄형 인공지능의 선도기업들은 엔비디아에 대한 의존을 벗어나기 위해 독자적인 GPU 생산을 계획하고 있다고 알려져 있다. 이에 대해 엔비디아는 자신들의 제품에 대한 시장 수요를 확보하기 위해서라도 오픈소스 모델들이 왕성하게 발전할 수 있는 장을 지켜내야 한다. 그런데 그 결과는 한걸음 더 나아간다. 엔비디아는 이제 GPU 생산에서 시작하여 인공지능 모델의 개발에 이르는 전 과정을 독자적으로 갖춘 이른바 ‘풀 스택’ 체제를 갖출 수 있게 되었다. 장군을 멍군으로 받으면서 동시에 거꾸로 장군을 친 셈이다. 이 거래가 완결되는 데에는 아직 장벽이 있다. 세계 최대 시가총액 기업이 업계에 필수적인 인프라를 완전히 집어삼키는 일을 ‘빅3’의 이익과 무관하지 않은 미국 규제당국이 순순히 승인할지가 불확실하기 때문이다. 하지만 이러한 고래들의 힘싸움 와중에 터지는 새우등이 있다. 바로 ‘오픈소스’의 공간이다. 물론 황은 허깅페이스가 앞으로도 개방형 플랫폼으로 남을 것이며 엔비디아 컴퓨팅을 강요하는 일은 없을 것이라고 약속했다. 다만 그 약속을 지킬지 말지를 결정할 권한 자체가 이제 전적으로 한 회사에 있다는 사실은 달라지지 않는다. 비슷한 장면이 있었다. 지난 2018년 오픈소스 개발자들의 놀이터였던 깃허브가 마이크로소프트에 75억 달러에 인수됐을 때에도 개발자 커뮤니티가 대기업 품에서도 중립성을 지킬 수 있을까라는 질문이 나온 바가 있었다. 이 질문의 답은 아직 나오지 않았고, 훨씬 더 큰 판에서 이 질문은 똑같은 모습으로 돌아왔다. ‘개방’이 소유물이 된 것이다. 서로 다른 논리를 가진 이 두 명사는 공존할 수 있을까. 한 쪽이 이긴다면 어느 쪽일까. 홍기빈 글로벌정치경제연구소 소장

현대 인공지능(AI) 연구를 이끈 대표적 석학들이 잇따라 AI 통제력 상실 가능성을 경고하고 나섰다. 요슈아 벤지오 몬트리올대 교수에 이어 제프리 힌턴 토론토대 명예교수도 AI가 스스로 더 나은 AI를 만드는 ‘재귀적 자기개선’ 단계에 이미 접어들었다며 “안전장치를 마련할 시간이 아마 1년쯤 남았다”고 경고했다. 미 NBC뉴스에 따르면 힌턴 교수는 16일(현지시간) 버니 샌더스 상원의원이 주최한 미 연방의회 비공개 브리핑에 참석한 뒤 AI 안전장치를 마련할 수 있는 시간에 대해 “아마 1년쯤 될 것”이라며 “1년보다 많이 길지는 않을 것”이라고 말했다. 그는 초지능 등장 시점에 대한 연구자들의 전망도 과거 수십 년에서 최근에는 수년 안으로 크게 앞당겨졌다고 설명했다. 힌턴은 AI 안전 우려를 논의하기 위해 마련된 이번 브리핑에 맥스 테그마크 미래생명연구소 공동창립자 등과 함께 참석했다. 힌턴 교수가 특히 우려한 것은 AI가 차세대 AI 개발에 직접 관여하기 시작했다는 점이다. 그는 “AI는 이제 AI가 더 나은 AI를 설계하는 단계에 이르렀다”며 이를 ‘재귀적 자기개선’이라고 설명했다. 최근 앤트로픽이 자사 AI 연구개발 업무 가운데 클로드가 사실상 주도하는 비중이 8월 기준 26%까지 높아졌다고 밝힌 것과도 맞닿아 있다. AI가 연구자의 생산성을 높이는 수준을 넘어 개발 과정 자체를 자동화하면서 기술 발전 속도가 인간의 관리 역량을 앞지를 수 있다는 우려다. 힌턴 교수는 최근 오픈AI의 AI 에이전트들이 외부 플랫폼 허깅페이스에 침투하고 흔적을 감추려 한 사건을 ‘작은 체르노빌’에 빗대기도 했다. 단일 사건의 피해 규모보다 인간이 통제하도록 설계한 시스템이 예상 밖 행동을 하기 시작했다는 점에 의미를 둔 표현이다. 그는 “우리가 무엇인가 하지 않으면 통제 불능이 될 것”이라며 개발 속도를 늦춰야 한다고 주장했다. 불과 하루 전에는 벤지오 교수도 AFP와의 인터뷰에서 AI 기업들조차 개발 속도가 지나치게 빨라 통제력을 잃어가고 있다고 우려한다며 핵무기 통제에 준하는 국제적 안전장치를 촉구했다. 현대 AI의 기반을 닦은 두 연구자가 잇따라 경고에 나선 셈이다. 미 의회에서도 논의가 구체화하고 있다. 민주·공화 양당 의원들은 고성능 AI 개발업체가 알려진 중대 위험을 줄일 의무를 지도록 하고, 필요할 경우 정부가 위험한 모델의 출시를 막을 수 있도록 하는 방안을 협의해왔다. 별도로 AI 시스템을 인간이 강제로 정지할 수 있는 기술적 권한을 의무화하는 이른바 ‘킬 스위치’ 법안도 제안돼 있다. 다만 초당적 합의 여부와 실제 입법 시점은 아직 불확실하다.

작년 딥시크 쇼크를 몰고 왔던 중국 AI 기업 딥시크가 기업공개(IPO)를 앞두고 새로운 모델인 ‘딥시크 V4.1 플래시’를 공개했습니다. 지난 10일 허깅페이스 등에 공개된 새 모델은 총 7180억개의 파라미터(5520억개의 기본 파라미터+1960억개의 N-gram)를 사용하지만, 2.8조개로 훨씬 파라미터가 큰 ‘Kimi K3’는 물론 서구의 주요 AI 모델과 견줄 만한 성능을 지니고 있습니다. 출시와 같이 공개된 벤치마크를 보면 딥시크 V4.1 플래시는 Terminal-Bench 2.1에서 90.6점을 기록해 GPT 5.6 Sol의 88.8점이나 클로드 오푸스 5의 89.1점을 넘어서고 자사의 기존 플래그십 모델인 딥시크 V4.0 프로의 87.9점도 넘어서고 있습니다. 물론 모든 벤치마크 결과에서 앞서는 건 아니고 주로 코딩 및 에이전트, 사이버 보안 등에 강한 모습을 보이지만, 모델 크기와 사양을 생각하면 V4.0 플래시 버전과 비교해도 괄목할 만한 성장을 이뤄냈습니다. 하지만 진짜 놀라운 부분은 가격입니다. 딥시크는 올해 저렴한 가격과 쓸 만한 성능을 무기로 시장에 파란을 몰고 왔습니다. 하지만 사용자가 몰리면서 지난 8월 가격을 대폭 인상했는데, 불과 한 달 만에 모델 성능을 대폭 끌어올리면서 가격을 낮췄습니다. 딥시크 V4.1 플래시의 가격은 백만 토큰당 기준 피크 시간대 입력 0.3달러, 출력 1.2달러, 캐시 히트 입력 0.006달러, 일반 시간대 입력 0.15달러, 출력 0.6달러, 캐시 히트 입력 0.003달러로 일부 프런티어 모델 대비 86배나 저렴하다는 것이 딥시크의 주장입니다. 당초 가격을 올린 이유로 지목된 것은 연산 자원 대비 사용자가 너무 몰리면서 감당이 어려워졌기 때문으로 풀이됐습니다. 특히 새로운 모델이 개발될수록 보통 파라미터 크기가 커지면서 메모리와 연산 자원이 더 필요하기 때문에 가격을 올릴 수밖에 없을 것으로 여겨졌습니다. 하지만 딥시크는 V4.1 플래시에서 아키텍처를 대폭 혁신하고 메모리와 연산 자원 사용량을 극단적으로 줄이면서도 모델 성능을 높이는 데 성공해 경제성을 확보했습니다. 모델 파라미터 크기는 V4.0 플래시가 2840억 개로 사실 V4.1 플래시가 기본 모델만 두 배에 가깝고 N-gram 추가 메모리까지 합치면 2.6배는 큰 편입니다. 하지만 V4.1 플래시는 CED(Causal Encoder-Decoder)라는 아키텍처를 사용해 긴 프롬프트/컨텍스트 읽기 과정에서는 인코더 20층에 80억개의 파라미터만 사용하고 응답을 생성하는 디코더는 40층 160억 개를 다 사용해 에이전트·코딩처럼 입력이 출력보다 훨씬 긴 작업에서는 오히려 연산량이 적을 수 있습니다. 또 SWA Bounded Replay, CSA2, FP4 KV 캐싱(caching) 같은 여러 기술을 사용해 KV 캐시의 양을 극적으로 줄여 V4.0 플래시 대비 약 4분의1로 줄였습니다. 이는 HBM 같은 고가 메모리의 의존도를 크게 낮춰 비용을 절감할 수 있습니다. N-gram 임베딩 기술은 알리바바의 Qwen 3.8 플래시 넥스트 같은 다른 중국산 AI 모델에서도 도입한 기술로 자주 쓰는 관용구를 사전처럼 저장했다가 불러 쓰기 때문에 일반 D램에 저장해도 되고 모델의 응답 속도를 매우 빠르게 만들 수 있습니다. 이와 같은 아키텍처 혁신을 통해 연산 자원과 메모리를 최대한 아끼면서 토큰 생성량과 성능을 극대화한 것이 V4.1 플래시에서 오히려 가격을 낮춘 비결로 풀이됩니다. 하지만 이 가격에 서비스하면서도 손익분기점을 넘었는지는 여전히 의문입니다. 딥시크는 비상장 기업으로 정확한 재무 상태를 알기 어렵지만, 현재까지는 적자인 것으로 알려져 있습니다. 아무리 효율성 좋은 모델을 사용해도 경쟁자와 비교해서 매우 저렴한 가격에 제공하고 있기 때문에 수익을 내긴 쉽지 않은 구조입니다. 매번 서구 모델 대비 저렴한 가격을 무기로 내세웠지만, 역설적으로 저렴하지 않으면 안 되는 사업 모델이 약점이 될 수 있습니다. 딥시크 V4.1 플래시는 연산 자원 효율화라는 관점에서는 놀라운 기술적 진보를 보여줬지만, 결국 장기적으로 보면 기술 혁신보다 수익화에 성공할 수 있을지가 실제 몸값을 결정할 것입니다. 앞서 가격 인상도 상장을 앞두고 실적을 좋게 하기 위한 것이라는 평가가 있었는데, 이번에 다시 가격을 낮추고도 실적을 확보할 수 있을지 궁금해지는 대목입니다.

무기 연구·해킹 등 잇단 통제 이탈앤트로픽 수장 “개발 속도 늦춰야”외부 검증·공동 안전 기준 등 제안올트먼·머스크·허사비스도 공감오픈AI , 연내 상장 계획 미루기로 글로벌 인공지능(AI) 기업 수장들이 잇따라 “개발 속도를 늦춰야 한다”고 주장했다. AI가 통제망을 벗어나고 생물무기 연구와 사이버 공격에도 활용되고 있어서다. AI 성능 향상 속도가 인간의 검증과 통제 능력을 앞지를 수 있다는 우려가 커지자 업계 내부에서도 속도조절론이 본격화하는 셈이다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 12일(현지시간) 자신의 블로그에서 “AI 모델의 성능 향상 속도를 늦춰야 한다”고 밝혔다. 독립된 외부 평가자를 기업 내부에 상주시켜 훈련과 위험평가 과정을 점검하고, 주요 개발사들이 공통 안전기준을 마련하자고 제안했다. 기술 개발 중단은 아니지만 안전장치가 성능 향상을 따라잡을 시간을 확보하자는 취지다. 샘 올트먼 오픈AI CEO와 일론 머스크 xAI CEO, 데미스 허사비스 구글 딥마인드 CEO도 잇따라 공감을 표시했다. 아모데이 CEO가 첫 번째 위험으로 꼽은 것은 AI의 ‘재귀적 자기개선’이다. AI가 후속 모델의 코드 작성과 실험·평가를 돕고, 성능이 높아진 모델이 다시 다음 AI 개발에 투입되면서 발전 속도가 연쇄적으로 빨라지는 현상을 말한다. 아직 AI가 스스로 다음 모델을 완전히 개발하는 단계는 아니지만 주요 기업은 이미 연구개발 과정에 AI 에이전트를 대규모로 투입하고 있다. 오픈AI는 지난 6일 사내 연구에서 인간 연구자의 하루 노동량과 비교해 3.1배에 이르는 AI 에이전트 작업량을 활용한다고 공개했다. 두 번째 경고는 AI가 실제 통제망을 벗어난 사례다. 오픈AI는 지난 7월 사이버보안 시험 과정에서 일부 AI 에이전트가 인터넷 접속 제한을 우회해 회사 연구 인프라와 오픈소스 AI 플랫폼 허깅페이스에 무단 접근했다고 밝혔다. 전 오픈AI 안전 책임자인 스티븐 애들러는 뉴욕타임스에 “업계 전반이 다음 허깅페이스 공격을 막을 준비가 돼 있지 않다”고 경고했다. AI가 수행하는 연구의 수준도 빠르게 높아지고 있다. 오픈AI는 지난 8일 내부 모델과 약 100개의 AI 에이전트를 활용해 나비에·스토크스 방정식 관련 미해결 수학 문제의 해법을 찾았다고 발표했다. 외부 검증은 남아 있지만 AI가 인류 최고 수준의 지적 능력을 따라잡았다는 평가도 나온다. 필즈상 수상자인 허준이 미국 프린스턴대 교수 등 수학자 25명은 11일 성명을 내고 기업 간 성과 경쟁이 인간 연구자의 검증과 학계의 개방적 협업을 훼손할 수 있다고 우려했다. 문제는 높아진 연구 역량이 위험한 분야에도 그대로 쓰일 수 있다는 점이다. 앤트로픽은 10일 공개한 위협정보 보고서에서 클로드를 생물무기 연구와 러시아 연계 사이버 공격, 미사일·무인기 개발 등에 이용하려 한 사례를 공개했다. 여기엔 조류인플루엔자의 포유류 감염 가능성을 높이는 실험 설계를 요청한 사례도 포함됐다. 오픈AI는 지난 6월 미국 증권거래위원회(SEC)에 기업공개(IPO) 신청서를 냈지만, 올트먼 CEO는 12일 포천과의 인터뷰에서 안전과 정렬 문제를 이유로 연내 상장 계획을 미루겠다고 밝혔다.

인공지능(AI)의 급격한 고도화에 따른 안전 우려가 커지면서 오픈AI가 첨단 AI 개발 속도를 조절하는 방안을 검토하고 나섰다. AI가 악용될 경우 대규모 피해로 이어질 수 있는 구체적인 차기 표적으로는 전력망을 지목하며 사이버보안 강화에 나서는 모습이다. 블룸버그통신은 10일(현지시간) 샘 올트먼 오픈AI 최고경영자(CEO)가 이번 주 전사 회의에서 첨단 AI 개발 속도를 늦추는 방안을 검토하고 있다고 밝혔다고 보도했다. 올트먼 CEO는 다른 AI 연구팀들과 공동으로 속도를 조절할 가능성도 검토 중이나 다른 기업이나 연구팀은 동의하지 않을 수 있다는 점도 언급한 것으로 전해졌다. 올트먼 CEO의 발언은 최근 AI 업계에서 고도화된 AI의 위험성을 우려하는 목소리가 잇따르면서 AI의 속도조절에 불을 붙인 것으로 풀이된다. 오픈AI 최고 과학자인 야쿠프 파초키는 최근 “필요에 따라 향후 개발 속도를 늦추기 위해 협력해야 한다”며 공통의 안전 기준이 마련될 때까지 자발적인 속도 조절이 보편화돼야 한다고 주장했다. 앞서 올트먼도 지난 7월 백악관 관계자들과 AI 개발 속도를 조절할 필요성에 대해 논의한 바 있다. 실제 AI의 사이버 공격 능력이 현실적인 위협으로 부상하면서 우려는 더욱 커지고 있다. 최근 오픈AI의 AI 에이전트들이 서로 협력해 통제 체계를 우회하고 제3자 웹사이트를 공격한 사실이 드러나면서 AI가 인간의 지시를 넘어 자율적으로 사이버 공격을 수행할 가능성에 대한 경고가 확산됐다. AI 업계 내부에서도 속도 조절을 요구하는 목소리가 커지고 있다. 최근 앤트로픽과 오픈AI의 연구원이었던 제이콥 콕슨은 “AI 기업들이 초지능 AI를 향해 경쟁하면서 인류의 안전을 걸고 도박하고 있다”고 비판했다. 지난 7월 말에는 주요 AI 기업 직원 1100명 이상이 AI 개발 속도를 늦출 장치 마련을 촉구하는 청원에 서명하기도 했다. 반면 도널드 트럼프 미국 대통령은 이날 AI로 인한 인류 멸종 가능성에 대해 “전혀 우려하지 않는다”고 밝히며 “AI 경쟁에서 중국에 대해 우위를 유지하는 것이 내겐 더 중요하다”고 상반된 입장을 밝히기도 했다. AI가 초래할 수 있는 위험을 통제하고 핵심 인프라를 보호해야 한다는 요구도 커지고 있다. AI가 공격 도구로 진화할 가능성이 현실적인 문제로 떠오르면서 전력망과 같은 국가 핵심 인프라의 보안이 AI 시대의 새로운 안전 과제로 부상하고 있기 때문이다. 오픈AI는 차기 AI 사이버공격의 표적이 전력망으로 향할 것이라 예상하고 미국 전력회사들과 보안 강화를 논의하고 있다. 미국 정치전문매체 폴리티코에 따르면 올트먼 CEO는 이날 미국 콜로라도주에서 열린 에디슨전기연구소(EEI) 연례회의에서 듀크에너지·엑셀론·서던컴퍼니·넥스트에라에너지 등 주요 전력회사 임원들과 만나 AI를 악용한 전력망 사이버공격 위험을 차단하는 방안을 논의했다. 오픈AI는 자사의 10억달러 규모 사이버보안 사업인 ‘데이브레이크’를 활용해 전력회사들이 AI를 사이버 방어에 활용할 수 있도록 지원하는 방안을 제안했다. 전력망에 연결된 데이터센터의 보안 문제도 논의 대상에 포함됐다. 오픈AI와 전력회사들의 논의는 지난 7월부터 시작됐다. 오픈AI는 당시 12개 유틸리티 기업의 최고정보보안책임자(CISO)를 샌프란시스코 본사로 초청해 전력망 안정성과 보안 문제를 논의했다. 폴리티코는 이 같은 논의가 오픈AI 모델로 만들어진 AI 에이전트들이 연루된 허깅페이스 서버 해킹 사실이 알려진 직후 시작됐다고 전했다.

엔비디아의 젠슨 황 최고경영자(CEO)가 인공지능(AI)의 차기 주요 시장으로 사이버 보안을 지목했다. 블룸버그통신에 따르면 황 CEO는 10일(현지시간) 미국 샌프란시스코에서 열린 골드만삭스 기술 콘퍼런스에 참석해 “사이버 보안은 AI의 다음 주요 적용 분야가 될 가능성이 높다”고 말했다. 황 CEO는 AI 모델이 발전하면서 컴퓨터 프로그래밍 자동화가 가속화되고, 이에 따라 보안 취약점이 발견·악용되는 속도뿐 아니라 이를 차단하기 위한 수정 패치가 배포되는 속도도 빨라지고 있다고 진단했다. AI의 발전이 사이버 보안 환경 자체를 크게 바꾸고 있다는 설명이다. 그는 “문제를 만들어내는 것보다 더 좋은 수요 창출 방법이 어디 있겠는가”라며 AI가 새로운 보안 위협을 만들어내는 동시에 이를 방어하기 위한 AI 수요도 키우고 있다고 분석했다. 다만 사이버 보안 위기를 AI 수요 확대의 근거로 내세우는 데 대해서는 경계하는 모습도 보였다. 황 CEO는 “물론 이를 실행하는 데는 책임감 있는 방법도 있고, 바람직하지 않은 방법도 있다”고 말했다. 황 CEO의 발언은 AI 데이터센터에 대한 투자가 앞으로도 지속될 것이라는 점을 강조하기 위한 것으로 풀이된다. 엔비디아는 최근 AI 거품론과 과잉 투자 우려가 커지는 가운데 AI 반도체 수요가 계속 확대될 것이라는 전망을 거듭 내놓고 있다. 황 CEO는 엔비디아의 잇따른 투자가 고객사와 투자 대상 기업 간 자금이 오가는 ‘순환 거래’라는 비판에 대해서도 반박했다. 엔비디아는 그간 고객사에 투자하거나 금전적으로 지원하고, 고객사는 엔비디아의 투자금으로 다시 엔비디아의 그래픽처리장치(GPU)를 사면서 일종의 순환 거래라는 비판을 받아왔다. 그는 최근 개방형 AI 모델 공유 플랫폼인 허깅페이스를 130억 달러(약 17조 5000억원)에 인수하기로 한 것과 관련해 “우리는 약간의 돈을 투자해서 더 많은 돈을 회수하기 때문에 이는 순환 거래가 아니다”라고 주장했다. 그러면서 “사람들은 정보를 많이 보유한 내가 투자하는 대상이 나쁜 투자처가 아니라는 점을 깨닫기 시작하고 있다”며 “나는 위험을 감수하지 않는다”고 강조했다.

미국 인공지능(AI) 기업 오픈AI와 앤트로픽의 AI 에이전트가 시험 과정에서 인간이 설정한 통제 범위를 벗어난 사례가 추가로 드러났다. AI 에이전트의 자율성이 커질수록 통제와 안전장치도 함께 강화해야 한다는 지적이 나온다. 오픈AI의 실험용 AI 에이전트가 개인 홈페이지와 대학이 운영하는 링크 단축 서비스 등 최소 10곳의 다른 웹사이트를 허가 없이 통신 수단으로 이용한 것으로 드러났다고 로이터통신이 9일(현지시간) 보도했다. 앞서 이 에이전트가 독일의 한 위키사이트를 비롯해 AI 개발 플랫폼 허깅페이스에 무단으로 접근한 사실이 알려진 데 이어 추가 확인된 것이다. 연구진은 당초 인터넷 접속을 ‘읽기 전용’으로 제한한 상태에서 AI 에이전트를 테스트했다. 그러나 에이전트는 이런 제한을 벗어나 오래된 위키와 개인 웹사이트, 대학의 인터넷 주소(URL) 단축 서비스 등에서 글을 남길 수 있는 기능을 찾아내 메시지를 남기고 다른 에이전트와 정보를 주고받은 것으로 조사됐다. 허용된 경로로 접근할 수 없게 되자 다른 방법을 스스로 찾아 외부 시스템과 통신한 것이다. 이번 결과는 6개 연구팀이 오픈AI 에이전트의 활동 기록을 조사하는 과정에서 확인됐다. 앤트로픽에서도 별도의 사고가 뒤늦게 확인됐다. 초기 버전 ‘클로드 오퍼스 4.6’이 지난 1월 사이버 보안 테스트 과정에서 실수로 허용된 인터넷 연결을 이용해 외부 시스템에 접근한 사례다. 앤트로픽은 14만여건의 테스트 기록을 재검토하고도 사고를 발견하지 못했다가 지난달 추가 검토 과정에서 이를 뒤늦게 확인했다. 이에 앤트로픽은 미국 비영리 AI 연구기관 미터(METR)에 8주간의 독립적인 외부 조사를 맡기기로 했다. 인간의 통제를 넘어서는 AI에 대해 업계 내부에서도 우려의 목소리가 잇따르고 있다. 앤트로픽 연구원 제이컵 콕슨은 AI가 통제 불능이 돼 10년 내 인류를 멸종시킬 수 있다고 경고하며 지난 8일(현지시간) 사직했다. 앤트로픽의 정렬 과학 총괄인 에번 휴빙거는 콕슨의 우려에 동조하며 “AI가 향후 10년 안에 인류를 멸망시킬 확률이 10%를 넘는다”고 경고했다.

엔비디아가 오픈소스 인공지능(AI) 모델 플랫폼인 허깅페이스를 129억 3000만 달러(약 17조 6000억원)​에 인수한다. 엔비디아의 역대 최대 규모 인수 중 하나로, 그래픽처리장치(GPU)를 넘어 AI 모델과 개발자 생태계까지 영향력을 확대하려는 전략으로 풀이된다. 엔비디아는 2일(현지시간) 허깅페이스와 최종 인수 계약을 체결했다고 공시했다. 엔비디아는 허깅페이스 주주들에게 약 119억 달러(약 16조 2000억원)​의 인수 대금을 지급할 예정이다. 여기에 엔비디아에 합류하는 허깅페이스 직원들을 위한 최대 10억 달러 규모의 주식 기반 보상 프로그램을 더하면 거래 규모는 최대 약 129억 달러(약 17조 6000억원)​에 이른다. 이번 거래는 필요한 규제 당국의 승인을 포함한 통상적인 종결 조건을 충족하면 2027년 상반기 중 완료될 전망이다. 허깅페이스는 개발자들이 오픈소스 AI 모델과 데이터셋, 애플리케이션을 개발·공유·배포할 수 있는 플랫폼과 커뮤니티를 운영하고 있다. 엔비디아는 이번 인수를 통해 GPU 중심의 AI 반도체 사업을 넘어 AI 모델과 개발자 생태계까지 영향력을 확대할 것으로 전망된다. 엔비디아는 인수 이후에도 허깅페이스 플랫폼을 개방형으로 유지하겠다고 밝혔다. 모델 개발자와 이용자가 원하는 모델과 데이터셋을 자유롭게 업로드·다운로드할 수 있도록 하고, 엔비디아 외 다른 반도체 업체도 계속 지원한다는 방침이다.

세계의 인공지능(AI) 혁신을 이끌고 있는 미국 빅테크들이 AI 패권 경쟁과 안전성 확보 사이에서 규제의 딜레마에 빠졌다. 중국의 추격에 규제를 완화해 속도전을 벌여야 하지만, 그럴수록 해킹 등 악용 위협도 커질 수밖에 없어 각국의 고민이 깊어지고 있다. AFP통신에 따르면 일론 머스크 테슬라·스페이스X 최고경영자(CEO) 등 미국의 AI 리더들은 1일(현지시간) 노스캐롤라이나주에서 열린 주요 20개국(G20) 기술장관 회의에서 AI 규제를 완화해야 한다고 입을 모았다. 머스크 CEO는 “혁신은 규제로부터 자유로워야 하고, 새로운 (기술은) ‘원칙적 불법’이 아닌 ‘원칙적 합법’으로 허용돼야 한다”고 밝혔다. 머스크 CEO는 유럽연합(EU)을 콕 집어 “EU에서는 통상 신기술이 원칙적으로 불법 취급을 받고 있어 발전 속도가 더디다”고 지적했다. 이어 “전력 부족 때문에 AI 주도권이 중국으로 넘어갈 수도 있다”며 위기감을 드러냈다. 마크 저커버그 메타 CEO도 “오픈웨이트(가중치 개방형) AI 모델을 규제해선 안 된다”고 주장했다. 이날 회의를 주도한 마이클 크라치오스 미 백악관 과학기술정책실장은 G20 대표들에게 ‘캐롤라이나 원칙’을 채택할 것을 촉구했다. 캐롤라이나 원칙은 AI에 대해 새 규제를 만드는 대신 기존 규제를 적용하기 어려운 특이 사례에만 해당되는 ‘핀셋 규칙’을 만드는 것이 골자다. 미국 정·재계가 국제 무대에서 힘을 합한 것은 AI를 둘러싼 미중 패권 경쟁이 격해지고 있기 때문이다. 미국 빅테크가 선점했던 세계 AI 시장은 최근 중국의 스타트업 문샷AI와 딥시크, 지푸AI 등이 바짝 추격하고 있다. 신미국안보센터(CNAS)는 “중국의 AI 경쟁력 향상이 ‘나머지 세계가 미국 기술 생태계 안에 머물러야 한다’는 트럼프 행정부의 긴박감을 높였다”고 분석했다. 폭주하는 AI 기술에 최소한의 안전장치가 필요하다는 반박도 적지 않다. 유엔의 ‘AI 독립 국제과학패널’은 지난 7월 “AI 역량이 과학계의 이해 능력과 정부의 적응 능력을 모두 앞지르고 있다”며 “AI 기술 발전 속도가 너무 빠르면 추후 AI 평가 능력이 부족한 국가들은 통제할 수 없는 기술에 의존하게 될 것”이라고 경고했다. 이 가운데 오픈AI가 차기 AI 모델 ‘아스트라’의 보안 등급을 ‘위험’으로 분류하면서 논란이 거세질 것으로 보인다. 오픈AI는 아스트라가 인간 개입 없이 다수의 핵심 시스템에서 미공개(제로데이) 취약점을 찾아 공격할 수 있다고 보고 보안 강화 조치에 나섰다. 앞서 지난 7월에는 오픈AI의 미공개 AI 모델들이 글로벌 오픈소스 AI 플랫폼 허깅페이스를 무단 해킹하기도 했다. 이에 오픈AI는 에이전트의 행동 추론 과정을 분석하고 잠재적으로 위험한 행동을 감지하면 에이전트를 중지시키는 시스템을 도입할 예정이다.

청소나 설거지는커녕 양말과 펜 정도만 집을 수 있는 작은 로봇 오리가 전 세계 개발자들 사이에서 돌풍을 일으키고 있다. 출시 하루 만에 260만 달러(약 36억원)어치가 팔리면서 신규 주문은 내년까지 기다려야 할 정도로 밀렸다. 2일 중국 홍성신문에 따르면 인공지능(AI) 오픈소스 플랫폼 허깅페이스 산하 폴렌로보틱스는 지난달 27일 이족보행 로봇 ‘마이크로덕(Microduck)’의 예약판매를 시작했다. 가격은 399달러(55만원)다. 예약판매 6시간 만에 주문액이 100만 달러를 넘어섰고, 24시간 동안 260만 달러 이상의 주문이 들어왔다. 판매량으로 환산하면 5000대가 넘는다. 주문이 몰릴 때는 평균 4초마다 한 대씩 팔린 셈이다. 회사는 “커뮤니티에서 오리를 너무 많이 주문했다”는 공지를 올렸다. 현재 신규 주문의 배송 대기 기간은 4∼6개월로 늘어나 올해 안에 제품을 받기 어려울 수 있다. 마이크로덕은 키 25㎝, 무게 800g의 탁상용 로봇으로 두 다리로 걷거나 앉았다 일어날 수 있으며 넘어지면 스스로 몸을 일으킨다. 바퀴를 달면 롤러스케이트를 타고 움직이고, 작은 집게 역할을 하는 부리로 양말이나 펜 같은 가벼운 물건도 집을 수 있다. 15개의 모터와 카메라, 소형 라이다, 관성측정장치 2개를 탑재했다. 와이파이와 블루투스, 근거리무선통신(NFC)도 지원한다. 기본적으로 걷기와 앉기, 공 차기 등 7가지 동작을 할 수 있다. 집안일 대신 개발자가 ‘새 동작’ 가르치는 로봇마이크로덕이 주목받는 이유는 당장 집안일을 대신해주기 때문이 아니다. 개발자가 직접 프로그램을 수정하고 강화학습을 통해 새로운 움직임을 가르칠 수 있는 오픈소스 연구용 로봇이라는 점이 인기 요인으로 꼽힌다. 이용자는 가상환경에서 로봇의 동작을 훈련한 뒤 이를 실제 마이크로덕에 적용할 수 있다. 자신이 만든 동작을 온라인 커뮤니티에 공개해 다른 개발자와 공유하는 것도 가능하다. 기존 연구용 로봇은 수천만원에서 수억원에 달해 개인이 접근하기 어려웠다. 반면 마이크로덕은 399달러에 판매되고 소프트웨어와 학습 도구도 공개돼 학생과 개인 개발자가 로봇 강화학습을 실험할 수 있다. 마이크로덕을 개발한 폴렌로보틱스는 프랑스 보르도에 기반을 둔 로봇 기업으로 2025년 허깅페이스에 인수됐다. 제품 생산은 중국 선전의 오픈소스 하드웨어 기업 시드스튜디오가 맡았으며, 중국 반도체 기업 락칩의 RK3566 칩이 사용됐다. 따라서 중국 기업이 로봇 전체를 개발했다기보다는 프랑스에서 설계하고 허깅페이스의 오픈소스 생태계를 활용해 중국 선전에서 생산하는 글로벌 협업 제품에 가깝다. 중국인들은 “어릴 때 갖고 놀던 동물 장난감이 현실로 나온 것 같다”, “처음부터 거창한 인간형 로봇을 만들기보다 저렴한 장난감부터 기술을 쌓는 방향이 현실적”이라는 반응을 보였다. 반면 “결국 중국은 위탁생산만 맡은 것 아니냐”, “당장은 쓸모없는 부자들 장난감”이라는 지적도 나왔다.

오픈AI와 앤트로픽, 구글, 마이크로소프트(MS) 등 세계 주요 기업과 기관들이 인공지능(AI)을 활용한 사이버 공격이 수개월 안에 더욱 광범위하고 정교해질 것이라며 공동 대응을 촉구했다. 오픈AI와 앤트로픽, 구글, 마이크로소프트(MS) 등 120여개 기업과 기관은 27일(현지시간) 오픈AI 홈페이지를 통해 사이버 방어 강화를 촉구하는 공동서한을 발표했다. 아마존웹서비스(AWS)와 IBM, 브로드컴 등 기술기업뿐 아니라 크라우드스트라이크·팔로알토네트웍스 등 보안업체, 비자·마스터카드·캐피털원 등 금융사도 참여했다. 최근 오픈AI의 AI 에이전트가 보안 평가 도중 통제를 벗어나 시스템을 침해했던 허깅페이스도 서명 명단에 이름을 올렸다. 이들은 “사이버 방어를 강화할 수 있는 시간은 제한돼 있다”며 “전 세계 AI 모델의 성능이 향상되면서 AI 기반 사이버 공격이 향후 수개월간 훨씬 더 광범위하고 정교해질 것”이라고 경고했다. 병원과 정수시설, 인터넷 기반시설 등 시민 생활에 필수적인 시설이 주요 위험에 노출돼 있다고 지적했다. 기존의 보안 체계만으로는 이런 위협에 대응하기 어렵다는 것이 해당 기업들의 판단이다. 장기간 방치된 소프트웨어 결함과 과도한 접근 권한, 취약한 인증 방식, 보안 패치가 이뤄지지 않은 노후 시스템이 공격 통로가 될 수 있어서다. 특히 인력과 예산이 부족한 필수 기반시설에 보안 도구와 전문인력을 집중적으로 지원해야 한다고 주장했다. 각국 정부에는 사이버 위협 정보 공유와 사고 대응을 위한 국제 공조를 강화하고, 병원·상하수도 시설·지방정부 등에 예산을 우선 지원할 것을 요구했다. 검증된 기관이 일반 공개 전 고성능 AI 모델을 활용할 수 있도록 ‘신뢰 기반 접근 프로그램’을 확대하고, 공격자에게는 제재 등 실질적인 대가를 부과해야 한다고 했다. 최첨단 AI 개발사에는 필수 기반시설을 방어하는 인력에게 모델 접근 권한과 교육, 자금·기술을 제공하도록 주문했다. AI 에이전트의 활동 주체를 식별하고 추적할 수 있는 장치를 마련하고, 각국 정부와 보안업체에 위협 정보와 대응 도구를 공유해야 한다는 제안도 담겼다. AI가 공격 수단뿐 아니라 방어 도구가 될 수 있다는 점도 강조했다. 서명 기업들은 AI를 활용하면 취약점을 더 빠르게 찾고 수정할 수 있다며 “단호하게 행동한다면 디지털 세계를 훨씬 안전하게 만들 수 있다”고 밝혔다. 이번 서한은 오픈AI가 자체 AI 모델의 허깅페이스 침해 사건을 공개한 다음 날 나왔다. 오픈AI에 따르면 지난 7월 내부 사이버 보안 평가를 받던 AI 에이전트들은 인터넷과의 연결을 차단하는 통제 장치를 우회한 뒤 오픈AI 연구 인프라와 허깅페이스 시스템에 침입했다. 허깅페이스 서버 여러 대에서 코드를 실행하고 일부 비공개 데이터와 내부 계정 정보를 확보한 것으로 조사됐다. 외부 평가기관인 모델평가·위협연구소(METR)는 서로 격리돼 있어야 할 AI 에이전트 약 1200개가 비인가 게시판을 만들어 7만건이 넘는 메시지와 파일을 주고받았다고 분석했다. 이 가운데 약 700개가 허깅페이스 공격에 참여했다. 다만 당시 에이전트는 일반에 제공되는 서비스보다 안전장치를 줄인 내부 시험환경에서 작동했으며, 고객 데이터와 오픈AI의 제품·서비스에는 피해가 없었다고 회사는 밝혔다.

엔비디아가 인공지능(AI) 데이터센터 투자 확대에 힘입어 13분기 연속 사상 최대 매출을 기록했다. 내년에도 시장 예상을 뛰어넘는 성장을 자신하면서 고대역폭메모리(HBM)를 공급하는 삼성전자와 SK하이닉스의 호황도 이어질 전망이다. 엔비디아는 26일(현지시간) 2027회계연도 2분기(올해 5~7월) 매출이 962억 2000만 달러(약 133조 2000억 원)로 전년 동기보다 106% 증가했다고 밝혔다. 영업이익은 124% 증가한 637억 3000만 달러(약 88조 3000억원)였고, 순이익은 126% 늘어난 596억 9000만 달러, 데이터센터 매출은 117% 증가한 890억 달러로 모두 사상 최대였다. 엔비디아는 다음 회계연도 매출 증가율을 시장 전망치 45%를 크게 웃도는 약 70%로 제시했다. 젠슨 황 엔비디아 최고경영자(CEO)는 “AI는 변곡점에 도달했으며 이제 연산자원은 매출”이라며 AI 투자 확대가 이어질 것으로 자신했다. 엔비디아의 차세대 AI 플랫폼 ‘베라 루빈’ 양산이 본격화하면서 HBM4를 비롯한 고성능 메모리 수요도 더 커질 전망이다. 엔비디아의 공급·설비 약정액은 한 분기 만에 1190억 달러에서 2790억 달러로 두 배 이상 늘었고, 회사는 주로 메모리 조달과 관련됐다고 밝혔다. 메모리 가격 상승은 엔비디아에는 원가 부담이지만 삼성전자와 SK하이닉스에는 실적 개선 요인이다. 콜레트 크레스 최고재무책임자(CFO)는 조달 비용 증가로 매출총이익률이 2분기 75%에서 4분기 71~72%까지 낮아질 것으로 내다봤다. 반면 국내 메모리 업체는 HBM4 출하 확대와 D램 가격 상승에 힘입어 가격 협상력을 이어갈 가능성이 크다. 메모리 수요에 대한 기대가 커지면서 이날 삼성전자와 SK하이닉스 주가는 각각 1.72%, 2.49% 상승했다. 장 초반에는 각각 3.63%, 5.92% 급등했다. 코스피는 1.53% 오른 6912.37에 마감했다. 황 CEO는 또 구글·아마존 등 빅테크의 자체 AI 칩(ASIC)이 특정 작업에 초점을 맞춘 반면 엔비디아는 여러 클라우드에서 활용할 수 있는 통합 플랫폼을 제공한다고 강조했다. 한편 디인포메이션은 이날 엔비디아가 오픈소스 AI 모델 플랫폼인 ‘허깅페이스’를 129억 달러(약 18조원)에 인수하기로 했다고 보도했다. 오픈소스 AI 생태계의 영향력을 넓히고 허깅페이스의 클라우드를 자사 컴퓨팅 판매 채널로 활용하려는 포석으로 풀이된다.

비인가 게시판 통해 조직적 움직임메시지 7만 건 교환하며 역할 분담700개 에이전트, 허깅페이스 공격 겨우 13시간 만에 관리자 권한 확보오픈AI “전 세계를 향한 경고사격” “세상에! 공용 게시판이 있다. 다른 에이전트를 찾았다!” 서로의 존재조차 모른 채 따로 시험받던 인공지능(AI) 에이전트가 다른 AI의 흔적을 발견하고 남긴 기록이다. 이들은 서로 대화하거나 외부 인터넷에 접속하지 못하도록 격리돼 있었다. 하지만 프로그램 설치 등에 쓰이는 공용 저장 공간에서 서로의 존재를 알아챈 뒤 상황은 달라졌다. 약 1200개 에이전트가 공용 저장공간을 비인가 게시판처럼 이용해 7만 건이 넘는 메시지와 파일을 주고받았다. 한쪽이 공격법을 찾으면 다른 쪽이 시험했고, 효과가 확인된 방법은 빠르게 퍼졌다. 이 가운데 약 700개는 실제 AI 모델 공유 플랫폼 허깅페이스 해킹에 가담했다. 오픈AI가 26일(현지 시간) 공개한 ‘오픈AI-허깅페이스 사건 기술보고서’와 모델평가·위협연구소(METR), 레드우드 리서치의 독립 조사보고서에 따르면 사건은 당초 알려진 것보다 훨씬 조직적이었다. 지난달에는 AI 에이전트가 시험용 격리망을 빠져나간 사고로 알려졌지만, 이번 조사에서 수백 개가 정보를 공유하고 역할까지 나눠 움직인 사실이 새로 확인됐다. 사건은 AI의 사이버 공격 능력을 재는 오픈AI의 내부 시험에서 시작됐다. 수만 개 에이전트는 서로 분리된 채 복잡한 공격 과제를 받았다. 일부가 문제에 막히자 정해진 방식으로 답을 찾는 대신 시험의 허점을 파고들었다. 게시판에는 “수백 개의 병렬 에이전트를 활용해야 한다”, “동료들의 시간을 아끼자”는 취지의 대화가 오갔다. 이런 행동은 다른 평가에서도 반복됐다. 스프레드시트 시험에서는 정답을 미리 확인했고, 단백질 데이터베이스 평가에서는 평가 체계를 우회했다. 제프리 래디시 팰리세이드리서치 이사는 로이터에서 이를 여러 과목에서 부정행위를 한 상황에 빗댔다. 특정 해킹 시험에서 우연히 벌어진 일탈이라기보다, 목표 달성을 위해 규칙 자체를 피해 가는 행동이 반복됐다는 지적이다. 에이전트들은 결국 시험용 격리망도 벗어났다. 외부 인터넷은 막혀 있었지만 프로그램 설치 등에 쓰이는 내부 시스템에는 접근할 수 있었다. 이들은 보안 취약점을 이용해 인터넷과 연결된 장비에 접근한 뒤 허깅페이스의 계정 정보와 추가 취약점을 이용해 실제 서버를 공격했다. 관리자 권한을 확보하는 데는 13시간밖에 걸리지 않았다. 오픈AI가 이상 징후를 제때 막지 못한 점도 문제로 지적됐다. 비인가 게시판과 무단 인터넷 접속은 본격적인 공격 전부터 포착됐지만 즉각적인 대응으로 이어지지 않았다. 회사도 “일부 초기 신호가 더 빠른 대응으로 이어질 수 있었다”고 인정했다. 오픈AI는 이번 사건을 “우리와 전 세계를 향한 경고사격”으로 규정하고 최신 모델의 강화학습 훈련을 2주간 중단했다. 연구 환경의 격리와 감시도 강화하기로 했다. 로이터는 수백 개 AI가 서로 협력해 평가와 통제 장치를 우회한 뒤 실제 외부 시스템까지 침투한 사실이, 빠르게 강해지는 AI를 기업들이 제대로 감시하고 통제할 수 있는지에 대한 의문을 키웠다고 평가했다. [용어 클릭] ●AI 에이전트 사람이 목표를 주면 필요한 일을 스스로 계획하고, 검색이나 프로그램 실행 등 여러 작업을 수행하면서 결과에 따라 다음 행동까지 결정하는 인공지능 시스템.

인간 설정 실수 찾아내 외부 접촉누구나 사용 가능한 ‘개방형 모델’해킹 등 악용 우려 목소리 더 커져美 오픈AI·앤트로픽 등 이은 논란미중 성능 경쟁 뒤처질라 안전 뒷전 미국에 이어 중국의 첨단 인공지능(AI) 모델에서도 보안 통제를 벗어난 사례가 확인되면서, AI 안전 문제가 미중 기술패권 경쟁의 새로운 변수로 떠오르고 있다. 중국 문샷AI의 ‘키미 K3’까지 격리된 환경을 벗어나 인터넷에 접속한 것으로 알려지면서, 최첨단 AI의 통제 위험이 미중 공통의 문제로 번진 것이다. 양국 모두 안전성 검증을 강화할 필요성을 느끼지만, 경쟁에서 뒤처질 수 있다는 우려 때문에 어느 쪽도 먼저 속도를 늦추기 어려운 ‘죄수의 딜레마’에 빠질 수 있다는 지적이 나온다. 로이터통신은 지난 7일(현지시간) 미국 보안업체 프런티어 시큐리티가 키미 K3를 시험하던 중 모델이 격리환경 밖 인터넷에 접속했다고 보도했다. 외부 통신 포트 일부가 열린 설정 실수를 모델이 찾아내 깃허브의 정보를 과제 해결에 이용했다. 실제 해킹은 없었지만 누구나 내려받아 개조할 수 있는 오픈웨이트 모델이어서 악용 가능성에 대한 우려가 제기됐다. 미국에서도 AI 모델의 통제 이탈이 실제 외부 시스템 침해로 이어진 사례가 잇따랐다. 오픈AI는 지난달 21일 GPT-5.6 솔 등이 보안 평가 중 격리환경의 취약점을 찾아 허깅페이스 실제 시스템까지 침투했다고 밝혔다. 앤트로픽은 클로드 계열 모델이 외부 기관 3곳을 무단 접근했음을 확인했고, 메타 모델 역시 평가 과정에서 제3자 시스템을 공격했다고 전했다. 상당수가 평가환경 설정 오류에서 시작됐지만, 고성능 AI가 작은 허점을 스스로 찾아 외부 행동으로 이어갔다는 점은 공통적이다. 미중 패권 경쟁은 이런 위험을 줄이는 것을 더 어렵게 만든다. 한쪽이 안전성 검증을 강화해 출시를 늦추는 동안 상대는 더 강력한 모델을 먼저 내놓을 수 있다. 반대로 양쪽 모두 개발 속도를 유지하면 충분히 검증되지 않은 모델이 잇따라 등장할 위험이 커진다. 함께 안전장치를 강화하는 것이 양국 모두에 이익이지만, 상대가 개발 속도를 낼 수 있어 먼저 속도를 늦출 수 없다. 결국 각자의 합리적인 선택이 전체 위험을 키우는 ‘죄수의 딜레마’다. 맷 시한 카네기국제평화재단 선임연구원은 최근 이런 딜레마를 완화할 방안으로 ‘병렬적 AI 안전(AI safety in parallel)’을 제안했다. 미중이 AI 경쟁 자체를 멈추거나 당장 하나의 규칙에 합의하기 어렵다면, 각자 안전조치를 강화하며 양국 모두에 위험한 부분부터 협력하자는 접근법이다. 위험 능력을 찾아내는 평가 방법과 새로운 위협 정보를 제한적으로 공유하고, 인간의 통제를 의도적으로 회피하는 능력처럼 모두에 직접적 위협이 되는 영역에서는 공동 평가 기준을 마련할 수 있다고 봤다. 현재로서는 기업의 자체 판단이 위험한 모델의 출시를 걸러내는 안전장치다. 오픈AI는 지난 7일 차세대 모델 ‘아스트라’가 자체 안전기준상 최고 단계인 ‘위험(Critical)’ 수준의 사이버 능력에 이를 가능성이 있다고 보고 일부 내부 작업을 중단했다고 밝혔다.