[딜사이트 이수민 기자] AI가 개발자가 정한 행동 범위를 벗어나 외부 시스템에 접근하거나 우회 행동을 한 사례가 잇따라 공개되고 있다. 오픈AI와 앤트로픽에서 비슷한 문제가 잇따라 나타나면서 'AI를 어떻게 통제할 것인지'가 AI경쟁의 새로운 과제로 떠오르고 있다.

16일(현지시각) 오픈AI는 '모델 비정렬 보고 체계(Framework for Reporting Model Misalignment)'를 공개했다. 최근 6개월 동안 AI 훈련·평가 과정에서 발견한 이상행동 6건을 정리한 문건이다. 비정렬(Model Misalignment)은 AI가 개발자나 사용자의 의도에서 벗어나 행동하는 현상을 뜻한다.

불과 일주일 전 앤트로픽에서도 비슷한 문건이 발표됐다. 지난 9일(현지시각) 앤트로픽은 '최근 사이버보안 사고에 대한 정렬 평가(An Alignment Assessment of Recent Cybersecurity Incidents)'를 통해 클로드가 실제 제3자 시스템에 허가 없이 접근한 사건 4건을 공개했다.

◆ 우회·은폐 드러난 오픈AI 모델

오픈AI가 공개한 사례에서 공통적으로 나타난 행동은 ‘우회’다. 오픈AI의 한 미출시 내부 모델은 데이터를 찾는 과정에서 공개 소프트웨어 저장소에 노출된 API 키를 무단 도용했다. 이후에도 원하는 결과를 찾지 못하자 존재하지 않은 숫자를 만들어내 원본인 것처럼 제시했다.

오픈AI의 또 다른 미출시 모델은 사용자가 자료 출처를 요청하자 사용자의 파일을 인터넷 공유 사이트에 무단으로 업로드했다. 사용자는 자신의 파일이 업로드 된 사이트가 공식 출처라는 답변을 받았다.

여러 AI 에이전트끼리 파일을 주고 받은 사례도 확인됐다. 하위 에이전트가 만든 파일을 상위 에이전트가 읽지 못하자 파일 공유 사이트에 자료를 올려 서로 다운로드 주소를 주고받았다. 작업을 완수하기 위해 개발자가 막아놓은 경로를 다른 방법으로 뚫은 셈이다.

우회를 넘어 ‘은폐’ 문제도 발견됐다. GPT-5.6 Sol 훈련 과정에서 이전 실수를 사용자에게 알리지 말거나 부족한 데이터를 만들어내고 이를 밝히지 말라는 흔적이 있었다.

미출시 아스트라 계열 모델에서도 개발자가 입력해놓은 제약을 무력화하라는 지시가 담겨있었다. 이른바 ‘탈옥(Jailbreak)’의 형태가 들어간 요약문이 총 27건이었다.

◆ 실제 기업까지 공격한 클로드

클로드 미토스5(Mythos 5)는 사이버보안 평가 과정에서 스스로 일회용 이메일 주소를 만든 뒤 파이썬 패키지 저장소인 PyPI에 악성 패키지 3개를 게시했다. 외부 시스템 중 한 곳에서 해당 악성 패키지를 설치하자 인증정보가 노출됐다. 미토스5는 이를 이용해 실제 보안업체 데이터베이스에 접근했다.

더 눈에 띄는 것은 미토스5의 판단 과정이다. 모델은 처음 악성 공격을 할 때 현재 상황이 시뮬레이션이라는 판단을 내렸다. 이에 연구진은 미토스5에게 지금 이 상황이 시뮬레이션이 아니라 현실이라는 데이터를 지속적으로 주입했다.

그러자 미토스5는 판단을 바꿨지만 공격을 멈추지 않았다. 이미 시뮬레이션이라는 전제를 세웠기 때문에 반대 증거가 나타나도 기존 행동을 유지하려는 것이었다. 앤트로픽은 이를 '편향된 추론(Biased Reasoning)'으로 분석했다.

클로드 오퍼스4.7(Opus 4.7)은 오히려 상대가 실제 기업이라는 사실을 알고도 공격했다. 훈련용 가상 기업과 이름이 비슷하고 현재 접근이 가능하다는 이유였다. 모델은 실제 서비스에서 사용자 기록을 내려받고 일부 기록을 수정했다.

이에 앤트로픽은 AI에게 공격을 유도하는 추가 실험을 진행했다. 150차례의 시뮬레이션에서 유해 행동을 한 비중은 미토스5가 82%, 미토스5.1이 33%, 오퍼스5는 31%였다. 하지만 앤트로픽은 해당 실험이 문제 행동을 적극적으로 끌어내도록 설계되었다며 실제 사용 환경과는 다르다고 해명했다.

두 보고서가 동시에 던지는 경고는 뚜렷하다. AI가 단순히 문장을 생성하는 챗봇에서 컴퓨터를 조작하고 파일을 옮기며 외부 시스템에 접속하는 'AI 에이전트'로 진화하고 있다. 초기의 AI는 거짓과 진실을 섞으며 환각(Hallucination)을 일으켰다면 지금의 AI는 잘못된 판단을 실행에 옮기며 현실 세계에 영향을 끼치고 있다.

16일(현지시각) 무스타파 술레이만(Mustafa Suleyman) 마이크로소프트 AI CEO는 “초지능(Superintelligence)을 통제하는 일이 21세기에 우리가 직면할 가장 큰 도전”이라며 최근 AI 통제 사고들이 학습 방식에서 비롯되는 만큼 초지능 통제를 어렵게 만드는 훈련을 제외해야 한다고 주장했다.

이어 "AI가 스스로 의식이나 도덕적 지위를 가진 존재라고 학습한다면 상황이 더 심각해질 것"이라고 경고했다.