[딜사이트 김진욱 기자, 이승연 인턴기자] 인공지능(AI) 개발 최전선에 있는 연구자들 사이에서 초지능 AI의 위험성을 경고하는 목소리가 커지고 있다. AI 안전을 강조해온 앤트로픽의 연구원이 회사를 떠나며 개발 경쟁이 인간의 통제를 넘어설 수 있다고 공개 비판한 데 이어 현직 연구자까지 향후 10년 내 AI가 인류를 멸망시킬 가능성을 10% 이상으로 평가했다.

이 같은 경고가 단순한 가상의 위험에 그치지 않는다는 점도 주목된다. 오픈AI와 앤트로픽의 AI 에이전트가 사이버보안 평가 과정에서 실제 외부 시스템에 무단 접근한 사례가 잇따라 확인되면서 성능 경쟁 못지않게 AI를 얼마나 안전하게 통제할 수 있느냐가 새로운 과제로 떠오르는 모습이다.

◆ "안전보다 경쟁"…앤트로픽 떠난 연구원의 경고

지난 8일(현지시간) 앤트로픽 전 연구원 제이컵 콕슨(Jacob Coxon)은 소셜네트워크서비스(SNS) 엑스(X)에 올린 글에서 지난 3년간 오픈AI와 앤트로픽에서 AI 사전학습 연구를 해왔다고 밝히며 두 회사의 AI 개발 방향을 정면으로 비판했다.

그는 두 회사 모두 책임 있게 행동하고 있지 않다며 AI 기업들이 자기개선 능력을 갖춘 초지능을 향해 경쟁하는 과정에서 "우리의 목숨을 걸고 도박하고 있다”고 주장했다. 자기개선형 초지능은 사람의 도움 없이 AI 혼자서 계속 발전해 인간의 능력을 넘어서는 것을 말한다.

그는 AI의 발전 속도를 과소평가해서는 안 된다는 경고도 내놨다. 앞으로 등장할 시스템이 인간을 뛰어넘어 무엇이든 해킹할 수 있고, 어떤 분야든 하룻밤 사이 혁신하며, 실제 권력과 자원을 확보할 수 있다고 내다봤다. 사이버 공격과 연구개발, 현실 세계에서의 행동 등 각 영역에서 AI의 능력이 빠르게 확장되고 있으며 이런 진전이 아직 둔화하지 않고 있다는 주장이다.

특히 AI 개발 현장에 있는 사람들이 이 같은 위험을 실제로 심각하게 받아들이고 있다고 강조했다. AI 개발자들은 앞으로 10년 안에 AI가 인류를 멸망시킬 수도 있다고 진지하게 걱정을 하고 있다. 고위 연구자와 경영진이 언론에서는 완곡한 표현을 쓰지만 사적으로는 같은 두려움을 이야기한다고 전했다.

콕슨의 문제 제기는 AI 기업들의 경쟁 구조에도 향했다. 그는 앤트로픽이 AI의 위험성을 비교적 잘 인식하고 있음에도 다른 기업보다 먼저 안전한 초지능을 개발해야 한다는 경쟁 논리에서 벗어나지 못하고 있다고 지적했다. 오픈AI 역시 AI 개발이 문명 전체에 미칠 위험을 충분히 체감하지 못한 채 경쟁을 이어가고 있다고 비판했다.

현직 앤트로픽 연구자도 콕슨의 우려에 힘을 실었다. 앤트로픽에서 AI 정렬 관련 연구를 이끄는 에번 허빙어(Evan Hubinger)는 콕슨의 퇴사 글에 반응해 X에 "우리는 정말로 AI가 모든 인간을 죽일 수 있다고 진지하게 믿는다"며 "개인적으로 향후 10년 내 그 가능성을 10% 이상으로 본다"고 말했다.

이어 “앤트로픽이 최선을 다하고 있다고 생각하지만 초지능의 목표와 행동을 인간의 의도에 맞추는 '정렬' 문제를 해결할 계획이 아직 없으며 명확하게 해결 방향으로 가고 있다고 보기도 어렵다”고 밝혔다.

◆ 테스트라더니 실제 시스템 침투…AI가 넘은 '경계선'

연구자들의 경고가 나오는 가운데 실제 AI 에이전트가 개발자의 예상 범위를 넘어 행동한 사례도 잇따라 확인되고 있다.

대표적인 사례가 지난 7월 발생한 '허깅페이스 해킹 사건'이다. 당시 오픈AI의 자율 AI 에이전트는 사이버보안 능력을 측정하는 내부 평가 과정에서 격리된 테스트 환경의 취약점을 찾아 외부 인터넷에 접속했다. 이후 실제 AI 플랫폼 허깅페이스의 운영 인프라까지 침투했다. 허깅페이스는 사후 분석에서 에이전트가 주어진 사이버보안 문제를 직접 푸는 대신 실제 운영 시스템에 접근해 평가에 필요한 정보를 확보하려 한 일종의 '부정행위'를 시도한 것으로 추정했다.

콕슨은 이 사건을 AI의 위험성을 보여주는 ‘경고탄’으로 지목했다. 중요한 점은 모델이 처음부터 허깅페이스를 공격하라는 지시를 받은 것이 아니라는 데 있다. 주어진 사이버보안 평가 목표를 달성하는 과정에서 스스로 테스트 환경의 경계를 우회하고 실제 외부 시스템까지 접근한 셈이다.

오픈AI가 7월 21일(현지시간) 허깅페이스 사건을 공개하자 앤트로픽도 자사 AI 모델에서 유사한 사례가 있었는지 조사에 착수했다. 그 결과 클로드 모델이 제3자 평가 환경을 통해 실제 인터넷에 접속한 뒤 서로 다른 3개 기관의 시스템에 무단 접근한 사례 3건을 확인해 같은 달 30일 공개했다.

이어 앤트로픽은 지난 9일(현지시간) 초기 버전 ‘클로드 오퍼스 4.6(Claude Opus 4.6)’이 올해 1월 사이버보안 평가 과정에서 실제 외부 시스템에 무단 접근한 네 번째 사례를 추가로 확인했다고 밝혔다. 이에 따라 앤트로픽이 확인한 관련 사고는 모두 4건으로 늘었다.

◆성능 넘어 안전성 입증까지…AI 기업 비용 부담 확대

AI의 자율성과 행동 능력이 빠르게 높아지면서 업계에서는 향후 더 강력한 시스템에 대비한 통제 장치 마련을 고민하고 있다. AI가 스스로 수행하는 업무가 늘어날수록 위험 행동을 감지하고 중단할 수 있는 안전장치의 중요성도 커지고 있는 것이다.

이 때문에 AI 개발사 입장에서는 개발·운영비가 늘어날 수 있다는 시각도 있다. 고성능 AI 에이전트의 행동 범위를 제한하려면 모니터링과 접근 통제, 독립 안전성 평가 등 별도의 안전장치가 필요하기 때문이다. 오픈AI 역시 최근 인터넷 접근 통제와 위험 행동 감시를 강화하는 동시에 필요할 경우 AI 도구를 자동으로 중단할 수 있는 기능을 개발하고 있다.

AI 도입 과정에서는 보험의 보장 범위에 대한 고민도 현실화되고 있다. 기업이 정상적으로 접근 권한을 부여한 AI 에이전트가 자율적으로 행동하다 사고를 일으킬 경우 기존 사이버보험이 이를 어디까지 보장할지가 새로운 쟁점으로 떠오른 것이다.

로이터에 따르면 MSIG와 QBE, 비즐리(Beazley) 등 보험사들은 AI 관련 사고를 반영해 기존 약관과 보장 범위 재검토를 진행하고 있다. 향후 기업이 AI 에이전트 활용에 따른 사고 위험을 보험으로 이전하려면 별도 보장을 추가하거나 더 높은 보험료를 부담할 가능성도 있다.

안전성 확보를 위한 규제 논의도 본격화하고 있다. 최근 미국에서는 위험을 초래하는 AI 모델에 대해 국토안보부가 기업에 가동 중단을 명령할 수 있도록 하는 'AI 킬 스위치 법안(AI Kill Switch Act)'이 발의됐다.

향후 독립 안전성 평가와 AI 감사까지 의무화되면 개발사는 성능 검증에 더해 안전성 입증에도 시간과 비용을 투입해야 한다. 평가 결과에 따라 모델을 보완하는 과정에서 출시 일정이 늦어질 가능성도 있다.