[딜사이트 이수민 인턴기자] 미국 뉴욕시가 제3자의 검증을 통해서 AI가 위험하다고 판단될 경우, 사람이 직접 작동을 멈추는 이른바 '킬스위치(Kill Switch)'를 의무화하는 법안을 추진하고 있다. 지난 5일(현지시간) 뉴욕시의회는 AI 청문회를 열어 오픈AI·앤트로픽 등 주요 AI 기업을 상대로 안전성과 통제 문제를 집중적으로 따져 물었다.

법안이 현실화하면 외부 검증을 받지 않았거나 사람이 중단할 수 없는 AI는 뉴욕시에서 판매·배포할 수 없게 된다. 그동안 기업의 자율적인 안전관리에 머물렀던 AI 규제가 정부의 강제 규제로 옮겨가고 있다.

규제가 확산되면 관련 산업에도 변화가 예상된다. AI 모델의 위험성을 검사하는 평가·인증을 비롯해 공격과 위험 행동을 차단하는 보안·가드레일, AI의 행동을 추적하는 모니터링 분야의 투자가 늘어날 수 있다.

한국에서도 인공지능기본법 시행과 함께 셀렉트스타(SelectStar), 에임인텔리전스(AIM Intelligence) 등 관련 기업들이 AI 평가·보안 시장에 진입하고 있다. 미국의 규제 강화가 국내 AI 안전 산업의 성장을 촉진할 수 있을지 관심이 모인다.

◆올트먼 "일부 위험은 감수" vs. 아모데이 "속도 늦춰야"

지난 4일(현지시간) 샘 올트먼 오픈AI CEO는 미국 정치전문매체 폴리티코와 인터뷰에서 AI가 가져올 이익을 위해 일부 부작용은 감수할 필요가 있다는 입장을 밝혔다. 사기나 해킹 등 모든 악용 가능성을 없애기 위해 AI 접근 자체를 제한하는 방식에 선을 그었다.

반면 다리오 아모데이 앤트로픽 CEO는 지난 9월 AI 개발 속도를 조절해야 한다고 주장했다. AI 성능이 향상되는 속도를 늦춰 안전 기술이 따라갈 시간을 확보해야 한다는 설명이다.

앤트로픽은 이를 실제 투자로 옮기고 있다. 지난달 18일 글로벌 컨설팅업체 액센츄어(Accenture)와 프런티어 AI의 독립 평가체계를 구축하기로 했다. 양사는 향후 5년간 관련 평가 역량 구축에 최소 20억달러(2조6843억원) 이상을 투자할 계획이다. 모델을 공격해 취약점을 찾는 레드티밍(Red Teaming)과 AI가 인간의 의도와 안전 원칙에 맞게 행동하는지 확인하는 정렬 평가, 안전장치 시험 등이 투자 대상이다.

◆뉴욕은 한발 더…검사 못 받으면 AI 출시 제한

지난 5일(현지시간) 뉴욕시의회는 전체 의원 51명이 모두 참여하는 전체위원회를 열어 AI 위험에 대해서 논의했다. 앤트로픽 전 연구원 제이컵 콕슨을 비롯한 전·현직 AI 업계 관계자들이 출석해 빠른 AI 개발 과정에서 발생할 수 있는 통제 위험을 증언했다.

핵심은 뉴욕시의회가 검토 중인 T2026-2602 법안이다. 법안에는 AI 모델을 시장에 내놓기 전에 독립된 제3자의 검증을 받도록 하고, 사람이 필요할 때 AI의 작동을 일시적 또는 영구적으로 중단할 수 있는 종료 기능을 갖추는 내용이 담겨 있다.

법안이 시행되면 제3자 검증을 받지 않았거나 사람이 중단할 수 있는 종료 기능이 없는 AI 모델은 뉴욕시에서 판매하거나 배포할 수 없다. 제3자 기관은 AI의 정확도와 데이터 출처뿐 아니라 개인정보 보호, 편향, 보안 위험과 종료 기능의 작동 여부까지 평가한다.

법을 위반하면 건별로 2만5000달러(3355만원)의 민사 제재를 받을 수 있다. 현재 법안은 발의 단계이며 오는 8일 뉴욕시의회 안건에 올라 있다.

◆GPU 다음은 'AI 안전'…한국 기업도 시장 진입

AI 인프라 투자가 지금까지 GPU와 HBM, 전력 등에 집중됐다면 앞으로는 AI 평가와 인증, 보안, 가드레일에도 투자가 늘어날 수 있다. 특히 제3자 검증이 의무화되면 제품 출시 전에 안전성을 확인하는 시험·검사·인증(Testing·Inspection·Certification, TIC) 산업의 역할이 커질 전망이다.

해외에서는 TIC 기업들이 이미 AI 안전 시장에 진입하고 있다. UL솔루션즈(UL Solutions)는 지난해 11월 AI 제품의 안전성을 평가하는 'UL 3115' 인증을 출시했다. 올해 3월에는 한화큐셀의 데이터센터 에너지관리시스템과 옴니콘(Omniconn)의 스마트빌딩 플랫폼에 첫 인증을 발급했다. 평가 과정에서는 AI의 신뢰성과 보안뿐 아니라 사람이 시스템을 감독하고 통제할 수 있는지도 확인한다.

영국 인터텍(Intertek)은 지난해 6월 AI의 거버넌스와 보안, 레드티밍, 안전성 검증 등을 묶은 'AI²' 서비스를 출시했다. 스위스 SGS와 프랑스 뷰로베리타스(Bureau Veritas)도 AI 경영시스템 국제표준인 ISO/IEC 42001 인증 사업을 확대하고 있다.

국내에서도 AI 평가·보안 시장에 기업들이 뛰어들고 있다. AI 신뢰성 평가업체 셀렉트스타(Selectstar)는 자체 플랫폼 '다투모 이밸(Datumo Eval)'을 통해 AI 모델의 성능과 안전성, 취약점을 평가한다. 금융·공공·콘텐츠 등으로 적용 분야를 넓히고 있으며 지난 8월에는 AI 신뢰성 평가 기업으로는 처음으로 코스닥 기술특례상장을 위한 기술성 평가를 통과했다.

AI 보안 스타트업 에임인텔리전스(AIM Intelligence)는 공격과 방어를 함께 다룬다. '스팅어(Stinger)'는 AI를 공격해 취약점을 찾는 레드티밍 플랫폼이다. '스타포트(Starfort)'는 AI 서비스 운영 과정에서 개인정보와 영업비밀 등 민감정보를 보호하고 자율 AI 에이전트의 비정상적인 API 호출을 통제한다.

카카오도 자체 AI 가드레일인 '카나나 세이프가드(Kanana Safeguard)'를 개발했다. 지난 6월에는 KT클라우드(kt cloud)와 손잡고 모델 안전성 평가와 레드티밍, 가드레일 등을 통합 관리하는 플랫폼 구축에 나섰다. 양사는 AI 안전 도구를 KT클라우드 플랫폼에 적용하고 실제 고객 사례를 통해 검증한 뒤 통합 관리 플랫폼을 공동 개발할 계획이다.