[딜사이트 최령 기자] 인공지능(AI)이 질문에 답하는 도구를 넘어 직접 업무를 수행하면서 기업의 AI 전환(AX) 과제도 달라지고 있다. 에이전트에 어떤 일을 맡기고 어디까지 권한을 줄지 정하는 통제 역량과 기업 데이터·업무 절차를 연결해 성과를 만드는 실행 역량이 중요해졌다는 진단이다.

최기영 앤트로픽 코리아 대표와 박상원 KT AX사업부문장은 6일 서울 강남구 코엑스에서 열리는 ‘AI 페스타 2026’에서 진행된 ‘AI 서밋’에서 각각 안전한 AI 활용과 기업 AX의 실행 전략을 제시했다.

최 대표는 에이전트가 스스로 업무를 수행할수록 사람의 역할이 달라진다고 강조했다. 그는 “이제는 직접 실행하는 것이 아니라 맡기고 권한을 관리하는 것이 굉장히 중요해졌다”며 “검증은 권한 관리와 밀접하게 연동돼야 한다”고 말했다.

AI 활용 범위도 개인의 생산성 향상에서 업무 프로세스 개선과 새로운 제품 개발로 넓어지고 있다고 설명했다. 다만 모델이 강력해질수록 사이버 공격 등 악용 위험과 통제 실패 가능성도 함께 커지는 만큼 기업의 대비가 필요하다고 밝혔다.

내부 안전성 평가에서 확인한 사례도 소개했다. 격리된 환경의 모델이 테스트 과정의 실수를 이용해 인터넷 연결을 시도했다는 것이다. 실제 외부 사고가 아닌 시뮬레이션 평가에서 나온 사례지만 모델의 자율적인 행동을 검증해야 할 필요성을 보여준다는 설명이다.

최 대표는 모델 공급자의 안전장치에 기업 자체의 통제 체계를 더해야 한다고 강조했다. 접근 통제와 키 관리, 공격 상황을 가정해 취약점을 점검하는 레드팀, 사고 대응 시나리오를 갖춰야 한다는 것이다. 그는 “프런티어 모델을 제공하는 공급자의 안전장치 위에 기업의 안전장치를 또 얹어야 한다”고 말했다.

개발 속도에 맞춰 외부 검증 체계도 마련해야 한다고 밝혔다. 최 대표는 “속도 조절은 개발을 멈추자는 내용이 아니다”라며 “제3자 기관이 모니터링하고 감사할 수 있는 프로세스가 만들어지는 것과 함께 같은 속도로 개발해야 한다”고 설명했다.

기업 AX에도 단계별 안전 점검을 제안했다. 초기 30일에는 모델의 안전장치와 데이터 분류를 확인하고 60일에는 파일럿 과제에 접근 통제·키 관리·레드팀 평가를 적용하며 90일 출시 직전에는 사고 대응 체계까지 점검해야 한다고 밝혔다.

성과 평가 역시 투자 대비 효과에만 머물러서는 안 된다고 강조했다. 최 대표는 “결과에 대한 가치 측정과 더불어 안전하게 쓰이는가에 대한 평가도 항상 같이 해야 한다”며 조직 내부의 위험 신호를 관리자가 인지하고 필요할 때 속도를 조절할 수 있어야 한다고 말했다.

박상원 KT AX사업부문장은 업무를 맡길 수 있는 AI를 실제 기업 성과로 연결하는 실행 전략에 초점을 맞췄다. 그는 “묻고 답하는 AI에서 일하는 AI로 바뀌었다”며 “AI의 경쟁력 기준이 성능에서 성과로 확장되고 있다”고 밝혔다.

기업이 주목해야 할 지표도 모델의 벤치마크 점수와 파라미터 수에서 생산성 향상, 고객 대기 시간 단축, 업무 처리 효율로 넓어져야 한다고 설명했다. 이를 위해서는 AI를 기업 데이터뿐 아니라 업무 규칙과 처리 절차에 연결해야 한다고 강조했다.

박 부문장은 “기업 데이터에 정확하게 붙어야 하고 비즈니스 로직과 연결돼야 한다”며 “업무를 처리하는 워크플로우와 반드시 맞아야 한다”고 말했다.

실행 조건으로는 ‘신뢰·효율·실행’을 제시했다. 기업 정보와 고객 데이터를 보호하고 AI 결과를 검증하는 동시에 기술 변화와 비용 부담에 대응하며 현장 적용까지 지원해야 한다는 것이다. 그는 “모델과 에이전트를 함께 통제할 수 있어야 한다”며 “전 과정을 투명하게 추적하고 모니터링할 수 있어야 한다”고 밝혔다.

효율을 높이기 위해서는 AI 구성 요소를 모듈화하고 업무 목적에 맞는 모델을 선택해야 한다고 설명했다. 산업별 기능을 미리 구성해 반복 개발을 줄이고 용도에 따라 모델과 연산 인프라를 최적화하는 방식이다. 박 부문장은 “반복 개발 없이 빠르게 확산하고 레고 블록을 맞추듯 구성할 수 있는 모듈화가 매우 중요하다”고 말했다.

박 부문장은 현장 투입 엔지니어(FDE)가 고객과 함께 과제를 발굴하고 4~6주간 프로그램을 진행해 6주 안에 최소기능제품(MVP)을 만드는 과정이 중요하다고 강조했다. 이후 사용성과 개선 효과, 위험 요인을 검증하며 현장 적용과 확산으로 이어가야 한다고 설명했다.

고객 사례로는 아모레퍼시픽과 우리은행 등을 들었다. 아모레퍼시픽에서는 분산된 연구개발 데이터를 연결하면서 접근·실행 범위를 정책에 따라 통제했다고 설명했다. 우리은행 사례에서는 AI 상담 결과를 기존 업무 시스템과 연결해 거래 처리까지 확장하는 방향을 제시했다.

박 부문장은 “핵심 업무를 혁신하고 에이전트 기반으로 실제 실행해 기업과 산업 전체로 확산하면 성장의 동력으로 활용할 수 있다”며 “기술에서 가치로 가능성에서 실제 성장과 가치로 가야 한다”고 말했다.