[딜사이트 최령 기자] KT가 국내외 500개 이상의 인공지능(AI) 모델을 한곳에서 이용하고 비용까지 관리할 수 있는 플랫폼 ‘KT 토큰팩토리’를 선보였다. 통신사업에서 쌓은 연결·과금·보안 역량을 AI 서비스로 확장해 기업의 AI 전환(AX) 수요를 공략한다.

KT는 27일 서울 종로구 광화문 West 빌딩에서 토큰팩토리를 공개하고 오는 30일 출시한다고 밝혔다. 초기에는 여러 AI 모델을 활용하면서 사용량과 비용을 통합 관리하려는 기업 고객을 대상으로 서비스를 제공하고 향후 개인 고객으로 시장을 확대할 계획이다.

토큰팩토리는 AI 모델 선택부터 가입, 사용량 확인, 비용 관리, 결제까지 하나의 플랫폼에서 처리하는 서비스다. 번역·요약·코딩·추론 등 업무별로 적합한 모델을 골라 쓸 수 있고 모델마다 별도로 이용 환경과 결제 체계를 관리해야 하는 부담을 줄였다.

핵심 기능은 KT가 자체 개발한 ‘오토 모델 라우터’다. 질문의 업무 유형과 난이도, 요구 품질, 비용, 고객이 사전에 허용한 모델 범위 등을 고려해 적합한 AI 모델을 자동으로 선택한다. 단순 업무에는 경량 모델을, 복잡한 분석에는 고성능 모델을 배정하는 방식으로 품질과 비용 효율을 함께 높인다는 구상이다.

KT에 따르면 이 기술은 AI 모델 선택 성능을 평가하는 글로벌 벤치마크 ‘RouterArena’에서 종합 1위를 기록했다. 한국어 특성을 반영한 프롬프트 압축 기술도 적용했다. 질문의 의미와 응답 품질을 유사하게 유지하면서 불필요한 반복 표현 등을 줄여 입력 토큰 수를 낮추는 기술이다.

KT는 자체 모델 라우팅과 프롬프트 압축 기술을 통해 토큰 사용량을 최대 25% 절감할 수 있다고 설명했다. 토큰은 AI가 질문과 문서 등을 이해하고 답변을 생성할 때 처리하는 기본 단위로 사용량에 따라 비용이 발생한다.

데이터 보안 요구가 높은 기업을 위해 국내 인프라를 활용한 AI 추론 서비스도 제공한다. KT 데이터센터에서 자체 AI 모델과 국내외 오픈웨이트 모델 등을 운영해 고객이 업무 목적과 보안 요건에 맞춰 선택할 수 있도록 했다.

AI 이용 과정의 안전성을 높이기 위한 모델 평가체계와 자체 가드레일 기술도 적용했다. 입력 단계에서 개인정보·민감정보와 유해 표현을 점검하고 AI가 생성한 답변도 검사한다. 향후 고객별 업무 환경에 맞춰 탐지 대상과 차단 수준을 세밀하게 설정할 수 있도록 기능을 확대할 예정이다.

글로벌 모델 확보를 위해서는 AI 게이트웨이·모델 마켓플레이스 사업자인 오픈라우터와 손잡았다. KT는 국내 최초로 오픈라우터와 공식 파트너십을 체결해 토큰팩토리에 연계할 수 있는 글로벌 AI 모델 500개 이상을 확보했다고 밝혔다. 양사는 향후 KT가 국내에서 제공하는 AI 모델의 글로벌 유통도 추진할 계획이다.

파트너 생태계도 확대한다. AI 코딩·에이전트 분야의 유라클과 CAST AI, 기업용 AI 워크스페이스 분야의 타임리 등과 협력을 추진한다. 업스테이지와 다음 등 ‘모두의 AI’ 컨소시엄 참여사들과도 협력해 AI 인프라부터 모델 활용과 서비스까지 연결한다는 방침이다.

박상원 KT AX사업부문장 전무는 “AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다”며 “토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다”고 말했다.