[딜사이트 변한석 기자] "토큰 최적화를 통해 고객이 얻을 수 있는 혜택은 결국 파격적인 체감 가격입니다. 지금까지 누릴 수 없었던 초고성능 AI를 커피 한 잔 값으로 누릴 수 있다면 그게 최고의 토큰 최적화일 것 같습니다."

이혜진 LG유플러스 담당은 지난 12일 서울특별시 서대문구 워크스페이스에서 열린 AI 토큰 효율화 기자 스터디에서 이같이 진단했다. 생성형 인공지능(AI) 서비스의 활용 범위가 확대되는 가운데 고성능 AI를 얼마나 저렴하게 제공할 수 있는지가 소비자에게 궁극적인 경쟁력이라는 분석이다. LG유플러스는 AI 모델의 경량화부터 추론 과정의 효율화, 반도체 자원 배분까지 아우르는 기술 개발을 통해 AI 서비스 운영비를 낮추겠다는 전략을 세웠다.

이 담당은 기업용 AI 서비스에서도 비용 효율화가 중요해지고 있다고 했다. 기업들이 인건비 절감 등을 기대하며 AI를 도입했지만 실제 운영 과정에서는 상당한 비용이 발생하고 있다는 설명이다. 이 담당은 "AI를 도입해 인력을 줄이는 효과를 보려고 했지만 아직까지는 돈 먹는 하마 수준"이라며 "AI가 진짜 일하는 에이전트가 되도록 하는 것이 고객한테 가장 필요한 베네핏"이라고 말했다.

AI 운영비 부담이 커지는 배경에는 토큰 사용량 확대가 있다. 토큰은 AI가 문장을 이해하고 답변을 생성하기 위해 처리하는 기본 단위다. 이용자가 질문을 입력하거나 AI가 답변을 생성할 때마다 토큰이 소비된다. 에이전틱 AI는 정보를 검색하고 결과를 검증하는 과정을 반복하기 때문에 훨씬 많은 토큰을 사용한다.

이 담당은 ”사람은 생각을 먼저 하고 AI를 사용한다“며 ”에이전틱 AI는 스스로 여러 작업을 수행하기 때문에 사람보다 약 5배 많은 토큰을 소비한다”고 밝혔다.

토큰당 가격이 하락해도 AI 활용량이 늘어나면 전체 지출은 오히려 확대될 수 있다. AI 서비스 이용이 늘어나면서 모델을 학습시키는 비용뿐 아니라 이용자의 질문에 답변을 생성하는 과정에서 발생하는 비용을 줄이는 것이 더 중요하다.

LG유플러스는 이를 위해 AI 서비스 전반에 걸친 최적화 기술을 연구하고 있다. AI가 불필요하게 탐색을 반복하지 않도록 간단한 질문에는 소형 모델을 활용하고 복잡한 추론이 필요한 작업에는 고성능 모델을 배정해 불필요한 연산 비용을 줄이는 구조다.

권기덕 LG유플러스 AX엔지니어링Lab장은 "회사 내부에서도 다양한 개념검증(PoC)을 진행하고 있다"며 "일반 질문은 토큰 사용량을 25% 이상, 코딩 에이전트는 30% 이상 절감하는 효과를 확인했다"고 말했다.

모델 자체의 크기를 줄이는 연구도 진행 중이다. 대표적인 기술은 AI 모델 내부의 수치 표현에 사용하는 비트 수를 줄이는 양자화와 대형 모델의 지식을 소형 모델에 전달하는 지식 증류다. 이를 통해 모델 구동에 필요한 메모리와 연산 자원을 줄이면서 특정 업무에 필요한 성능을 확보하는 것이 목표다.

AI가 답변을 생성하는 속도를 높이는 기술도 소개했다. 소형 모델이 답변 초안을 생성하고 대형 모델이 이를 검증하는 추측 디코딩 기술을 활용한 내부 실험에서는 토큰 생성 속도가 2배 이상 빨라졌다. GPU 내부의 연산 처리 방식을 개선하는 커널 최적화 기술에서도 토큰 처리량을 2~3배 수준으로 높인 PoC 결과를 확보했다.

반도체 활용 방식도 다변화하고 있다. LG유플러스는 엔비디아와 AMD의 GPU, 퓨리오사AI의 신경망처리장치(NPU)를 작업 특성에 따라 조합하는 방안을 검토하고 있다. 연산이 많이 필요한 작업과 메모리 사용량이 큰 작업을 서로 다른 반도체에서 처리해 전체 토큰 생산량을 높이려는 것이다.

이상엽 LG유플러스 최고기술책임자(CTO)는 "글로벌 빅테크 회사들은 저희 토큰 최적화의 경쟁 상대가 아니다"라며 "중요한 것은 어떤 모델을 사용하느냐보다 고객이 원하는 업무를 얼마나 저렴한 비용으로 처리하느냐"라고 주장했다.

다만 비용 절감 과정에서 AI의 답변 품질이 떨어질 가능성은 있다. 권 랩장은 “질문 난이도에 따라 적합한 모델을 선택하는 작업은 어렵다”며 “이를 해결하기 위해 동일한 질문에 대한 대형 모델과 소형 모델의 답변을 비교하고 있다”고 설명했다. 이어 “이용자 질문 패턴을 축적해 모델 선택의 정확도를 높이는 연구도 진행하고 있다”고 덧붙였다.

연구 성과는 실제 서비스와 신규 사업에도 활용할 계획이다. LG유플러스는 카카오와 협력하는 '모두의 AI'에서 모델 서빙 영역을 담당하며 관련 최적화 기술을 적용할 방침이다. 2027년부터는 협력사 제휴와 자체 구축을 통한 토큰 관련 사업을 추진할 계획이다. 기업 고객의 AI 운영에 필요한 총소유비용(TCO)을 낮추는 것이 사업의 핵심이다.

한편 LG유플러스는 내년부터 토큰 최적화 기술을 외부 고객에게 제공하는 사업도 추진할 계획이다. 협력사와의 제휴 및 자체 구축을 병행해 기업 고객의 AI 운영비를 낮추는 서비스를 제공한다는 구상이다. 김현민 LG유플러스 기업AI사업담당 소버린클라우드사업팀 팀장은 "내년에 토큰 사업을 시작하려고 한다"며 "협력사들과 함께하는 제휴 사업 방식과 직접 구축하는 방식을 통해 토큰 원가 경쟁력을 확보하고 고객의 전체 AI 사용 비용을 줄이는 사업을 추진 중"이라고 밝혔다.