[딜사이트 변한석 기자] KT가 인공지능(AI) 모델을 실제 구동 환경과 업무 목적에 맞춰 경량화하고 있다. 연산 자원이 제한된 환경에서 기존 모델을 압축해 크기를 줄이고 기업용 AI는 필요한 성능을 유지하면서 국산 신경망처리장치(NPU)와 서버까지 함께 구성하는 전략이다. 업계에서는 온프레미스 환경에서 모델이 커질수록 유지비 부담이 커지는 만큼 기업용 AI의 필요한 성능은 유지하면서 구축 비용을 낮추는 방향이 중요하다고 분석한다.

정보통신기술(ICT) 업계에 따르면 KT는 자체 AI 모델 ‘믿:음 K’를 실제 활용 목적과 구동 환경을 고려해 서로 다른 규모로 개발해왔다. 지난해 공개된 ‘믿:음 K 2.0’은 115억개(11.5B) ‘Base’와 23억개(2.3B) ‘Mini’로 구성됐다. 올해 공개된 ‘믿:음 K 2.5 Pro’는 320억개(32B) 규모로 기업 업무에 필요한 지식과 추론 성능을 강화했다.

KT는 연산 자원이 제한된 환경에서는 모델을 줄이고 기업용 AI에서는 성능과 구축 비용을 모두 고려하는 전략을 택했다. ‘믿:음 K 2.0 Mini’는 11.5B 모델을 프루닝(가지치기)과 지식 증류를 통해 2.3B까지 줄여 적은 연산 자원으로도 구동할 수 있도록 했다. 기업용으로 개발한 ‘믿:음 K 2.5 Pro’는 32B 규모다. 무조건 작은 모델을 쓰기보다 필요한 성능을 확보하면서 인프라 부담을 낮추는 데 초점을 맞췄다는 분석이다.

기업용 AI는 온프레미스 환경에 직접 구축하는 경우가 많아 모델 규모가 비용과 직결된다. 모델이 커질수록 구동에 필요한 GPU나 NPU 수량이 늘어나고 유지·관리 비용도 함께 증가한다. 이에 따라 산업 현장에서는 초거대 모델보단 실제 업무에 필요한 성능을 유지하면서 연산 부담을 낮춘 중소형 모델을 활용하는 경우가 많다.

한 업계 관계자는 “모델 규모가 커지면 구동에 필요한 GPU나 NPU 수량이 늘어나고 이후 유지·관리 비용도 커질 수밖에 없다”며 “온프레미스로 업무 자동화나 AI 전환을 추진할 때는 실제 필요한 업무를 처리할 수 있는 적정 규모의 모델이 많이 활용된다”고 설명했다.

KT도 이러한 기업 수요에 맞춰 모델 규모와 인프라를 함께 구성하는 전략을 쓰고 있다. 초거대 모델 경쟁보다 기업이 실제 도입할 수 있는 수준으로 성능과 비용을 맞추고 NPU·서버와 결합한 구축형 상품으로 제공한다는 전략이다.

KT는 실제로 지난달 19일 자체 AI 모델과 리벨리온의 국산 신경망처리장치(NPU), 운영 소프트웨어를 하나의 서버에 담은 ‘KT NPU LLM 스테이션’을 출시했다. 기업이 AI 인프라를 서버 한 대로 내부에서 사용할 수 있도록 했다. 외부 클라우드를 이용하기 어려운 기업과 공공기관을 겨냥했다는 풀이다.

KT 관계자는 “AI 연산과 데이터를 고객사 내부망에서 처리해 보안이 중요한 분야에서도 활용할 수 있다”며 “사내 문서 기반인 검색증강생성(RAG) 등 기업 업무에 필요한 기능도 제공한다”고 밝혔다.

KT는 보안과 규제가 중요한 기업·공공 분야를 겨냥해 자체 AI 모델을 구축형 사업으로 연결하고 있다. 회사의 AI 개발 방향도 이와 맞닿아 있다. 박재형 KT AX미래기술원 프론티어AI랩장은 지난 5월 인터뷰에서 이를 “공공 환경에 최적화된 신뢰 가능한 AI를 확보하기 위한 전략적 투자”라고 설명했다.

경량화 경쟁력은 단순히 작은 모델을 만드는 것만으로 결정되지는 않는다. 실제 사용처에 맞게 성능을 특화하는 능력까지 경쟁력이다. 업계 관계자는 “경량모델은 성능이 검증된 상위 모델을 기반으로 성능 손실을 최소화하면서 크기를 줄이는 과정이 중요하다”며 “실제 적용할 산업과 업무에 맞는 데이터를 활용해 파인튜닝하는 역량도 필요하다”고 설명했다.

한편 KT는 NPU LLM 스테이션을 기업 업무 자동화로 확대할 계획이다. 향후 회의록 작성과 코딩 지원, 업무 자동화를 수행하는 자체 AI 에이전트를 순차적으로 탑재하고 전문 개발사와 협력해 고객별 구축 사업으로 확대한다. 장기적으로는 피지컬 AI가 현장에서 데이터를 빠르게 처리할 수 있도록 엣지 데이터센터까지 적용 범위를 넓힐 예정이다.