[딜사이트 변한석 기자] SK텔레콤이 초거대 인공지능(AI) 모델 자체를 줄이기보다 비전·음성 등 필요한 기능을 경량 파생모델로 나누는 경량화 전략을 쓰고 있다. 지식과 추론 능력은 6880억개(688B) 매개변수 규모의 ‘에이닷 엑스(A.X) K2’에 집중하고 이미지·영상·음성·소리를 처리하는 기능은 경량모델로 확장하는 투트랙 방식이다. 초거대 모델의 규모는 계속 키우면서 실제 활용 단계에서는 기능별 경량모델을 병행하는 ‘선택과 집중’ 이라는 풀이다.

정보통신기술(ICT) 업계에 따르면 SK텔레콤은 자체 AI 파운데이션 모델 A.X K2를 독자 AI 파운데이션 모델(독파모) 프로젝트의 중심 모델로 개발하고 있다. A.X K2는 지식과 추론 성능을 중심으로 평가받는 초거대 언어모델이다. 규모는 총 688B이다. 후속 A.X 모델은 조 단위 매개변수까지 확대하는 방안이 추진되고 있다.

SK텔레콤은 A.X K2를 지식과 추론을 담당하는 핵심 모델로 키우고 있다. 이미지·영상·음성 등 다른 형태의 정보를 처리하는 기능은 별도 경량모델로 개발한다. 초거대 모델의 성능 경쟁을 이어가는 동시에 실제 서비스에 활용할 멀티모달 역량은 상대적으로 작은 모델로 확보하는 ‘선택과 집중’ 전략이다.

SK텔레콤 관계자는 “독자 AI 파운데이션 모델 프로젝트(독파모)에서는 초거대 모델인 A.X K2를 통해 지식과 추론 능력을 중심으로 평가받는다”며 “비전·음성 영역은 이를 처리하는 인코더·디코더 기술이 별도로 필요하다”고 설명했다.

이어 “메인 모델의 성능뿐 아니라 비전과 음성 영역에서도 기술력을 확보하고 있다는 걸 보여주는 게 중요하다”며 “실제 활용 가능한 수준의 작은 모델을 함께 공개했다”고 덧붙였다.

실제로 SK텔레콤은 이미지와 음성 등 언어 이외 영역에서는 별도 경량모델을 개발했다. 모델에는 이미지와 텍스트를 함께 처리하는 ‘A.X K2 VL Light-Preview’, 오디오를 처리하는 ‘A.X K2 ALM’, 음성 처리를 위한 ‘A.X K2 Raon-Speech’ 3종이 있다. 초거대 언어모델은 AI의 뇌라고 할 수 있다면 비전·음성 모델은 외부 정보를 받아들이고 전달하는 눈·귀·입에 해당한다는 해석이다.

통신 3사는 각각 대형·경량 모델을 병행하고 있지만 접근 방식에는 차이가 있다. SK텔레콤은 초거대 모델과 기능별 경량모델의 역할을 뚜렷하게 나눠 가져가는 반면 KT는 11.5B 모델을 압축·경량화해 2.3B ‘Mini’로 줄이는 방식을 택했다. LG유플러스는 엑사원(EXAONE) 기반 모델을 스마트폰의 신경망처리장치(NPU)에서 구동할 수 있도록 최적화하는 전략을 세웠다. KT는 모델 자체 축소, LG유플러스는 단말 구동 효율화에 상대적으로 무게를 뒀다는 분석이다.

SK텔레콤은 별도 소형모델을 만드는 동시에 초거대 모델의 구동 부담도 줄이고 있다. A.X K2는 전문가혼합(MoE) 구조를 활용해 전체 688B 가운데 추론 과정에서 약 33B 규모의 매개변수만 활성화한다. 모델 전체에 많은 지식을 담으면서도 요청마다 전체 매개변수를 모두 연산하지 않도록 하는 전략이다.

초거대 모델의 처리 부담을 줄이기 위한 기술도 함께 적용하고 있다. 긴 문맥 처리에는 SGA(Sparse Gated Attention)를 적용해 SK텔레콤 기준 12만 토큰 입력 환경에서 A.X K1보다 전체 토큰 처리량을 67.7% 높였다. 최근에는 A.X K2에 양자화를 적용해 최소 필요 메모리를 약 646GB에서 370GB로 43% 줄였다.

한 업계 관계자는 “초거대 모델과 소형 전문모델을 나누는 전략은 기능에 맞춰 모델을 최적화하고 필요한 모델만 활용할 수 있다는 게 장점”이라며 “모델이 여러 개로 나뉘는 만큼 각각의 결과를 연결하고 하나의 서비스로 통합하는 과정은 복잡해질 수 있다”고 말했다.