[딜사이트 최령 기자] SK텔레콤이 엔비디아, 리벨리온과 손잡고 한국형 소버린 인공지능(AI) 인프라에 쓰일 그래픽처리장치(GPU)·신경망처리장치(NPU) 통합 시스템을 개발한다. 엔비디아 GPU와 리벨리온 NPU가 AI 추론 작업을 나눠 처리하는 방식이 데이터센터의 처리 속도와 전력 효율을 얼마나 높일 수 있는지 검증할 계획이다.

SK텔레콤은 9일 서울 코엑스에서 열린 ‘NVIDIA AI Day Seoul’에서 엔비디아, 리벨리온과 GPU·NPU 통합 시스템 개발·검증을 위한 업무협약(MOU)을 체결했다고 밝혔다.

3사는 엔비디아의 고속 연결 기술인 ‘NVLink Fusion’을 활용해 리벨리온이 개발 중인 NPU ‘Rebel R200’을 엔비디아 플랫폼에 연결할 계획이다. NVLink Fusion은 엔비디아 GPU 간 고속 데이터 전송에 쓰이는 ‘NVLink’를 다른 회사의 AI 반도체에도 적용할 수 있도록 확장한 기술이다. 3사는 여기에 엔비디아의 서버 설계 규격인 ‘MGX’를 적용해 서버 랙 단위의 GPU·NPU 통합 시스템을 구축할 예정이다.

통합 시스템에는 AI가 질문을 읽고 답변을 생성하는 과정을 두 칩에 나눠 맡기는 ‘분리형 추론’ 방식을 적용한다. 질문 전체를 한꺼번에 분석하는 ‘프리필(Prefill)’ 단계는 계산량이 많아 엔비디아 GPU가 맡는다. 이어 답변을 토큰 단위로 생성하는 ‘디코드(Decode)’ 단계는 리벨리온 NPU가 담당한다. 이 단계에서는 토큰을 하나 생성할 때마다 필요한 데이터를 메모리에서 얼마나 빨리 읽어 오느냐가 응답 속도에 영향을 준다.

SK텔레콤은 자사 AI 데이터센터에서 통합 시스템의 성능과 안정성을 검증하고 실제 서비스에 적용할 수 있을지 살펴볼 예정이다. 장기적으로는 독자 AI 모델 ‘A.X K2’와 대국민 서비스 ‘모두의 AI’를 연결해 인프라부터 모델, 서비스까지 아우르는 소버린 AI를 구현한다는 구상이다. 3사는 이번 협력을 통해 국내 공공기관과 기업이 소버린 AI 서비스를 운영할 수 있는 기반을 마련할 방침이다.

정석근 SK텔레콤 최고기술책임자(CTO) 겸 AI CIC장은 “이번 협력은 엔비디아 GPU와 리벨리온 NPU의 강점을 결합해 추론 성능과 전력 효율을 높일 수 있는 한국형 소버린 AI 인프라의 가능성을 검증하는 데 의미가 있다”고 말했다.