[딜사이트 최령 기자] 네이버가 인공지능(AI)을 접목한 실감형 영상 기술과 확장현실(XR) 콘텐츠 생태계 확장에 본격 착수한다. 

네이버는 지난 16일 경기도 성남시 본사에서 '이머시브 미디어 플랫폼(Immersive Media Platform) 테크 포럼'을 열고 영상 콘텐츠 제작과 소비, 스트리밍 전반에 AI를 적용한 '미디어 AI' 전략과 버추얼 콘텐츠를 위한 XR 플랫폼 구축 계획을 공개했다.

네이버는 영상 기술 고도화를 통해 사용자의 몰입 경험을 강화하는 한편 K팝·라이브 커머스·아바타 방송 등 XR 특화 콘텐츠 기반의 서비스 확장을 예고했다. 네이버는 이날 영상 AI, XR 스튜디오, 버추얼 스트리밍으로 구성된 '비전 테크 트라이앵글' 전략을 중심으로 실감형 콘텐츠 제작 환경 고도화 방안을 제시했다.

네이버는 영상 콘텐츠의 이해부터 요약, 추천까지 전 과정을 AI로 자동화하는 '미디어 AI 2025' 전략을 공개했다. 핵심 기술은 ▲AI 인코딩(AIEncode) ▲MuAI(영상 이해형 AI) ▲오토 챕터 및 하이라이트 추출 ▲오토클립AI(텍스트 기반 영상 생성) 등이다.

김성호 네이버 이머시브 미디어 플랫폼 리더는 "리뷰나 블로그처럼 텍스트로만 존재했던 콘텐츠를 AI가 자동으로 영상화해 사용자에게 더 직관적이고 몰입감 있는 정보를 제공할 수 있도록 하고 있다"며 "AI 인코더는 구간별로 최적 압축률을 판단해 영상 품질은 유지하면서도 트래픽을 최대 35%까지 절감할 수 있다"고 설명했다.

MuAi는 영상의 감정, 분위기, 장소, 액티비티 등 세부 문맥을 분석해 자동 태깅하고, 이를 통해 추천 알고리즘을 고도화한다. 특히 10시간이 넘는 스트리밍도 자동으로 요약해 하이라이트나 챕터 형태로 제공할 수 있도록 구성된다.

김 리더는 "AI가 콘텐츠의 장르별 특성을 이해해 편집 스타일을 달리 적용할 수 있다"며 "텍스트, 이미지, 영상 등 복합 콘텐츠를 읽고 전체 길이와 컷 구성, 음성, 전환 효과까지 판단하는 편집자 수준의 판단을 AI가 수행한다"고 설명했다. 이 과정에는 하이퍼클로바를 포함한 다양한 사전학습 모델과 오픈소스, 외부 API 기반 AI가 조합돼 사용된다. 네이버는 역할별 모델을 유연하게 혼합하고 성능 벤치마킹을 통해 실시간 교체하는 구조를 운영하고 있다.

수익화 전략에 대해 그는 "미디어 AI는 개별 매출 목표보다 네이버 서비스 전반의 리텐션과 체류시간, 재생수 향상을 통해 DA 광고 수익에 기여하는 인프라적 기술"이라고 말했다.

AI 기반 영상 기술은 가상 제작 환경인 '비전 스테이지'와 '모션 스테이지'에서 실제 구현되고 있다. '비전 스테이지'는 초현실적 가상 배경을 기반으로 커머스·드라마·예능 등 다양한 콘텐츠를 제작할 수 있는 공간이다. 실시간 렌더링 기술을 활용해 연출자가 태블릿으로 배경과 카메라 각도 등을 직접 조정할 수 있으며 콘텐츠 제작의 약 80%가 AI 기반 파이프라인에서 이뤄진다.

오한기 리얼타임 엔진 Studio 리더는 "콘텐츠 제작 전 과정을 AI 기반으로 전환하고 있다. 배경과 동선은 물론 아바타의 움직임이나 노래 음정까지 AI가 보정해준다"고 설명했다.

'모션 스테이지'는 치지직 등 버추얼 스트리머를 위한 공간으로 고품질 3D 콘텐츠 제작과 실시간 방송이 가능한 스튜디오다. 지난 3월 정식 오픈 후 5월부터는 외부 대상의 렌탈도 시작했다. 오 리더는 "첫 콘텐츠 공개 이후 스트리머의 협업 신청이 10배 이상 증가했다"며 "방송 장비 없이도 고퀄리티 콘텐츠 제작이 가능한 구조가 주효했다"고 말했다.

올 하반기에는 K팝·버추얼 아티스트·게임 콘텐츠를 중심으로 한 안드로이드 XR 기반 자체 플랫폼도 출시될 예정이다. 오 리더는 "기존 빅테크가 하드웨어 위주 전략을 취한다면 네이버는 콘텐츠 경험의 축적을 기반으로 XR에 진입하고 있다"고 강조했다.

송지철 PRISM Studio 리더는 글로벌 200여 개국에서 사용 중인 모바일 영상 송출 앱 '프리즘 라이브 스튜디오'의 전략을 공유했다. 해당 앱은 하루 약 13만건의 라이브 방송이 생성되며 해외 사용자 비중은 약 90%에 달한다.

프리즘 앱은 스마트폰 하나로도 3D 아바타 방송이 가능한 국내 유일의 모바일 송출 도구다. 송 리더는 "VRM 기반 아바타를 PC에서 쓰던 그대로 모바일에 적용할 수 있어, 야외에서도 게릴라 방송이 가능하다"고 말했다.

프리즘 앱은 클로바 음성인식 기술을 활용해 자동 자막, 스크립트 추출, 챕터 구분 등 AI 편집 기능도 제공한다. 향후에는 음성 명령 기반 AI 프로듀서 기능도 검토 중이다. 하반기에는 소니의 모션캡처 장비와 연동해 스트리머의 실시간 동작을 반영하는 기능과, 공간 제약 없이 아바타들이 한 화면에 함께 등장하는 '아바타 합방' 기능도 출시할 예정이다.

향후 자체 아바타 IP를 통한 콘텐츠 사업 확장 가능성도 언급됐다. 김성호 리더는 "현재는 외부 스트리머와의 협업 콘텐츠를 고도화하는 데 집중하고 있지만 일본처럼 자체 IP 기반 아바타 사업도 충분히 검토할 수 있다"며 "향후 팬덤·라이브·머천다이징까지 연결된 버추얼 캐릭터 중심의 사업 모델도 가능할 것"이라고 말했다.