[딜사이트 최령 기자] 영국 인공지능(AI) 오디오 연구 및 개발 전문기업 일레븐랩스(ElevenLabs)가 한국 지사 설립을 공식화하며 아시아 시장 공략에 속도를 내고 있다. 마티 스타니스제프스키 최고경영자(CEO)와 홍상원 한국지사장은 21일 서울에서 기자간담회를 열고 한국어 기반 음성 생성 기술과 사업 전략, 윤리 체계 등을 상세히 공개했다. 일레븐랩스가 한국에 지사를 둔 것은 미국·일본에 이어 세 번째로, 그만큼 기대감이 크다는 의미로 해석된다.

일레븐랩스는 음성 AI 기반 크리에이티브 기업으로 전 세계 5000만명 이상의 월간 활성 사용자(MAU)를 보유하고 있으며 기업가치는 66억달러(약 9조7264억원)에 이른다. 현재 70개 이상 언어(더빙 기준 32개)와 7000개 이상의 보이스를 지원하고 있으며 크래프톤·네이버·이스트소프트 등 국내 고객사는 물론 포춘 500대 기업의 75%가 일레븐랩스 기술을 활용하고 있다.

스타니스제프스키 CEO는 "보이스 AI는 사람과 사람이 대화하듯 자연스러운 인터페이스를 만드는 기술"이라며 "한국어 모델은 억양·강세·감정 표현·속도 등을 세밀하게 조정할 수 있도록 설계했다"고 말했다. 일레븐랩스는 한국어 텍스트 기반 합성음(TTS)을 고도화해 사투리를 포함한 400여종의 한국어 음성을 구축했으며 음성인식(STT) 모델은 오인식률(WER) 10% 수준을 확보했다고 밝혔다.

기술 플랫폼 구조도 함께 소개했다. 일레븐랩스의 기반 모델은 음성 합성·오디오·보이스 컨트롤·인간 수준 상호작용 연구를 바탕으로 구축됐으며 누구나 활용할 수 있도록 API 형태로 제공하는 'API 파운데이션', 창작 협업을 위한 '크리에이티브 플랫폼', 실시간 음성과 추론을 결합한 'AI 에이전트 플랫폼'으로 구성돼 있다. 일레븐랩스는 이 세 가지 플랫폼을 통해 더빙·콘텐츠 제작·상담 자동화 등 다양한 서비스 워크플로우를 통합 지원한다는 설명이다.

회사 측은 K-콘텐츠 확산과 함께 다국어 더빙 수요가 빠르게 증가하고 있다고 강조했다. 홍 지사장은 "기존 더빙 방식은 2주 이상 걸렸지만 AI를 활용하면 3일 만에 가능하고 비용은 최대 95% 절감된다"며 "국내외 스트리밍·게임 제작사들과 이미 다국어 더빙 파일럿을 진행 중"이라고 말했다. 일레븐랩스는 국내에서 이미 크래프톤과 네이버벤처스 등을 고객사로 확보한 상태다.

컨택센터 분야에서도 수요가 빠르게 늘고 있다. 홍 지사장은 "AI 상담 모델의 응답 딜레이가 0.5초 미만으로 떨어지면서 기존 챗봇 대비 자연스러움이 크게 개선됐다"며 "한국 금융·이커머스 기업 파일럿이 늘고 있고 연내 레퍼런스 확보가 목표"라고 말했다. 고객 발화의 감정 변화를 자동 분석해 상담 스크립트를 실시간 조정하는 기술도 개발 중이다.

윤리·보안 체계도 강화하고 있다. 일레븐랩스는 ▲본인 동의 기반 인증 ▲생성 음성 탐지·추적 ▲창작자 정당 보상 체계로 구성된 '3C 프레임워크'를 도입하고 있다. 생성 음성 탐지 정확도는 99.5%이며 C2PA 기반 콘텐츠 인증, 스마트 계약 기반 사용 범위 관리, 실시간 악용 차단 체계 등을 적용해 딥페이크·저작권 문제를 최소화했다고 설명했다. 스타니스제프스키 CEO는 "AI 음성이 사회적 혼란을 일으키지 않도록 기술적 안전장치를 지속 강화할 것"이라고 말했다.

일레븐랩스는 한국을 아시아 전략 거점으로 삼겠다는 목표도 밝혔다. 홍 지사장은 "IDC와 인베스트코리아에 따르면 국내 AI 시장은 2025년 33조~43조원에서 46조원 수준으로 성장할 전망이며 이 중 보이스 AI 시장은 최소 3400억원 규모로 추산된다"고 말했다. 이어 "기업의 65.1%, 근로자의 63.5%가 이미 생성형 AI를 활용하고 있고 이는 글로벌 평균의 두 배 수준"이라며 "기술 채택 속도만 보면 한국은 세계에서 가장 빠른 시장"이라고 평가했다.

그는 한국을 주요 거점으로 선택한 이유로 5G·모바일·광케이블 등 세계적 수준의 인프라를 꼽았다. 홍 지사장은 "정부의 1조1000억원 AI 투자까지 더해져 대규모 음성 트래픽을 처리할 여건이 완비됐다"며 "K-콘텐츠, 게임, 교육, 금융 등 음성 기반 서비스가 폭넓게 자리 잡은 만큼 아시아 확장의 핵심 레퍼런스가 될 것"이라고 말했다.

일레븐랩스는 한국 시장에서 ▲K-콘텐츠 글로벌 더빙 ▲초저지연 음성 에이전트 기반 고객 경험 혁신을 가장 먼저 집중 공략할 방침이다. 새로운 TTS 'v3' 모델은 70개 이상 언어를 지원하며 감정·호흡·뉘앙스까지 재현할 수 있어 콘텐츠 현장에서 더빙 시간을 크게 단축할 수 있다는 설명이다. 홍 지사장은 "한 K-드라마는 10개 언어 더빙을 기존 2주에서 3일로 줄였고 비용은 최대 95%, 시간은 90% 단축됐다"고 말했다. 초저지연 음성 상담 모델 역시 글로벌 이커머스 기업에서 운영비 40% 절감·고객 만족도 35% 향상을 기록한 사례가 있다고 설명했다.

일레븐랩스 기술은 국내에서도 빠르게 확산 중이다. MBC C&I는 일레븐랩스 음성 합성 기술을 바탕으로 제작한 콘텐츠로 국내외 AI 영화제를 석권했고 이스트소프트 '페르소닷AI'는 더빙 엔진으로 일레븐랩스를 채택해 출시 1년 만에 20만 가입자를 확보했다. 회의록 서비스 '티로'도 일레븐랩스 STT 기술을 기반으로 성장세를 보이고 있다.

스타니스제프스키 CEO는 "첫 해외 시장 조사 당시 가장 먼저 방문한 나라가 한국이었다"며 "3년 만에 한국어 모델과 현지 조직을 모두 갖추게 됐고 앞으로 한국을 아시아 보이스 AI 허브로 만들 것"이라고 말했다. 홍 지사장 역시 "전담팀과 전략적 투자자(SI) 파트너 협력을 확대해 한국 내 적용 사례를 빠르게 쌓겠다"며 "한국에서의 성공을 아시아 전체로 확장하겠다"고 밝혔다.