[샌프란시스코 산호세 = 딜사이트 김민기 기자] "모바일 어플리케이션(AP)인 스냅드래곤, 엑시노스의 신경망처리장치(NPU) 칩셋 구조는 각각 다르지만 설치 초기 단계부터 수년 전부터 같이 협의해서 만들었기 때문에 성능은 모두 동일하다."

김영집 삼성전자 MX사업부 Language(언어) 인공지능(AI) 팀장 부사장은 18일(현지시간) 미국 실리콘밸리 마운틴뷰에 위치한 삼성리서치아메리카(SRA)에서 가진 국내 기자 간담회에서 이 같이 말했다.

김 부사장은 이번 삼성전자의 갤럭시 S24 신제품에 최초로 들어간 다양한 AI기능을 개발하고 기획한 AI 총괄 책임자다. 이번 갤럭시 S24에는 2가지 AP가 탑재됐다. 갤럭시 S24+와 갤럭시 S24에는 삼성이 자체 개발한 엑시노스 2400, 최고급 사양인 S24 울트라에는 퀄컴의 스냅드래곤8 3세대가 들어갔다.

AP는 스마트폰의 '두뇌' 역할을 하는 반도체다. 최초 AI 기술이 들어간 갤럭시S24인 만큼 AP에 따라 성능 차이 여부가 어떤지가 소비자들의 주요 관심사다. 

이에 대해 김 부사장은 "단순히 기존에 만들어진 AP를 사오는 것이 아니라 설계 초기 단계부터 사양과 주요 부분에 대해 협의해서 진행하기 때문에 AI 구동에는 2가지 칩 모두 전혀 문제가 없다"고 강조했다.

그는 이어 "두 AP가 서로 구조가 다르기 때문에 각각 옵티마이즈(optimize) 과정을 따로 진행했다"면서 "삼성전자의 AI인 가우스 모델 뿐 아니라 구글의 제미나이도 마찬가지로 각각 최적화 과정을 거쳤다"고 말했다.

이번에 삼성전자가 선보인 '서클 투 서치' 기능은 구글의 스마트폰인 픽셀 8, 픽셀 8 프로 등에도 들어간다. 삼성전자 스마트폰과 구글폰에 들어가는 기술 모두 각 기기에 따라 최적화를 별도로 진행했다는 설명이다.

특히 서클 투 서치의 경우 구글과 삼성이 오랫동안 협력해 만들었다고 밝혔다. 김 부사장은 "오랫동안 AI기술을 이용해 어떠한 인터페이스로 구현해보자고 서로 이야기했고, 실제 테스트와 평가도 양사가 같이 했다"고 설명했다.

이번 AI를 개발하면서 삼성전자가 가장 핵심을 둔 것이 '고객 경험'이라고 강조했다. 단순히 챗GPT 기능을 하나 추가하는 것보다 실생활에서 쓸 수 있는 AI를 고민하다 보니 문자와 음성에서 AI 기술을 적용해보자는 생각부터 시작하게 됐다는 이야기다. 

그는 "AI가 사회적 키워드가 된 것이 지난해였는데 삼성이 AI를 개발하기 시작한 것은 그보다 훨씬 오래 전"이라면서 "오픈 마인드를 가지고 자체 개발할 뿐 아니라 여러 파트너들과 같이 좋은 서비스와 기능을 제공하는 것을 목표로 이번에 구글과 같이 AI 기능을 개발했다"고 밝혔다.

삼성이 또 하나 신경 쓴 것은 개인 정보보호다. 대규모 언어 모델(LLM, Large Language Model) 솔루션을 사용하면 나의 개인 정보가 클라우드 서버에 저장되는 것이 아니냐라는 소비자들의 우려를 없애는 것이 중요했다. 

김 부사장은 "서버에서 동작하는 AI를 내 손 안으로 가져오는 대신 개인 정보 유출에 대한 우려도 없고 안전한 환경에서 사용할 수 있게 만들어보자고 생각했다"며 "가장 편하게 쓸 수 있는 기능이 음성 관련 기능이었다"고 말했다.

기술적인 관점에서 가장 눈에 띄는 것은 통상 클라우드 서버를 통해 운영되는 엄청난 사이즈의 대규모 언어모델을 스마트폰이라는 작은 디바이스에 온디바이스AI 형태로 압축해 최적화시켰다는 점이다.

삼성은 이를 위해 기존 음성인식 기술과는 다르게 아예 처음부터 AI를 별도로 설계했다. 언어별로 설계를 한 것이 아니라 애초에 대형 언어 모델을 만들어 모든 가능한 스피치를 트레이닝 했고 AI에 스피치에 대한 이해를 학습 시켰다.

이후 대형 모델에 한국어, 영어, 스페인어 등 특정 언어별로 특화된 데이터를 통해 '파인 튜닝'해서 각 언어별로 성능을 극도로 끌어올릴 수 있는 모델을 만들었다. 모든 것을 할 수 있는 대형 모델을 만든 후 불필요한 기능을 가지치기 해서 사이즈를 줄이고 최적화 한 것이다. 번역 후 나오는 음성 역시 기계어가 아니라 자연스러운 구어체로 나올 수 있도록 하기 위해 인간의 음성을 만들어 내는 AI 모델을 새로 설계했다.

김 부사장은 "네트워크가 없는 환경에서도 안전하게 쓸 수 있게 대형 모델을 온디바이스로 압축해서 최적화 시키는 데 집중했다"며 "파라미터 32비트의 큰 모델을 3~4비트 사이즈로 줄였고 성능 손실이 나지 않고 빠른 속도로 동작 하도록 최적의 알고리즘을 만들었다"고 전했다.

삼성전자의 궁극적인 AI기술은 장기적으로 사용자 경험을 발전시켜 개개인에 맞춤화 된 AI폰을 만드는 것이다. 김 부사장은 "'퍼스널라이즈(Personalize)'가 되는 갤럭시S를 통해 향후 개인을 넘어 기기와 기기와의 연결이 되고 내가 사용한 기기들이 나만을 위한 동작을 하게 만드는 것이 목표"라면서 "갤럭시 AI의 에코시스템을 만들 것"이라고 밝혔다.

한편 실시간 통역기능은 서버와 연결되지 않고 자체 AI로 처리되기 때문에 AI가 학습을 하거나 배우지는 않는다. 다만 신조어나 새로운 관용어구 같은 경우도 알아들을 수 있게 지속적으로 업데이트하거나 일부 기능을 다운로드 받아서 쓸 수 있도록 할 생각이다.

김 부사장은 "AI 장점은 새로운 것을 학습해도 모델 안에서 배워서 알게 되는 것이지 용량이 증가하거나 사이즈가 늘어나지 않는다는 점"이라면서 "가능한 많은 언어를 추가로 개발해 지원하는 언어의 수도 늘어날 것이고 AI기능도 굉장히 많이 개발되고 있다"고 전했다.