[뉴욕=딜사이트 김주연 기자] "멀티모달(Multimodal)과 사용자의 의도를 이해할 수 있는 능력을 갖춘 인공지능(AI)은 결국 기기나 앱의 경계를 넘나들며 사용자 일상의 모든 순간에 공기처럼 녹아 들어 유기적으로 동작하는 앰비언트 인텔리전스(Ambient intelligence)로 진화할 것입니다." 

박지선 삼성전자 MX사업부 랭귀지(Language) AI팀 부사장은 9일(현지시각) 미국 뉴욕 브루클린 더윌리엄베일 호텔에서 열린 기자간담회에서 삼성전자의 인공지능(AI) 비전을 제시하며 이같이 말했다.

박 부사장은 "갤럭시 스마트폰은 물론 워치와 링, XR 기기 등 다양한 가전과 TV에서도 사용자가 완전히 개인화된 AI 경험을 제공받을 수 있게 될 것"이라고 했다.

박 부사장에 따르면 앰비언트 인텔리전스란 기기의 개인화를 넘어 사용자의 일상에 자연스럽게 녹아들고 능동적으로 작동하는 방식을 뜻한다. 이를 구현하기 위한 기술이 바로 멀티모달이다. 멀티모달이란  텍스트뿐 아니라 이미지, 음성, 비디오 등 다양한 형태의 데이터를 동시에 이해하고 처리하는 AI 기술이다. 

삼성전자가 이번에 출시한 갤럭시Z 폴드7과 플립7에 탑재된 구글의 '제미나이 라이브(Gemini Live)'가 멀티모달 AI를 구현한 예시라고 볼 수 있다. 사용자는 텍스트뿐 아니라 카메라, 현재 스크린을 통해 보는 화면을 AI와 공유하면서 음성으로 AI와 소통해 필요한 정보를 얻을 수 있다.

박 부사장은 "대부분 타이핑을 통해 AI와 소통하고 있다. 이에 더해 내가 처한 상황과 주변 환경을 공유하고 대화를 통해 소통하는 방식이 필요하다고 생각한다. 이를 통해 사용자가 진정한 AI 경험을 할 수 있다"며 "시각, 청각, 촉각 등 다양한 감각을 종합적으로 활용해 사람과 동일한 방식으로 정보를 받아들이고 상호작용하는 AI가 바로 멀티모달 AI"라고 말했다.

멀티모달 AI를 활용하면 사용자에게 개인화된 AI 경험을 제공할 수 있다고도 했다. AI가 이용자의 주변 상황을 파악하는 데 그치지 않고 사용자의 의도까지도 예측할 수 있다는 설명이다.

삼성전자와 런던대학교 골든스미스 경영 연구소의 공동 연구 결과에 따르면 약 45%의 AI 사용자가 타이핑만큼이나 음성 명령을 자주 활용하는 것으로 나타났다. 스마트폰이 사용자의 사용 패턴 등을 활용해 별도 명령 없이도 필요한 것을 알아서 해주길 바란다는 응답도 60%나 나왔다.

이에 삼성전자는 사용자의 행동 패턴을 분석한 나우 브리프(Now Brief) 기능을 제공하고 있다. 자동화된 루틴을 설정해 줄 뿐 아니라 헬스 정보, 여행 계획, 일정 등을 토대로 사용자에게 도움이 될 만한 액션을 추천한다.

박 부사장은 "AI의 완성은 맥락을 이해하는 것까지 가능해야 한다고 생각한다. 음성, 시각, 텍스트 등 다양한 감각을 종합적으로 이해하고 사용자의 데이터 입력(input) 없이도 사용자를 이해할 수 있어야 한다. 과거의 데이터 학습을 넘어 사람의 니즈까지 예측하는 방향으로 나아갈 필요가 있다"고 말했다.

박 부사장은 삼성전자의 하드웨어 기술이 멀티모달 AI를 구현하는 데 강점이 있다고 강조했다.

박 부사장은 "멀티모달 AI의 경우 여러 형태의 인풋이 필요하다. 예를 들어 시각을 활용하려면 카메라가 좋아야 한다. 삼성전자는 하드웨어 기술에서 강점이 있다. 이를 고도화하는 데 소홀히 하지 않겠다"고 했다. 이어 "멀티모달 AI를 적용한 에이전트가 실제 액션으로 어떻게 연결될 수 있을지에 대한 고민이 있다. 이를 위해선 시스템 통합이 필요한데, AI 플랫폼으로서의 확장성도 확보하고자 한다"고 했다.

음성이나 시각을 인지할 수 있는 마이크나 카메라가 없는 갤럭시 링의 경우 움직임을 활용한 방식으로도 발전할 수 있을 것으로 보인다. 박 부사장은 "링의 경우 당장 인풋을 받을 수 있는 방식은 없다. 이에 예를 들어 움직임 인식 등 다양한 방식으로 확장될 수 있을 것"이라며 "핀 형태의 디바이스 등 다양한 형태도 고민하고 시도하는 것에도 긍정적"이라고 설명했다.