[딜사이트 이세연 기자] "최적의 PIM 솔루션은 (LLM 추론 과정에서) 연산 난이도가 높은 '어텐션 매커니즘'을 SK하이닉스의 PIM 시스템으로 처리하고, 프리필(Prefill)과 디코드(Decode) 등 나머지 연산은 xPU나 GPU와 같은 기존 가속기에 맡기는 방식이다. 역할을 나누면 성능과 효율성을 대폭 높일 수 있고, AI 서비스 비용은 낮출 수 있다."

임의철 SK하이닉스 부사장은 19일 서울 강남 코엑스에서 열린 '2025년 제2회 상생포럼 딥테크 컨버전스 네트워킹 데이' 기조연설에서 자사 PIM 솔루션에 대한 자신감을 드러냈다.

최근 LLM 기반 생성형 AI 모델의 사이즈가 급격히 커지면서 메모리 인텐시브(집약적) 성격이 한층 두드러지게 됐다. 특히 초거대 언어모델인 GPT-3만 해도 1750억개의 파라미터 가운데 90% 이상이 메모리 집약적인 특성을 지닌다. 문제는 프로세서의 발전 속도를 메모리가 따라가지 못하면서 연산 효율이 크게 떨어진다는 점이다.

여기에 이용자가 입력하는 토큰 수까지 늘어나면서 연산 부담은 더욱 커졌다. 임 부사장은 "최근에는 '리드 모델'처럼 단순히 답변만 내놓는 게 아니라, 내부적으로 사고 과정을 이어가는 구조가 많아지면서 출력되는 토큰의 규모 역시 급증하고 있다"고 말했다.

기존의 피드 포워드 네트워크(FFN)에서는 여러 이용자들의 리퀘스트가 동일한 가중치값을 공유할 수 있다. 따라서 데이터를 재사용할 수 있고, 메모리 의존도 역시 줄어든다. 반면 어텐션 매커니즘에서는 각 사용자의 입력 토큰이 달라 데이터를 공유하기 어렵다.

임 부사장은 "어텐션 매커니즘은 매번 메모리에서 데이터를 불러와 처리해야 하기 때문에 결국 메모리 집약적일 수밖에 없다"며 "결국 GPU만으로 처리하기 힘들고, PIM과 같이 새로운 솔루션이 필요하다"고 강조했다.

PIM은 메모리 내부에 있는 뱅크(데이터가 프로세서로 흘러가는 구역)마다 벡터 연산 기능을 추가해, 데이터 이동을 최소화하면서도 연산 속도를 크게 높인다. 최대 16배의 성능 향상과 함께 불필요한 전력 소모까지 줄인다는 게 회사 측 설명이다.

SK하이닉스가 구상하는 최적의 PIM 구조는 LLM 추론 과정에서 연산 난도가 가장 높은 어텐션 매커니즘을 전담하는 형태다. 성능과 효율성을 극대화하면서도 서비스 비용을 줄일 수 있다는 분석이다. 임 부사장은 "향후 개발 예정인 LPDDR6 PIM을 적용하면 어텐션 매커니즘은 PIM이 맡고, 프리필 등 나머지 연산은 기존 가속기와 HBM이 처리하는 구조가 가능해진다"고 설명했다.

한편 SK하이닉스는 지난 2022년 GDDR6 기반 PIM 생성형 AI 가속기 카드 'AiMX' 샘플을 통해 기술 가능성을 확인한 바 있다. 다음 달 열릴 쇼케이스에서는 PIM을 비롯한 다양한 솔루션을 공개해, 관람객들이 직접 프롬프트를 입력하고 결과물을 확인할 수 있는 체험 프로그램도 마련할 계획이다.