[딜사이트 이세연 기자] "AI가 고도화될수록 데이터 처리량을 늘려야 하는데, 단순히 HBM 적층수를 24단 이상씩 높이는 방식으로는 물리적 난제에 직면할 수 있습니다. 이에 향후 고대역폭메모리(HBM)는 '아파트 타운'과 같은 형태를 이룰 것으로 전망됩니다."

김정호 카이스트 교수는 27일 수원 컨벤션센터에서 열린 반도체 패키징 트렌드 포럼(SPTF)에서 이같이 말했다. AI 기술이 고도화될수록 프로세서가 발전되고, 메모리가 이 흐름을 따라가기 위해서는 새로운 방식을 강구해야 한다는 설명이다.

챗GPT 등 AI 모델과 질문을 주고받을 때 소요되는 토큰 수는 449개 수준이다. 최근 업그레이드된 모델은 스스로 추론하는 능력(reasoning capability)을 갖추면서 토큰 수가 최대 20배까지 증가할 수 있다. 이미 질의 과정에서 메모리 부하로 정보 처리 속도 저하가 체감되는 상황인데, 향후 데이터 처리량이 기하급수적으로 불어날 수 있다는 이야기다.

김 교수는 "향후 '에이전틱 AI' 시대로 접어들면 데이터 처리량이 지금보다 100배는 많아지고, '피지컬 AI' 단계까지 다다르면 1000배로 늘어날 것"이라고 전망했다. 이는 GPU에 탑재하는 HBM의 용량도 최대 1000배까지 확대될 수 있음을 시사한다. 향후 HBM의 발전 방향을 내다봐야 하는 이유다.

김 교수는 기존 HBM 구조를 탈피하는 대안을 제시했다. 단순히 수직으로 높이 적층하는 방식으로는 한계가 있으며, 이 과정에서 칩 두께가 20~30㎛(마이크로미터) 수준에 이르는 것만으로 기술적 난제가 크다는 것. 이에 따라 HBM이 수평으로도 확장되면서 CXL, PCle 등과 연결돼 '아파트 타운'과 같은 형태를 지니게 될 것이라는 분석이다.

그는 "아파트 타운 위로는 GPU가 올라서 스카이라운드처럼 연결되는 형태가 그려진다"며 "실리콘 인터포저 안에는 캐비티(cavity) 기술로 반도체를 집적하는 방식이 적용되고, 인터포저 크기에 한계가 따르면 그 아래에 유리 기판이 도입되기 시작할 것"이라고 강조했다.

이 밖에 낸드플래시를 수직으로 쌓아 올린 HBF(High Bandwidth Flash)도 차세대 기술로 부상하고 있다. 김 교수는 "HBM6 이후에는 HBF가 주목받게 될 것"이라며 "낸드는 D램과 달리 용량을 10배, 100배까지 확대할 수 있기 때문"이라고 말했다. 이어 "현재 샌디스크가 이 기술에 높은 관심을 보이고 있다"고 덧붙였다.

이와 함께 HBM6 이후로는 유리 기판의 도입도 거스를 수 없는 흐름으로 예상된다. 그는 이어 "HBM의 인터커넥션 수를 늘리려면 3D 적층이 불가피한데, 12인치 웨이퍼로는 물리적 한계가 존재한다"고 전했다.