[딜사이트 최령 기자] 서울 영등포구 ‘NHN 팩토리X 서울(NHN FactoryX Seoul)’ 6층 데이터홀에는 엔비디아 B200 그래픽처리장치(GPU) 서버가 탑재된 검은색 랙이 줄지어 늘어서 있었다. 랙 위쪽으로는 냉각수를 공급하는 배관이 이어졌고 서버와 네트워크 장비가 돌아가는 소리가 공간을 채웠다.

18일 기자가 직접 방문한 NHN클라우드 팩토리X 서울의 모습이다. NHN클라우드는 이곳에 엔비디아 B200 GPU 7656장을 구축해 대규모 AI 학습과 추론을 지원하고 있다. 국내 최초 AI 전용 데이터센터인 광주 국가 AI데이터센터를 구축·운영하며 쌓은 경험을 바탕으로 최신 GPU를 대규모 수랭 환경에서 운영하고 있다.

이일준 NHN클라우드 기술사업부장은 “광주 국가 AI데이터센터는 AI 인프라 자원이 들어올 것을 대비해 전기와 냉각 등을 모두 고려한 곳”이라며 “기존 데이터센터와 달리 AI 전용 데이터센터는 높은 전력과 발열을 감당할 수 있는 설계가 필요하다”고 설명했다.

팩토리X 서울이 입주한 데이터센터는 3층부터 10층까지 데이터홀로 구성돼 있다. NHN클라우드는 이 가운데 3~6층을 사용한다. 3~5층은 정부 AI 컴퓨팅 자원을 운영하는 공간이며 6층은 NHN클라우드가 자체 AI 클라우드 서비스와 GPU 인프라 운영에 활용한다. 데이터센터의 총 수전 규모는 20MW이며 NHN클라우드가 사용하는 IT로드는 13MW다.

3·4층에는 B200 GPU 4080장, 510노드 규모의 NIPA-CL1이 하나의 연산 환경으로 연결돼 있다. 5층에는 2040장, 255노드 규모의 NIPA-CL2가 구축됐다. 대규모 GPU를 고속 네트워크로 묶어 하나의 컴퓨팅 자원처럼 사용할 수 있도록 한 것이다. NIPA-CL1은 슈퍼컴퓨터 성능 평가인 TOP500에서 세계 20위를 기록했다.

이처럼 대규모 GPU를 하나의 클러스터로 가동하려면 연산 자원을 묶는 것뿐 아니라 고성능 장비에서 발생하는 열을 안정적으로 처리하는 것도 중요하다. B200처럼 연산 성능이 높은 GPU는 전력 소비와 발열량도 크다. 팩토리X 서울은 GPU와 중앙처리장치(CPU)에 콜드플레이트를 직접 접촉시켜 열을 제거하는 직접액체냉각(DLC) 방식을 적용했다.

데이터센터 기계실에서 만들어진 냉수는 배관을 따라 데이터홀의 냉각수분배장치(CDU)까지 전달된다. 이후 별도의 냉매가 서버 내부를 순환하면서 GPU와 CPU의 열을 빼낸다. GPU와 CPU에서 발생하는 열은 수랭으로 처리하고 네트워크 장비와 스토리지 등 나머지 장비는 공랭 방식으로 식히는 구조다.

이 부장은 “GPU 칩이 70도를 넘어가게 되면 스스로 발열을 통제하기 위해 연산량을 줄인다”며 “GPU 칩이 온전한 성능을 내기 위해서는 낮은 온도를 계속 유지해주는 냉각이 매우 중요하다”고 말했다. 팩토리X 서울에서는 GPU를 약 50도 수준으로 운전하고 있다는 설명이다.

효율적인 냉각은 GPU를 고집적으로 배치하기 위한 핵심 조건이기도 하다. 팩토리X 서울은 랙 하나에 GPU 서버 6대를 배치하며 랙당 최대 75kW 수준의 전력을 사용한다. 이날 데이터홀에는 곳곳에 빈 공간도 있었지만 추가 서버를 들여놓을 수 있는 여유 공간은 아니었다. 층별로 배정된 전력을 이미 모두 사용하고 있기 때문이다.

이 부장은 “기존 데이터센터는 일반 IT 장비를 기준으로 설계돼 GPU 서버를 넣더라도 전력과 냉방의 한계 때문에 랙에 서버 한 대만 놓고 나머지 공간을 비워야 하는 경우도 있다”며 “데이터센터는 초기에 설계한 전력 기준에서 용량을 늘리는 것이 사실상 쉽지 않다”고 말했다.

전력 용량을 확대하려면 수변전 설비뿐 아니라 무정전전원장치(UPS)와 비상발전기 등 관련 설비도 함께 증설해야 해 기존 데이터센터를 고집적 AI 인프라에 맞게 전환하는 데 물리적인 한계가 있다는 설명이다.

AI 데이터센터에서는 데이터홀의 하중 설계도 갈수록 중요해지고 있다. 팩토리X 서울의 바닥 하중은 ㎡당 2톤이다. GPU 서버가 고집적화되는 데다 수랭 설비를 적용하면 데이터홀을 지나는 철제 배관과 내부를 채운 냉각수의 무게까지 함께 감당해야 한다.

NHN클라우드는 향후 GPU의 전력과 발열, 무게가 더 커지면서 전력과 냉각뿐 아니라 하중까지 데이터센터 설계의 핵심 요소가 될 것으로 보고 있다.

대규모 GPU를 안정적으로 가동하기 위한 관제 체계도 운영하고 있다. AI 모델 학습은 짧게는 수시간에서 길게는 수주간 이어지는 만큼 관제실에서는 GPU와 네트워크 등 인프라 상태를 24시간 모니터링한다. 특히 수랭 환경에서는 냉각수의 온도와 압력, 유량을 비롯해 데이터홀 내 누수 여부까지 별도로 확인한다.

NHN클라우드는 광주 국가 AI데이터센터에서 시작한 AI 전용 인프라 구축 경험을 팩토리X 서울의 대규모 B200 클러스터로 확장했다. GPU의 고성능·고집적화가 빨라지면서 이를 뒷받침하는 전력과 냉각 설비뿐 아니라 대규모 자원을 안정적으로 가동하는 운영 역량도 중요해지고 있다.

이 부장은 “향후에 나오는 GPU를 대비해 냉각과 하중, 전력 등을 모두 고려해야 한다”며 “데이터센터도 이에 맞춰 계속 설계해 나가야 할 것”이라고 말했다.