엔비디아, AI 데이터센터 전력 효율↑…베라 루빈·그록 3 LPX 투입

엔비디아는 AI 데이터센터의 핵심 과제에 대응하기 위해 전력 효율 개선을 추진하고 있다. 엔비디아는 베라 루빈(Vera Rubin) NVL72·그록 3 LPX(Groq 3 LPX) 기반의 풀스택 AI 팩토리 전략을 공개했다. 엔비디아는 16일 베라 루빈 NVL72·그록 3 LPX 기반의 전력당 토큰 처리량 향상 기술도 발표했다.

이 풀스택 AI 팩토리는 시스템·네트워킹·소프트웨어·전력 관리의 통합으로 구성된다. 이 전략의 목표는 제한된 전력 인프라 내에서 컴퓨팅 성능을 극대화하는 데 있다. AI 팩토리의 주요 제약 요소는 전력 공급이다.

AI 모델 규모는 확대되고 있고, 추론 작업은 증가하고 있다. 이에 따라 동일한 메가와트(MW) 전력 기준으로 처리 가능한 토큰 수가 데이터센터 운영 효율성을 좌우하는 핵심 지표로 부상하고 있다.

DSX MaxLPS는 AI 팩토리 내 랙별 전력 수요 변화에 대응해 전력을 동적 재분배하는 기술이다. 특정 랙의 전력 수요가 늘거나 줄 때 전체 시설의 전력 용량 활용 효율을 높이는 방식이다.

엔비디아는 베라 루빈 NVL72 기반 시스템과 DSX MaxLPS를 결합하면 동일한 시설 전력 용량에서 GPU 용량을 최대 40% 확대할 수 있다고 발표했다. 또 신규 전력선 증설 없이 토큰 처리량을 최대 35% 향상할 수 있다고 발표했다.

각 랙 내부에는 Intelligent Power Smoothing 소프트웨어와 확장된 에너지 버퍼링 기능이 적용된다. Intelligent Power Smoothing과 에너지 버퍼링 기능은 순간적 전력 급증을 흡수하고, 해당 방식은 시스템을 지속적 전력 수요에 가까운 형태로 운영하도록 지원한다. 엔비디아는 기존 데이터센터의 안정적 운영을 위한 여유 전력 용량을 실제 GPU 컴퓨팅 자원으로 전환할 수 있다고 설명했다.

에이전틱 AI는 AI 에이전트의 다단계 추론·도구 호출 연속 수행 구조다. 이에 따라 컨텍스트 길이가 증가 시 지연 시간·컴퓨팅 부담 증가 가능성이 있다.

엔비디아는 에이전틱 AI의 긴 컨텍스트·다단계 추론 대응을 목적으로 그록 3 LPX와 베라 루빈 플랫폼을 결합했다. 그록 3 LPX는 베라 루빈 플랫폼에 결정론적 초저지연 추론 기능을 추가했고, DSX MaxLPS 전력 관리 기능도 보완했다.

엔비디아는 긴 컨텍스트 환경·2조 개 이상 파라미터 모델 기준으로 GB200 NVL72 대비 메가와트당 토큰 처리량이 최대 35배 향상 가능하다고 발표했다.

실측 성능은 10만 토큰 컨텍스트 규모 Qwen 3.8 27B 워크로드를 대상으로 제시됐다. 이 구성에서 그록 3 LPX 성능은 사용자당 초당 2529개 출력 토큰을 기록했다.

엔비디아는 성능 여유를 확보하면 AI 워크로드가 확대돼도 처리 범위 안에서 에이전트가 더 많은 작업을 수행할 수 있다고 설명했으며, 그 결과 동일한 응답 처리 범위 내에서 에이전트의 추론 단계와 도구 호출을 늘릴 수 있다고 덧붙였다.

출처: 테크월드뉴스 · 박규찬 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=407022

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=407022