AMD, 에이전틱 AI 랙스케일 ‘헬리온’ 공개

메타의 도구 다운로드가 최근 단기간 수백만 건을 기록하고, 오픈AI와 앤트로픽이 수만 개 에이전트의 연구개발에 투입되면서 대규모 에이전트 운용이 본격화하고 있다. 이에 따라 에이전트의 복잡한 제어 로직과 오케스트레이션을 지원하는 용도의 CPU 컴퓨팅 중요성도 급증하고 있다.

AMD는 이런 수요에 맞춰 OCP 규격 기반 개방형 에이전틱 AI 랙스케일 인프라 청사진인 'AMD 헬리온(AMD Helion)'을 공개했다. AMD는 하이퍼스케일용으로는 '분리형 CPU 전용 랙'을, 엔터프라이즈용으로는 '올인원(CPU+GPU) 랙'을 제시했다.

헬리온은 OCP ORv3 규격 44U를 채택했다. 또한 표준 모듈형 설계 기반으로 구현됐다.

헬리온은 공랭식과 액체 냉각을 모두 지원한다. 아울러 데이터센터 전력 효율 극대화를 목적으로 설계됐다.

헬리온에는 차세대 젠 6(Zen 6) 아키텍처 기반 '베니스(Venice)' 프로세서가 탑재된다. 단일 랙에서는 최대 3만2768개 CPU 코어 구성이 가능하다.

하이퍼스케일 랙은 작업 부하별로 노드를 유연하게 조합할 수 있도록 설계됐다. 이 랙에는 256코어·400W로 전력 대비 밀도를 극대화한 노드 유형 1과 600W의 밸런스형인 노드 유형 2, 고주파수 96코어로 단일 처리 성능에 집중한 노드 유형 3이 포함된다.

엔터프라이즈용 올인원 랙에는 'CPU 샌드박스 노드'가 포함된다. 올인원 랙은 최대 16개의 'AMD 인스팅트 MI350P' GPU와 스토리지·DB용 범용 컴퓨팅 노드를 단일 랙에 통합한다. 랙 내부 네트워킹 대역폭은 최대 102Tbps다.

이 같은 구성으로 기업은 외부 인프라 연동 없이 단일 시스템 내에서 전 파이프라인을 처리할 수 있다. 처리 범위는 에이전트 실행부터 고속 추론까지이며, 이를 효율적으로 수행할 수 있다.

소프트웨어 스택에는 지능형 '통합 토큰 라우터'가 기본 결합된다. '통합 토큰 라우터'는 에이전트의 모델 호출 질의를 분석한 뒤 작업 복잡도·비용을 기준으로 외부 상용 프런티어 모델과 온프레미스 오픈소스 모델에 트래픽을 자동으로 분배한다. 이를 통해 연산 비용을 절감하고 응답 지연 시간을 줄인다.

AMD는 헬리온 사양을 OCP 커뮤니티에 정식 제안할 방침이라고 밝혔다. 목적은 특정 벤더 종속 탈피와 개방형 하드웨어 생태계 확장이다.

이와 함께 AMD는 델·HPE·레노버·슈퍼마이크로·시스코·폭스콘·에이수스와 시스템 개발을 진행 중이며, 제품 공식 출시 예정 시점은 11월이다. 댄 맥나마라 AMD 수석 부사장은 에이전틱 AI의 워크로드별 요구 조건이 상이하다고 강조했다. 이어 에픽 프로세서의 밀도·유연한 설계 기반으로 제한된 전력 예산 내 최적 맞춤형 시스템 구축이 가능하다고 강조했다.

출처: 아이티데일리 (IT DAILY) · 권영석 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=242128

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=242128