Arm, AI 에이전트용 CPU 성능 잣대 바꾼다…랙당 처리량 2배

Arm이 에이전틱 AI 환경에 맞춰 CPU 성능을 재는 새 기준을 제시했다. Arm은 15일 에이전틱 AI용 CPU 성능 평가 프레임워크를 공개했다. 이 프레임워크의 개발은 후지쯔·메타·오픈AI가 지원했다.

Arm은 이 기준을 바탕으로 자사 Arm AGI CPU와 AMD EPYC 튜린(Turin)의 비교 검증 결과도 함께 내놓았다. 시그널65(Signal65)는 Arm AGI CPU와 AMD EPYC 튜린(Turin)을 비교한 성능 검증 결과를 발표했다. Arm은 자체 설계한 Arm AGI CPU의 AMD 서버용 CPU 대비 랙당 평균 작업 처리 성능이 1.99배라고 밝혔다. 해당 성능 결과는 독립 검증에 기반했다.

새 프레임워크는 부분 성능 수치보다 실제 AI 에이전트 업무를 끝까지 수행하는 과정의 처리 성능을 보려는 방향으로 설계됐다. 이 방법론은 개별 연산 성능 중심의 평가를 지양하고, 특정 구성 요소 처리 속도 중심의 평가도 지양한다. 대신 실제 AI 에이전트 작업의 CPU 처리 효율과 완료 능력을 평가하는 데 중점을 뒀다.

이 방법론의 핵심 원칙은 대표성 있는 에이전틱 AI 활용 사례, 반복 가능한 CPU 성능 측정, 엔드투엔드 결과 검증이다. Arm은 에이전틱 AI 대응용 새 CPU 성능 평가 방법론을 공개했다.

AI 에이전트는 사용자 요청에 응답하는 수준을 넘어 컨텍스트를 유지하고 외부 도구·서비스를 호출하며 데이터를 검색하고 작업 결과를 평가하는 방향으로 발전하고 있다. 이에 따라 CPU가 맡는 역할도 에이전트 실행, 작업 스케줄링, 데이터 준비, 데이터 이동, 클라우드 네이티브 서비스 처리로 넓어지고 있다. Arm은 a16z 소개 데이터를 인용해 이런 흐름을 설명했다.

에이전트 활용이 확대되면서 사용량도 늘고 있다. 오픈라우터(OpenRouter)의 에이전트 토큰 사용량은 2026년 2월 이후 약 14배 증가했다. 이런 확산에 따라 컴퓨팅·메모리·스토리지·입출력(I/O) 전반에서는 높은 동시성과 지속적 작업 처리에 대한 요구가 커지고 있다.

이 같은 변화로 AI 데이터센터에서는 GPU 등 가속기의 성능뿐 아니라 CPU의 역할도 중요한 쟁점으로 부상하고 있다. CPU는 작업 스케줄링과 데이터 공급을 담당하기 때문에, 이 기능이 미흡하면 고성능 가속기를 충분히 활용하기 어렵다. 결국 AI 데이터센터에서는 가속기 성능만이 아니라 이를 뒷받침하는 CPU 운영 능력도 중요해지고 있다.

에이전트의 자율성이 상승하면서 보안 중요성이 확대되고 인프라 제어 중요성도 확대되고 있다. 이 같은 흐름 속에서 호스트 CPU는 에이전트 실행을 담당하고, DPU·기타 인프라 프로세서는 네트워킹 지원과 스토리지 지원, 정책 시행 지원, 텔레메트리 지원, 격리 기능 지원의 역할을 맡는다.

Arm은 CPU·DPU 영역을 아우르는 아키텍처를 지원한다. 또한 Arm은 개방형 랙 스케일 AI 인프라 확산을 추진하고 있으며, AGI CPU 레퍼런스 서버의 오픈 컴퓨트 프로젝트(OCP) 기여를 진행하고 메타의 Yosemite YV5 랙 스케일 설계에 Arm AGI CPU가 도입됐다.

이런 흐름 속에서 시그널65는 Arm AGI CPU·AMD EPYC 튜린을 대상으로 툴링·오케스트레이션·추론·계획 수립 등 7개 에이전틱 AI 워크로드를 평가했다. 비교 방법으로는 두 플랫폼에 동일한 벤치마크 스크립트를 적용했으며, 성능 산정 방식으로는 서버 단위 실측 성능 기반 랙 수준 성능 모델링을 활용했다.

검증에서는 Arm AGI CPU를 AMD EPYC 9755 및 AMD EPYC 9965와 비교해 랙 단위 모델링 성능과 샌드박스 생성 지연시간을 측정했다. 검증 결과 Arm AGI CPU는 AMD EPYC 9755 대비 7개 워크로드 기준 랙당 평균 모델링 성능이 1.99배로 나타났다. Arm은 높은 컴퓨팅 집적도와 전력 효율성이 해당 결과에 기여했다고 설명했다.

워크로드별 성능은 툴링 평균 1.7배, 에이전틱 워크플로우 및 오케스트레이션 2배, 추론 및 계획 수립 2.2배로 제시됐다. 또 Arm AGI CPU는 AMD EPYC 9965 대비 샌드박스 생성 지연시간이 최대 45% 감소한 것으로 나타났다.

샌드박스는 에이전트 작업 수행 시 사용하는 격리된 실행 환경이다. 샌드박스 생성 시간이 단축되면 에이전트 작업 준비 오버헤드가 감소한다.

다만 이번 수치는 시그널65가 특정 워크로드와 시스템 구성을 기반으로 산출한 랙 단위 모델링 결과다. 실제 데이터센터 성능은 서버 구성, 소프트웨어, 전력 및 냉각 조건, 워크로드 특성 등에 따라 달라질 수 있다.

Arm은 에이전틱 AI 인프라에서는 기존 CPU 성능 지표만으로 효율성을 충분히 평가하는 데 한계가 있다고 보고 새 벤치마크 방법론을 제시했다. Arm은 전통적 CPU 지표만으로는 에이전틱 AI 인프라의 효율성을 가늠하기 어렵다고 판단했다.

에이전틱 AI 환경에서는 개별 작업의 응답 속도가 중요하고, 다중 작업을 동시에 처리하는 중에도 응답성을 유지하는 능력도 중요하다. 또한 높은 활용률에서도 처리량이 안정적으로 유지돼야 하며, 이러한 처리량 안정 유지는 실제로 완료되는 작업의 수를 늘리는 것과 직결된다.

이와 함께 데이터센터 운영에는 전력·발열·물리적 공간의 제약이 있다. 이에 따라 평가 기준도 CPU의 개별 성능 외에 제한된 랙 공간·전력 내에서 지속적으로 처리할 수 있는 작업량이 중요해지는 방향으로 바뀌고 있다. Arm AGI CPU는 이러한 요구에 대응하기 위해 높은 코어 밀도와 코어별 전용 메모리, 고대역폭 입출력의 특성을 갖췄다.

Arm은 구성 요소 단위 측정을 통해 CPU 성능을 다른 변수와 분리해 파악하는 방식을 제시했다. 또한 엔드투엔드 평가를 통해 성능 개선이 실제 작업 완료 결과로 이어지는지를 검증하는 방식도 함께 제시했다.

Arm은 에이전트 아키텍처와 소프트웨어 변화에 맞춰 성능 평가 방법론도 발전해야 한다고 강조했다. Arm은 업계 공통의 측정 기준이 마련되면 시스템 간 비교와 병목 분석이 쉬워지고, 차세대 AI 인프라 최적화에도 도움이 된다고 설명했다.

후지쯔는 후지쯔-모나카(FUJITSU-MONAKA) 개발 과정에서 투명성과 재현 가능성, 대표성을 갖춘 성능 측정이 중요하다는 입장을 밝혔다. 요시다 토시오 후지쯔 첨단컴퓨팅개발본부 부문장 겸 수석부사장은 Arm의 이니셔티브가 업계 협력을 촉진하고 차세대 AI 인프라 최적화를 지원할 것으로 기대했다.

메타의 아바셰크 다노티아 소프트웨어 엔지니어는 에이전틱 AI가 실제 운영 단계로 진입하면서, 다양한 워크로드가 기반 인프라를 어떻게 활용하는지 명확히 파악할 필요가 있다고 밝혔다. 그는 Arm의 일관된 비교 기준 마련 노력이 향후 시스템 발전 방향을 설정하는 데 도움이 될 것으로 내다봤다.

오픈AI의 글로벌 포워드 디플로이드 엔지니어링 총괄인 콜린 자비스는 AI 시스템의 진화 방향으로 추론·툴 사용·소프트웨어 환경 상호작용을 기반으로 복잡한 작업을 완수하는 양상을 제시한 뒤, 이에 따라 오케스트레이션·툴 실행 등 에이전틱 워크플로우를 지원하는 인프라의 성능을 이해하는 중요성이 커졌다고 설명했다. 이어 대표성 있는 벤치마킹을 위해 업계 협력이 필요하다고 밝혔다.

출처: 테크월드뉴스 · 박규찬 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=408230

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=408230