GPU 늘수록 커지는 ‘병목’…시스코, 백엔드 네트워크 재설계

AI 인프라가 확대되면서 GPU 연산 성능 외에 GPU 간 고속 데이터 교환 네트워크의 중요성이 커지고 있다. 이에 따라 GPU 자체 성능만으로는 충분하지 않고, GPU 사이 통신을 맡는 네트워크가 함께 중요해지는 흐름이 제시됐다.

이 같은 흐름 속에서 과제로는 GPU 간 통신 병목 해소가 부상하고 있다. 일반적인 GPU 서버 네트워크는 관리용 네트워크와 서비스 제공용 프론트엔드 네트워크, IP망 기반 스토리지 연결용 네트워크, GPU 연결용 백엔드 네트워크로 구분된다.

시스코코리아는 20일 미디어 테크 세션을 개최했다. 이날 세션에서는 AI 인프라용 네트워크 전략 소개와 주요 제품군 소개가 이뤄졌다.

발표는 최수영 시스코코리아 TSAG 상무가 진행했다. 최 상무는 행사에서 AI 인프라 네트워크 전략과 제품을 설명했다.

시스코의 전략은 고성능 스위치 도입과 네트워크 설계 개선을 병행하는 데 있다. 또한 시스코는 이더넷 기반 통합 관리 체계로 대규모 AI 인프라 수요에 대응하는 방향을 밝혔다.

최수영 시스코코리아 TSAG 상무는 대규모 AI 인프라의 성능을 좌우하는 핵심이자 병목 구간이 백엔드 네트워크라고 설명했다. 그는 다수 GPU가 공동 연산하는 환경에서는 GPU 간 신속한 데이터 교환이 필요하다고 밝혔다. 또 서버 1대에서 네트워크 포트 사용량이 8개 또는 16개에 이른다고 덧붙였다.

최수영 상무는 이 같은 환경에서 빠른 전송 속도와 대량 연결을 수용할 수 있는 대규모 네트워크 구성이 요구된다고 설명했다. 이를 구현하기 위해서는 대량 트래픽 처리를 위한 고성능 스위칭 ASIC과 해당 ASIC이 적용된 스위치, 대규모 네트워크 운영용 관리 솔루션이 필요하다고 밝혔다.

시스코는 자체 개발 ASIC 기반 스위치와 엔비디아 스펙트럼-X(Spectrum-X) ASIC 기반 스위치를 제공한다고 밝혔다. 또한 엔비디아 ASIC 사용 제품에도 시스코 운영체제인 'NX-OS'를 적용한다고 설명했다. 이는 고객이 기존에 익숙한 운영 환경을 활용할 수 있도록 하기 위한 목적이라고 밝혔다.

최 상무는 두 제품군이 포트당 전송 속도와 포트 수가 동일하더라도 탑재한 ASIC과 지원 기능에는 차이가 있다고 설명했다. 그는 고객이 기존 네트워크에서 사용하던 기능과 운영 환경, 엔비디아 기반 AI 인프라용 부가 기능 등을 고려해 제품을 선택할 수 있다고 밝혔다.

이어 시스코는 ASIC 성능 향상과 함께 네트워크 연결 구조 변경도 추진하고 있다고 설명했다. 기존 구조에서는 GPU 8포트별로 NIC 1개씩을 매핑했다.

다만 기존 구조는 스위치 포트 수가 고정돼 있어 연결 가능한 GPU 규모에 제한이 있다는 한계가 있었다. 이에 시스코는 듀얼플레인(Dual-plane) 구조를 제시했다.

듀얼플레인 방식은 NIC 포트를 400Gbps 또는 800Gbps의 2개 상이한 링크로 분할 연결하는 구조로, NIC의 두 포트를 각각 다른 플레인에 연결하는 것이 핵심이라고 시스코는 설명했다. 시스코는 해당 설계를 통해 기존 구조의 포트 수 제약을 완화하고 더 많은 GPU를 수용할 수 있으며, 네트워크 확장성을 높이고 GPU 간 통신 시 거쳐야 하는 스위치 수를 줄일 수 있다고 밝혔다.

시스코는 슈퍼마이크로와 협력해 AI 인프라 공급 역량 확대를 추진하며, 슈퍼마이크로의 다양한 GPU 서버 제품군에 시스코의 네트워크·광통신·보안 솔루션과 스플렁크 기반 가시성 솔루션을 결합하는 방식으로 AI 인프라 공급 범위를 넓히려 한다. 이를 통해 시스코는 컴퓨팅·네트워크·운영 관리 포괄 AI 인프라를 제공하는 구상을 추진한다.

출처: 아이티데일리 (IT DAILY) · 성원영 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=242328

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=242328