인공지능신문에 따르면 화웨이는 9월 17일 AI 추론 과정의 KV 캐시 병목을 풀기 위한 '컨텍스트 메모리 스토리지'를 공개하며 단일 클러스터에서 최대 64PB를 지원한다고 밝혔다. 오션스토어 M900은 NPU와 SSD를 원홉으로 연결해 지연시간을 60마이크로초까지 낮추는 구조를 내세웠다. 핵심은 온칩 메모리와 DRAM에 머물던 KV 캐시를 SSD까지 확장해, 초장문 컨텍스트와 다중 턴 추론에서 필요한 데이터를 더 넓은 공유 공간에 담고 재활용하도록 한 점이다. 화웨이는 이 구조가 기존의 컴퓨팅 중심 AI 인프라에서 스토리지와 네트워크를 함께 묶는 방향으로의 전환을 보여준다고 설명했다. 또 캐시 접근 효율을 높여 추론 성능을 끌어올리고, 대규모 운영에서 문제로 지적돼 온 저장장치 내구성까지 함께 관리하는 설계를 적용했다고 전했다. 결국 이번 공개는 모델 자체 경쟁을 넘어, 추론 단계의 메모리 구조와 데이터 이동 방식이 AI 인프라 경쟁력의 핵심으로 떠오르고 있음을 드러낸다.