모레, ‘AI 인프라 서밋 2026’서 ‘토큰 팩토리 OS’ 선봬

모레는 15일부터 17일(현지시간)까지 미국 산타클라라 컨벤션센터에서 열리는 'AI 인프라 서밋 2026'에 참가해 행사에서 '토큰 팩토리 OS'를 선보인다고 밝혔다. 모레는 행사에서 이기종 가속기 기반 분산 추론 기술도 함께 공개한다. 조강원 모레 대표는 행사 첫날 AI 컴퓨팅 세션에서 '이기종 가속기 데이터센터를 위한 LLM 서빙 프레임워크'를 주제로 발표한다.

모레가 모레 공개하는 '토큰 팩토리 OS'는 서로 다른 AI 가속기를 하나의 자원처럼 통합 활용하는 운영체제다. 이와 함께 선보이는 이기종 가속기 기반 분산 추론 기술은 여러 종류의 AI 가속기를 묶어 쓰는 방향에 맞춰 제시된다.

모레의 구상은 AIDC 경쟁력 기준을 GPU 보유량 중심에서 토큰 생산 효율 중심으로 전환하는 데 있다. 조강원 모레 대표는 AI 데이터센터 중요성의 초점이 GPU 용량 제공에서 API 소비용 토큰의 효율적 생산으로 이동하고 있다고 밝혔다.

모레는 엔비디아·AMD 등 이기종·이세대 가속기 공동 운영 데이터센터 환경이 증가하고 있다고 판단했다. 또한 개별 GPU 성능 대비 전체 추론 경로·자원 배분 최적화 소프트웨어의 중요성이 확대되고 있다고 판단했다.

모레는 이에 맞는 소프트웨어로 토큰 팩토리 OS를 소개했다. 토큰 팩토리 OS는 특정 GPU·추론 엔진에 비종속적인 AI 인프라 소프트웨어다. 이 소프트웨어는 데이터센터 내 여러 가속기를 통합 활용해 하나의 자원 풀 방식으로 운영되며, 모델·요청 특성·가속기별 연산 성능을 기반으로 추론 경로를 구성한다. 또한 서로 다른 가속기에서 처리되는 연산·데이터를 연결한다.

모레는 이를 뒷받침하는 핵심 기술로 '모아이 추론 프레임워크'를 제시했다. '모아이 추론 프레임워크'는 엔비디아·AMD·텐스토렌트 등 이기종 가속기를 단일 클러스터형으로 묶는다. 또한 추론 작업을 가속기별 특성에 맞춰 분산한다.

모레는 실제 사례로 이기종 가속기 결합 추론도 공개했다. 이 사례에서는 엔비디아 H100이 프롬프트 처리를 담당하고 AMD MI300X가 응답 생성을 담당했다. 사례 구현에는 모레의 분산 추론 소프트웨어가 활용됐으며, 이를 통해 두 가속기 간 데이터 연계가 이뤄졌다.

모레는 모레 발표에서 해당 구성의 처리량이 동일 벤더 기반 시스템 대비 최대 1.67배라고 밝혔다. 모레는 처리량 향상의 배경으로 단일 GPU가 전 과정 추론을 맡는 대신 연산 단계별로 적합한 가속기를 배치하는 처리 방식을 들었고, 이에 따라 전체 토큰 생산 효율이 향상됐다고 설명했다.

모레는 이기종 가속기 활용 방식을 개별 구성 수준에 그치지 않고 데이터센터 전체로 확대할 계획이라고 밝혔다. 이를 위해 GPU·NPU를 하나의 논리적 클러스터로 운영하는 기술과 분산 추론 소프트웨어를 결합하는 구상을 제시했다.

모레는 이를 통해 특정 하드웨어에 비종속적인 AI 인프라 운영 체계를 구축하는 것을 목표로 제시했다. 조강원 모레 대표는 AI 데이터센터가 GPU를 제공하는 공간에서 토큰을 생산하는 토큰 팩토리로 진화하고 있다며, 다양한 가속기를 단일 인프라 형태로 활용하는 분산 추론 기술로 특정 하드웨어에 비종속적인 토큰 팩토리 구축을 지원하겠다는 입장을 밝혔다.

출처: 테크월드뉴스 · 김승기 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=407034

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=407034