기업형 AI 추론, 비용과 운영 경쟁으로 옮겨간다

인공지능신문에 따르면 IBM·레드햇·구글 클라우드·엔비디아 등이 참여한 오픈소스 분산 추론 프로젝트 llm-d 1.0이 10월 20일 공개됐으며, 기업이 AI 에이전트를 대규모로 운영할 때 추론 비용을 상용 API 대비 최대 10분의 1 수준으로 낮출 가능성을 제시했다. 실증에서는 동시에 최대 3000개의 코딩 에이전트를 처리하는 성능도 내놨다. 이 프로젝트는 모델 자체의 성능 경쟁보다 요청 배분, 캐시 재사용, 자원 활용, 서비스 가용성 같은 운영 인프라를 묶어 다루는 데 초점을 맞췄다. 특히 여러 서비스가 같은 인프라를 공유하는 환경에서 우선순위와 공정성을 조정하고, 업데이트 중에도 중단을 줄이는 기능을 강화했다. 에이전트가 긴 문맥을 반복 활용하는 작업 특성에 맞춰 세션 기반 라우팅과 스케줄링도 보강했다. 기사에서는 이런 흐름이 특정 추론 서비스 의존을 낮추면서도 실제 기업 환경에서 AI를 얼마나 안정적이고 경제적으로 굴리느냐가 새 경쟁력으로 떠오르고 있음을 보여준다고 짚었다.