베슬에이아이, 업스테이지 ‘솔라 프로 4’ 글로벌 인퍼런스 운영 지원

베슬에이아이는 8일 업스테이지의 LLM '솔라 프로 4(Solar Pro 4)' 운영을 지원한다고 발표했다. 베슬에이아이는 이를 위해 글로벌 인퍼런스 인프라를 제공했다고 밝혔다. 인퍼런스는 학습 완료 AI 모델이 실제 서비스 환경에서 응답하도록 운영하는 과정을 뜻한다.

'솔라 프로 4'는 오픈라우터(OpenRouter) 9월 사용량 3위를 기록했다. 베슬에이아이는 해당 기간 글로벌 서빙을 담당하며 전 세계 이용자의 추론 요청을 처리했다.

신규 모델 출시·프로모션 시기에는 단기간에 요청이 집중될 수 있다. 이에 따라 요청 급증에 대비해 예상 수요를 바탕으로 처리 용량을 확보하는 일이 중요하다.

베슬에이아이와 업스테이지는 출시·프로모션 일정과 예상 수요를 공유했다. 베슬에이아이는 이를 토대로 필요한 추론 용량을 사전 설계했고, 한국·유럽·미국 등 여러 지역의 GPU 클러스터와 자체 인퍼런스 엔진을 활용했다. 또한 모델 특성과 트래픽 패턴에 맞춰 자원을 배치했다.

성능 개선을 위해 내부 캐시 히트율 개선 적용, 모델 양자화 적용, 추론 속도 향상 기술 적용이 이뤄졌다. 베슬에이아이는 엔드포인트 도입 전후 비교 결과 처리 속도가 평균 2배 향상됐고 최대 3배 향상됐으며, 토큰당 비용은 최대 50% 절감됐다고 설명했다.

베슬에이아이는 수요 예측 기반 용량 설계를 담당했고 실제 인퍼런스 운영도 맡았다. 이에 따라 업스테이지는 모델 개발에 집중할 수 있었고 서비스 확대에도 집중할 수 있었다.

회사는 솔라 모델 이용 확대에 맞춘 글로벌 인퍼런스 인프라를 제공할 계획이라고 밝혔다. 안재만 베슬에이아이 대표는 한국에서 개발한 모델의 글로벌 성과를 국내 네오클라우드 인프라가 뒷받침했다는 의미를 강조했으며, 인퍼런스 운영 경험을 바탕으로 모델 제공자가 연구와 제품 개발에 집중할 수 있는 환경을 제공하겠다는 의지를 밝혔다.

출처: 테크월드뉴스 · 김승기 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=407961

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=407961