AI

라이너, LLM 비용 50% 이상 절감하는 ‘라이너 모델 API’ 선봬

테크월드뉴스 ·

[사진=라이너]

✦ AI 요약

라이너가 15일 '라이너 모델 API' 출시를 발표했다.

이 API는 질문 난이도와 유형에 맞춰 적합한 LLM을 자동 배정하는 AI 오케스트레이션 솔루션이다.

라이너는 이를 통해 답변 품질을 유지하면서 LLM 토큰 비용을 50% 이상 절감할 수 있다고 설명했다.

라이너는 15일 '라이너 모델 API' 출시를 발표했다. '라이너 모델 API'는 질문 난이도별로 적합한 LLM을 자동 배정하는 기능을 갖춘 AI 오케스트레이션 솔루션이다. 이 API는 모든 질의를 단일 고성능 모델로 처리하지 않는 방식으로, 답변 품질을 유지하면서 토큰 비용을 절감하는 것을 목적으로 한다.

이 API는 질의 난도와 유형에 맞춰 모델을 나눠 배정하는 구조를 적용했다. 코딩·수학·복합 추론과 같은 고난도 질의에는 상위 모델을 배정하고, 일반 지식형 질의에는 상대적으로 저비용 모델을 배정한다. 라이너는 이를 통해 상위급 모델 수준의 답변 품질을 유지할 수 있고, LLM 토큰 비용을 50% 이상 절감할 수 있다고 설명했다.

적용 방식은 기존 시스템에서 API만 교체하는 형태다. 이에 따라 별도의 복잡한 로직을 구현해야 하는 부담을 줄일 수 있다. 핵심 요소는 질문 유형별로 적합한 모델을 판단하는 오케스트레이션 기술이다.

라이너는 자사 AI 에이전트 서비스 운영 과정에서 여러 LLM의 성능 비교·평가 체계를 구축했다고 밝혔다. 회사는 이러한 체계를 바탕으로 질문별 적합 모델을 판단하는 오케스트레이션 기술을 구현했다고 설명했다. 라이너가 운영하는 서비스는 '라이너 검색', '라이너 스콜라', '라이너 라이트', '라이너 파이낸스'다.

라이너는 공개 벤치마크 외 실제 서비스 환경에서 축적한 질의 데이터를 활용했다. 라이너는 비식별 처리한 대표 질의 데이터셋을 기반으로 질문 유형별 모델 성능을 검증했고, 모델 배정 알고리즘을 고도화했다.

라이너의 자체 평가 결과 고성능 모델이 배정된 질의 비중은 약 43%였다. 코딩·수학·복합 추론이 필요한 질의는 상위 모델이 처리하고, 나머지 57%의 일반 질의는 상대적으로 효율적인 모델에 배정하는 방식이다.

라이너의 주요 대상은 프런티어급 모델의 높은 비용과 경량 모델의 품질 사이에서 고민하는 기업이다. 라이너는 모델별 성능·단가를 기업이 직접 비교하고 교체하는 부담을 줄이고, 비용 효율적인 LLM 운영 환경을 제공하는 데 초점을 맞췄다.

이번 제품 출시를 계기로 라이너는 사업 범위를 기존 AI 에이전트 서비스에서 B2B AI 인프라 영역으로 확대할 계획이다. 라이너는 자체 서비스 운영 과정에서 축적한 모델 평가 경험을 외부 기업이 활용할 수 있도록 API 형태로 제공한다.

김진우 라이너 대표는 모든 요청을 고성능 모델에만 맡기는 방식이 비효율적이라며, 이를 간단한 계산마다 슈퍼컴퓨터를 동원하는 것에 비유했다. 이어 라이너 모델 API가 신규 모델 성능·단가 검증 부담을 완화하고, 새 모델이 나올 때마다 개발사가 모델의 성능과 비용을 확인한 뒤 교체해야 하는 부담도 덜어줄 수 있다고 밝혔다.

출처: 테크월드뉴스 · 김승기 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=406945

참고자료

이 기사는 자동생성 알고리즘의 도움을 받아 작성되었습니다.


출처 테크월드뉴스

원문 확인

이 기사는 테크월드뉴스 원문을 바탕으로 비즈크러시가 요약 정리했습니다. 정확한 인용과 세부 내용은 원문을 확인해 주세요.