라이너, ‘모델 API’ 출시…질문 난이도별 LLM 배정으로 비용 50% 절감

라이너는 15일 AI 오케스트레이션 솔루션 '라이너 모델 API'의 출시를 발표했다. 회사는 기업 AI 시스템 구축 과정에서의 비용 부담을 출시 배경으로 지목했다.

라이너는 현재 다수 기업이 답변 품질 확보를 위해 고가의 프런티어급 모델 1개로 모든 사용자 질문을 일괄 처리하고 있다고 설명했다. 그러나 회사는 실제 유입 질문의 난이도가 다양하다고 진단했다.

또한 회사는 모든 질문을 상위 모델로 처리하는 방식이 인프라 비용 부담을 확대하는 구조적 한계를 낳는다고 봤다. 이에 따라 질문 난이도별로 적합한 LLM을 자동 배정하는 '라이너 모델 API'를 내놨다.

이 솔루션은 고난도 질의에는 고성능 모델을 배정하고, 일반 질의에는 경량 모델을 배정한다. 라이너는 이를 통해 답변 품질 유지와 비용 효율 제고를 목표로 하며, 토큰 비용을 50% 이상 절감하는 효과를 제시했다.

라이너는 품질과 비용 사이에서 선택을 고민하는 기업 수요를 겨냥해 기업 대상 라이너 모델 API를 설계했다고 밝혔다. 대상 기업의 고민은 저비용 경량 모델의 품질 문제와 프런티어급 모델 도입 비용이라고 설명했다. 회사는 라이너 모델 API가 상위급 모델 수준의 답변 정확도를 유지하면서 토큰 비용을 50% 이상 절감한다고 밝혔다. 또한 별도 로직 구현이 불필요하고 기존 API 교체만으로 즉시 적용 가능하다고 덧붙였다.

이 API의 핵심은 정밀 오케스트레이션 기술이라고 설명했다. 라이너는 질의 난도에 따라 모델을 나누는 방식으로 운영되며, 코딩·수학·복합 추론 등 고난도 질의는 상위 모델에 배정해 정확도를 확보한다고 밝혔다. 라이너 자체 실사용 데이터 평가 결과에 따르면 고성능 모델에 배정되는 질의 비중은 약 43%였다. 나머지 57%의 일반 질의는 효율적인 모델로 배분되며, 이를 통해 정답률을 유지하면서 비용 절감 향상을 도모한다고 설명했다.

라이너는 이런 운영을 가능하게 하는 핵심 경쟁력으로 독자적 모델 평가 체계와 실사용 환경 성능 검증 경험을 꼽았다. 또한 라이너 검색, 라이너 스콜라, 라이너 라이트, 라이너 파이낸스 등 라이너가 운영하는 AI 에이전트 제품을 운영하는 과정에서 다양한 LLM 평가 체계를 구축했다고 밝혔다. 회사는 이 같은 평가 체계와 실사용 검증 경험이 모델 배분 운영의 근거가 된다고 설명했다.

라이너는 성능 검증 과정을 진행하면서 실제 이용자 질의를 반영하기 위해 비식별 처리 대표 질의 데이터셋을 구축했다고 밝혔다. 이어 일상적 탐색·업무 처리·학술 연구 등 이용 패턴을 분석했고, 이 같은 이용 패턴 분석을 기반으로 모델 배정 알고리즘을 최적화했다고 설명했다. 라이너는 알고리즘 최적화 결과 서비스 안정성과 성능을 확보했다고 밝혔다.

김진우 라이너 대표는 모든 질문을 상위 모델로만 처리하는 방식이 간단한 계산에 매번 슈퍼컴퓨터를 동원하는 것과 유사하다고 밝혔다. 또 끊임없이 등장하는 신규 모델의 성능·단가를 개발사가 매번 검증·교체해야 하는 번거로움을 라이너 모델 API로 해결하겠다고 설명했다. 아울러 기업들이 비용 부담과 모델 선택 피로감에서 벗어나 핵심 업무 혁신에 몰입할 수 있는 환경을 조성하겠다는 의지를 밝혔다.

출처: 아이티데일리 (IT DAILY) · 양승갑 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241622

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241622