AI도 업무 따라 골라 쓴다…KT, ‘모델 라우팅’ 기술 글로벌 2위

KT는 자체 개발한 AI 모델 라우팅 기술의 성과로 글로벌 공개 벤치마크 순위를 제시하며 관련 기술 경쟁에 본격 참여했다고 28일 밝혔다.

KT가 개발한 '오토모델라우터(AutoModelRouter)'는 LLM 라우터 평가 플랫폼 '라우터아레나(RouterArena)'의 'Acc-Cost Arena' 평가에서 종합 2위를 기록했다.

KT는 이날 'KT-ModelRouter'가 RouterArena 리더보드의 Acc-Cost Arena 기준 2위에 오른 화면도 공개했다.

AI 모델 라우팅은 하나의 AI 서비스 질의 뒤 요청 종류·난이도 등에 맞춰 서로 다른 AI 모델로 응답을 연결하는 개념으로, 이용자에게는 단일 AI 서비스처럼 보이지만 내부적으로는 요청 특성에 따라 적절한 AI 모델을 선택해 응답하게 하는 방식이다.

생성형 AI 시장에서는 번역·요약·코딩·추론 등 업무별로 모델의 강점이 다르고, 모델별 사용 비용에도 차이가 있다. 이에 따라 모든 업무에 고성능 AI 모델을 투입하면 품질은 향상되지만 비용 부담이 증가한다. 반대로 저렴한 모델만 이용하면 복잡한 분석·추론 과정의 품질이 저하될 가능성이 있다.

이처럼 상반된 품질·비용 조건 사이에서 모델 라우터는 조정 역할을 한다. KT 오토모델라우터는 이용자 요청을 분석할 때 업무 유형·난이도·지식 분야를 기준으로 삼는다. 또 모델별 응답 품질과 이용 비용을 함께 고려한다.

KT 오토모델라우터는 이런 분석 결과를 바탕으로 요청 처리용 AI 모델을 자동 선택한다. 간단한 번역·정보 확인 요청에는 필요한 품질을 유지하면서 비용이 낮은 모델을 배정한다. 전문적 분석이나 복잡한 추론이 필요할 때에는 더 높은 성능의 모델로 연결한다.

이를 통해 기업은 직원·개발자가 업무별 AI 모델을 직접 비교하고 선택할 필요가 없어진다. 요청의 성격과 난도에 맞는 모델이 자동으로 배정되기 때문이다.

아울러 기업은 모든 요청을 고가 모델로 처리하면서 생기는 불필요한 AI 이용 비용도 절감할 수 있다. KT 오토모델라우터는 품질과 비용을 함께 따져 적절한 모델을 배정함으로써 이러한 효과를 낸다.

KT 기술이 라우터아레나 공개 리더보드에 'KT-ModelRouter' 명칭으로 등록됐다. 라우터아레나는 미국 라이스대학교 연구진이 제작한 LLM 라우터 전문 평가 플랫폼이다.

이 플랫폼은 평가 질의 수 약 8400개를 바탕으로 라우터 성능을 검증한다. 평가 항목은 라우터 정확도·비용 효율성·입력 변화 견고성이다. 관련 연구는 국제학회 'ICLR 2026' 정식 논문으로 채택됐다.

평가 결과 KT-ModelRouter는 Acc-Cost Arena 종합 2위에 올랐다. Acc-Cost Arena는 정확도와 비용을 함께 평가하는 항목이다.

리더보드 포함 대상에는 학계·개인 연구자 개발 라우터와 마이크로소프트(MS) 상용 'Azure Model Router'가 포함됐다. KT-ModelRouter는 'Azure Model Router'보다 상위에 올랐다.

이번 평가의 비교 대상은 AI 모델 자체 성능이 아니다. 여러 모델 중 선택할 모델을 판단하는 기술을 비교한 평가다.

기업의 AI 활용 범위가 확대될수록 단일 고성능 모델 확보뿐 아니라 목적별 다중 모델 배치·관리 역량의 중요성이 커질 가능성이 제기된다. 여러 모델을 상황에 맞게 운용하는 역량이 기업 AI 운영의 핵심 요소로 부각될 수 있다는 흐름이다.

KT는 이런 필요에 대응해 오토모델라우터를 '토큰 팩토리(Token Factory)'의 모델 라우팅 기능에도 적용했다. 오토모델라우터는 이용자 요청에 적합한 AI 모델을 선택하는 기능을 맡는다.

토큰 팩토리(Token Factory)는 여러 AI 모델·토큰 사용 환경을 통합 운영하기 위한 KT의 AI 플랫폼이다. 토큰 팩토리(Token Factory)는 오토모델라우터의 선택을 바탕으로 다양한 모델을 운영한다.

KT가 모델 라우팅에 중점을 두는 배경에는 기업용 생성형 AI 시장의 비용 문제가 있다. 기업의 생성형 AI 모델 수가 증가하면 업무별 모델 배치 결정의 복잡성이 커지고, 사용량·비용 관리의 복잡성도 함께 확대된다.

이에 따라 향후 기업 AI 플랫폼 경쟁은 단순한 AI 모델 수 제공 경쟁에서 변화할 가능성이 있다. 같은 업무를 더 적은 비용으로 필요한 품질에 맞춰 처리하는 능력이 향후 기업 AI 플랫폼 경쟁의 핵심이 될 가능성이 제시된다.

모델 라우팅은 멀티모델 환경 자동 관리의 핵심 기술 중 하나다. KT는 이를 바탕으로 오토모델라우터를 지속 고도화하고, 신규 AI 모델을 추가할 수 있는 멀티모델 운영 환경을 구축할 계획이다.

김준석 KT 에이전틱 AI Lab장(상무)은 AI 시대의 중요 요소로 단일 우수 모델 확보뿐 아니라 상황별 최적 모델의 지능적 활용을 제시했다. 그는 오토모델라우터를 AI 오케스트레이션 역량을 구현하는 기술로 규정했으며, 오토모델라우터가 토큰 팩토리를 포함한 KT 에이전틱 AI 서비스 경쟁력을 뒷받침하는 핵심 기술이 될 것이라고 언급했다.

출처: 아이티데일리 (IT DAILY) · 이재영 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241841

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241841