래블업, 한국어 LLM 추론 가속 모델 공개…한글날 맞춰 오픈소스 배포

테크월드뉴스 · 2026년 10월 13일 · 조회 2

✦ AI 요약

래블업은 한국어 질의·에이전트 작업용 LLM 추론 가속 드래프트 모델 'GLM-5.2-NVFP4-DFlash-ko'를 Hugging Face에 공개했다.

이 모델에는 z-lab의 DFlash 방식이 적용됐고, 지푸AI 'GLM-5.2'의 NVFP4 구동 시 함께 쓰는 드래프트 모델이다.

래블업은 한국어 데이터 기반으로 별도 학습해 평균 수락 길이(MAL) 2.71, 2.77을 기록했고, GLM-5.3-Flash용 모델과 약 110억 파라미터 규모의 한국어 디퓨전 언어모델도 개발 중이다.

래블업은 한국어 질의·에이전트 작업 대상 LLM 추론 가속 모델을 공개했다. 이번 오픈소스 배포는 한글날에 맞춰 이뤄졌다. 래블업은 드래프트 모델 'GLM-5.2-NVFP4-DFlash-ko'를 최근 Hugging Face에 공개했다고 발표했다.

해당 모델에는 z-lab이 공개한 DFlash 방식이 적용됐다. 이 모델의 용도는 지푸AI(Z.ai) 오픈 LLM 'GLM-5.2'의 NVFP4 구동 시 함께 사용하는 드래프트 모델이다. NVFP4는 엔비디아의 4비트 부동소수점 형식이다.

드래프트 모델은 투기적 디코딩(Speculative Decoding)을 활용하는 소형 모델이다. 작동 방식은 다음 생성 후보인 여러 토큰을 먼저 예측하는 구조다. 이어 대형 모델이 예측 토큰을 일괄 검증한다.

이 과정에서 통과한 토큰만 채택된다. 최종 판정 주체는 대형 모델이다. 이에 따라 답변 품질을 유지하면서도 생성 속도를 높이는 효과를 낸다.

DFlash 방식은 드래프트 모델이 다중 토큰을 일괄 생성해 토큰별 순차 예측을 대체하는 구조다. 이 방식의 가속은 드래프트 모델이 한 번에 얼마나 많은 토큰을 맞히는지에 달려 있으며, 예측 적중률이 상승할수록 1회 검증에서 수락되는 토큰 수가 증가한다. 수락 토큰 수가 증가하면 그에 따른 가속 효과도 확대된다.

래블업은 영어 데이터로 학습한 기존 드래프트 모델에서 한국어 질의와 한국어 에이전트 작업의 예측 적중률이 저하되는 점을 확인했다. 이 같은 예측 적중률 저하는 가속 효과 감소로 이어졌다. 이에 따라 래블업은 한국어 환경에서 가속 효과를 유지할 목적으로 한국어 데이터 기반 드래프트 모델을 별도로 학습했다.

실제 한국어 에이전트 트래픽을 기준으로 실측한 결과, 평균 수락 길이(MAL)는 에이전트 작업에서 2.71, 한국어 질의에서 2.77로 나타났다. 래블업은 이를 영어 DFlash 모델과 유사한 수준의 가속 성능으로 설명했다. 반면 영어 학습 드래프트 모델의 한국어 환경 평균 수락 길이는 1점대였다.

래블업은 Z.ai의 'GLM-5.3-Flash'용 한국어 드래프트 모델 개발을 진행하는 한편, 약 110억 파라미터 규모의 한국어 디퓨전 언어모델도 처음부터 학습하고 있다.

이 디퓨전 모델은 로컬 기기에서 에이전트 작업을 수행하는 온디바이스 모델을 목표로 한다. 학습은 B200 64장 규모 GPU 클러스터 환경에서 이뤄지고 있으며, 일부 자원은 과학기술정보통신부·정보통신산업진흥원(NIPA)의 '첨단 GPU 활용 지원 사업'으로부터 지원받고 있다.

신정규 래블업 대표는 영어로 학습된 드래프트 모델만으로는 한국어 사용자에게 필요한 투기적 디코딩 가속 효과를 온전히 확보하기 어렵다는 점을 한국어 드래프트 모델 공개의 배경으로 설명했다. 이어 AI 서비스 개발자와 기업이 한국어 환경에서 가속 효과를 확보할 수 있도록 한글날에 한국어 드래프트 모델을 공개한다고 전했다.

출처: 테크월드뉴스 · 김승기 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=408065