래블업, 한국어 특화 ‘LLM 드래프트 모델’ 오픈소스 공개
아이티데일리 (IT DAILY) · · 조회 1
✦ AI 요약
래블업은 12일 한국어 특화 드래프트 모델 'GLM-5.2-NVFP4-DFlash-ko'를 오픈소스로 공개한다고 발표했다.
이 모델은 z-lab의 'DFlash' 기법을 적용한 드래프트 모델로, Z.ai 오픈 LLM 'GLM-5.2'와 결합해 엔비디아 NVFP4 형식으로 구동된다.
실제 한국어 에이전트 트래픽 환경에서 측정한 평균 수락 길이(MAL)은 에이전트 작업 2.71, 한국어 질의 2.77로 나타났고, 래블업은 Z.ai 'GLM-5.3-Flash'용 한국어 드래프트 모델 개발과 온디바이스 에이전트용 한국어 디퓨전 언어 모델 자체 학습도 계획하고 있다.
래블업은 12일 한국어 특화 드래프트 모델 'GLM-5.2-NVFP4-DFlash-ko'를 오픈소스로 공개한다고 발표했다. 대상 용도는 한국어 질의·에이전트 작업에서 LLM 추론 속도를 향상하는 것이다.
'GLM-5.2-NVFP4-DFlash-ko'는 z-lab의 'DFlash' 기법을 적용한 드래프트 모델이다. 이 모델은 Z.ai 오픈 LLM 'GLM-5.2'와 결합하는 대상이며, 엔비디아 NVFP4 형식으로 구동된다. 배포처는 허깅페이스 래블업 저장소다.
드래프트 모델의 용도는 '투기적 디코딩(Speculative Decoding)'이다. 이 방식은 소형 모델이 다음 토큰을 복수개 사전 예측하고, 메인 대형 모델이 예측 결과를 일괄 검증하는 구조다. DFlash 방식의 특징은 토큰을 순차 생성하는 대신 병렬로 일괄 생성하는 데 있으며, 이에 따라 추론 시간을 단축하는 효과를 낸다.
영어 데이터 기반으로 만든 기존 드래프트 모델은 한국어 환경에서 추측 적중률이 낮았고, 이에 따라 가속 효율도 떨어졌다. 래블업은 이 문제를 개선하기 위해 한국어 데이터 학습을 진행했다.
래블업은 한국어 데이터 학습으로 기존 문제를 개선했다. 실제 한국어 에이전트 트래픽 환경에서 측정한 이번 모델의 평균 수락 길이(MAL)은 에이전트 작업 2.71, 한국어 질의 2.77로 나타났다.
이 같은 이번 모델의 성능은 영어 DFlash 모델과 대등한 수준이다. 반면 영어 학습 드래프트 모델의 MAL은 1.x대였다.
래블업은 Z.ai 'GLM-5.3-Flash'용 한국어 드래프트 모델 개발을 계획하고 있다. 래블업은 로컬 단말기 구동 가능 온디바이스 에이전트용 한국어 디퓨전 언어 모델도 자체 학습 중이며, 해당 모델 규모는 110억(11B) 파라미터다. 이 학습에는 과학기술정보통신부·정보통신산업진흥원(NIPA) '첨단 GPU 활용 지원 사업' 지원을 활용했으며, 엔비디아 B200 64장 규모 GPU 클러스터를 투입했다.
신정규 래블업 대표는 기존 드래프트 모델이 영어 중심으로 학습돼 한국어 사용 환경에서는 투기적 디코딩 가속 효과가 제한됐다고 설명했다. 이에 따라 래블업은 AI 서비스 개발 기업의 한국어 환경 가속 성능 확보를 목표로 모델을 공개했으며, 인프라 소프트웨어 기술력을 기반으로 자체 모델 개발을 통해 역량을 확대하고 있다고 밝혔다.
한편 래블업은 코스닥 상장을 위해 증권신고서를 제출했다. 또한 13일부터 19일까지 기관투자자를 대상으로 수요예측을 진행한다.
출처: 아이티데일리 (IT DAILY) · 권영석 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=242119
참고자료
이 기사는 자동생성 알고리즘의 도움을 받아 작성되었습니다.
출처 아이티데일리 (IT DAILY)
원문 확인이 기사는 아이티데일리 (IT DAILY) 원문을 바탕으로 비즈크러시가 요약 정리했습니다. 정확한 인용과 세부 내용은 원문을 확인해 주세요.