리벨리온 NPU, SKT AI 서비스 4종에 확대 적용…하루 1400만건 처리

리벨리온은 21일 리벨리온 NPU의 SK텔레콤 상용 AI 서비스 적용이 4종의 핵심 기능으로 확대됐다고 밝혔다. 양사는 지난해 6월 SK텔레콤 주요 AI 서비스에 국산 NPU를 적용하는 테스트에 착수했다.

첫 상용 적용 시점은 지난해 12월이었다. 당시 에이닷 통화요약의 관계추정 기능에 리벨리온 NPU가 처음 상용 적용됐다.

이후 적용 범위는 음성합성, AI 고객센터, 보안 서비스로 넓어졌다. 현재 적용 서비스 4개는 에이닷 통화요약, 에이닷 음성합성기능(스트리밍 TTS), AI 고객센터(AICC), 스캠뱅가드다.

이들 서비스에는 리벨리온 AI 반도체 아톰맥스(ATOM-Max) 기반 서버가 적용됐다. 리벨리온 인프라는 현재 하루 약 1400만건의 실시간 AI 트래픽을 처리하고 있으며, 토큰으로 환산하면 하루 40억 개를 초과한다. 해당 서비스는 반년 이상 국민 대상 서비스에서 안정적으로 운영되고 있다.

리벨리온은 올해 6월부터 SK텔레콤 주요 AI 서비스 대상으로 NPU 적용을 순차 확대하고 있다. NPU 적용 대상에는 에이닷 통화요약의 한 줄 요약 기능, 에이닷의 음성합성기능(스트리밍 TTS), AICC의 상담 후처리 및 검색 시스템, 스캠뱅가드의 미끼문자 탐지 기능이 포함됐다.

스트리밍 TTS는 텍스트 생성과 동시에 문장 단위 음성 합성이 필요한 실시간 서비스다. 리벨리온은 NPU의 저지연·고성능 연산을 기반으로 해당 기능을 안정적으로 구동한다고 설명했다. 스캠뱅가드에는 글로벌 표준 AI 개발·배포 환경을 지원하는 NPU 인프라가 적용됐고, 이를 통해 서비스 중단 없이 신종·변종 사기 문자 탐지 모델을 즉시 적용할 수 있다.

SK텔레콤은 AI 모델 크기·성능 특성에 따라 GPU와 NPU를 선별 활용해 전사 컴퓨팅 자원 효율성을 높이고 있다. 이를 위해 SK텔레콤은 NPU 수십 대와 카드 수백 장을 묶은 NPU 팜(Farm)을 구성했다. 또 여러 사내 서비스가 동일한 NPU 자원을 공유하는 풀(Pool) 방식으로 인프라를 운영하고 있다.

리벨리온은 적용 확대를 통해 국산 NPU의 상용 인프라 활용이 확인됐다고 주장했다. 국산 NPU의 활용 범위는 실험실·테스트 환경을 넘어 대규모 실시간 트래픽 처리로 확대됐다고 설명했다.

박성현 리벨리온 대표는 지난 1년간 국산 NPU의 위상이 변화해 가능성 단계에서 검증된 인프라 단계로 전환됐다고 밝혔다. 그는 국민이 매일 사용하는 서비스 4개가 리벨리온 인프라에서 안정적으로 운영되고 있다는 점을 이를 보여주는 핵심 근거로 제시했다.

박성현 리벨리온 대표는 대규모 상용 운영 실적을 기반으로 국내외 AI 서비스 저변 확대를 추진하겠다고 밝혔다. 리벨리온은 이 같은 운영 성과를 바탕으로 국산 NPU의 상용 활용 기반을 강조했다.

박병관 SK텔레콤 Core플랫폼담당은 AI 컴퓨팅 수요가 증가하고 있다고 밝혔다. 그는 이에 대응해 GPU와 함께 리벨리온 NPU도 적극 도입·활용하고, AI 서비스의 태스크 특성별로 GPU·NPU를 선별 활용 및 재배치해 전사 AI 자원 활용 효율성을 높이고 있다고 설명했다.

발언 주체는 향후 NPU 팜 확대 계획을 밝히고, 국산 NPU 반도체 활용 시너지를 극대화하겠다는 방침을 제시했다. 또한 사내외 AI 컴퓨팅 수요에 기민 대응할 예정이라고 밝혔다.

리벨리온은 SK텔레콤 AI 파운데이션 모델 'A.X K1' 구동을 진행하고 있으며, 이번 상용 AI 서비스 확대도 진행하고 있다. 이를 통해 국산 NPU 실제 서비스 적용 사례를 확대하고 있으며, 대규모 트래픽 처리 경험을 보유하고 있다. 리벨리온은 효율성을 기반으로 금융·통신·공공 등 다양한 산업으로 NPU 인프라 공급 확대를 계획하고 있다.

출처: 테크월드뉴스 · 박규찬 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=407181

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=407181