“폭증하는 토큰 비용 잡아라”…델, ‘토크노믹스’ 최적화 해법 제시

에이전틱 AI(Agentic AI) 시대 진입으로 토큰 사용량이 급증하면서 인프라 비용 통제 필요성이 커지고 있다. 폭증하는 토큰 비용 대응이 주요 과제로 떠오른 가운데 해법 핵심으로는 하이브리드 인프라가 제시됐다.

델 테크놀로지스(Dell Technologies)는 25일 서울 코엑스에서 연례 행사인 '델 테크놀로지스 포럼 2026'을 개최했다. 델은 이날 하이브리드 인프라를 중심에 둔 엔터프라이즈 AI 에이전트 프레임워크를 발표하고, 토크노믹스(Tokenomics) 최적화 전략도 함께 공개했다.

행사에서는 김경진 한국 델 테크놀로지스 회장이 발표에 나섰다. 사진 설명은 김경진 한국 델 테크놀로지스 회장이 행사에서 발표하는 모습이라고 소개했다.

김경진 한국 델 테크놀로지스 회장은 3년 전은 생성형 AI 시대 소개 단계였다면 현재는 일과 일상에서 AI가 필수적인 단계라고 밝혔다. 이어 현재 최대 과제는 AI 투자 효과의 현실화라고 설명했다. 또 AI 투자 조건으로 비용 절감·전력 소모 절감을 제시했으며, AI 투자 활용처로는 업무와 연구개발(R&D) 발전에의 효과적 사용을 강조했다.

델 테크놀로지스는 AI의 역할이 단순 조언자에서 자체 실행 가능한 오퍼레이터로 전환하고 있다고 진단했다. 이와 함께 기업 대응 과제로는 조사 결과 기업 리더 87%가 기술 변화 대응 실행 속도 확보에 어려움을 겪고 있는 점이 제시됐다.

또 다른 조사 결과로는 기업 리더 73%가 초기 설계 단계부터 보안·사이버 복원력 내재화를 요구하는 것으로 나타났다. 델 테크놀로지스는 AI 활용이 보조 수준을 넘어 자율 실행 단계로 옮겨가는 흐름 속에서 이 같은 대응 과제를 함께 제시했다.

이런 변화 흐름 속에서 맷 던피(Matt Dunfee) 델 테크놀로지스 수석부사장은 단계적 확장 구조의 5단계 AI 에이전트 체계를 제시했다. 1단계 생산성 에이전트는 이메일 작성·요약 지원, 2단계 관리(Hygiene) 에이전트는 데이터 큐레이션·정제의 무인 자동화, 3단계 조율 에이전트는 부서 간 업무 인계 지원과 데이터 단절 방지, 4단계 전문가 에이전트는 구매·업그레이드 등 비즈니스 거래의 엔드투엔드 자율 처리, 5단계 컨시어지 에이전트는 수십·수천 개 하위 에이전트 총괄 오케스트레이션을 각각 맡는다고 설명했다.

맷 던피 델 테크놀로지스 수석부사장은 AI 도입이 단순 모델 활용을 넘어 20~30년간 고착된 레거시 프로세스를 AI 에이전트 중심의 고부가가치 업무로 재설계하는 방향이어야 한다고 밝혔다. 그는 이 과정에서 조직 변화 관리의 시급성도 함께 강조했다. 사진 촬영은 권영석 기자가 맡았다.

던피 수석부사장은 토큰당 단가 하락이 이어지고 있지만, 다중 에이전트 구동과 멀티모달 분석 확대로 전체 사용량은 급증할 수 있다고 설명했다. 그는 이 현상을 토크노믹스의 역설로 규정했다. 예시 시나리오로는 도로 안전 비디오 분석을 들었고, 해당 시나리오의 토큰 소모량은 약 3억 토큰이라고 밝혔다.

이 같은 비용 부담에 대한 대응으로 던피 수석부사장은 외부 호스팅 대형 언어 모델 대비 델 인프라 기반 온프레미스 환경 활용을 제시했다. 온프레미스 구동 특화 모델 예시로는 엔비디아 네모트론(Nemotron)을 언급했다. 그는 해당 방식으로 비용을 최대 10배 절감할 수 있다고 설명했다.

델은 데이터가 위치한 데스크톱부터 액체 냉각 기반 하이퍼스케일 랙까지 포괄하는 유연한 하이브리드 인프라 전략을 추진하고 있다. 이와 함께 플랫폼형 델 AI 팩토리(Dell AI Factory) 본격화에도 나서고 있다. 델 AI 팩토리(Dell AI Factory)의 고객 레퍼런스는 5000개 이상이다.

던피 수석부사장은 AI와 에이전트의 가치를 기존 업무에 AI를 추가하는 데서 찾는 것이 아니라 업무 방식의 근본 재설계에 있다고 밝혔다. 그는 이를 통해 구성원의 단순 반복 작업 부담을 줄이고 고부가가치 본연 업무에 집중할 수 있도록 지원하겠다는 방향을 제시했다.

이어 던피 수석부사장은 델이 하이브리드 AI 인프라 혁신을 적극 지원하겠다고 밝혔다. 그는 AI 도입의 방향을 업무 구조 자체를 바꾸는 쪽으로 제시하며 관련 인프라 지원 의지를 강조했다.

행사에서는 SK하이닉스 주영표 부사장도 발표에 나서 에이전틱 AI 시대에는 모델 가중치와 대화 맥락을 축적하는 메모리(KV 캐시)가 지능의 본체로 부상한다고 설명했다. 그는 칩 평면 인터페이스의 한계인 쇼어라인(Shoreline) 문제를 극복하기 위한 3D 적층 메모리와 액체 냉각 협력 방안을 제시했으며, 프리필(Prefill)·디코드(Decode) 연산 분리 때 발생하는 GPU 유휴 병목을 해소하기 위한 CXL 기반 메모리 풀링 아키텍처도 공유했다.

주 부사장은 SK하이닉스의 지향점이 풀스택 메모리 크리에이터라며, SK하이닉스가 단독으로 나아가기보다 파트너들과 함께 생태계 구축을 추진하고 있다고 설명했다. 이어 그 근거로 델 테크놀로지스와 오랜 전략적 파트너십을 보유하고 있다고 밝히고, 차세대 AI 인프라 연구개발부터 사업화까지 델 테크놀로지스와 긴밀한 협력을 지속할 방침이라고 전했다.

출처: 아이티데일리 (IT DAILY) · 권영석 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241192

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241192