AI PoC 90% 실패…“추론 인프라와 비용 통제가 해법”

AI 경쟁력의 판단 기준이 개별 모델에서 데이터센터 전력·냉각과 클라우드 소프트웨어 스택을 결합한 풀스택 인프라로 옮겨가고 있다. AI PoC 실패율 90%가 거론되는 가운데 해법으로는 추론 인프라와 비용 통제가 제시됐다.

이런 흐름 속에서 한국인공지능클라우드산업협회(KACI)는 1일 '제3회 인공지능-클라우드 빅테크(AI-Cloud Big Tech) 2026'를 개최했다. 행사 주제는 '발전(Advance), 연결(Connect), 전환(Transform)으로 여는 AI-Cloud'였으며, 공공기관·산업계 관계자 300여 명이 참석했다.

이번 행사에서는 AI 인프라에서 클라우드 플랫폼, 엔터프라이즈 서비스로 이어지는 최신 기술 흐름이 공유됐다. 개회사와 환영사에서는 모델 중심 경쟁에서 생태계 연계 중심으로의 전환이 강조됐다.

김봉균 KACI 협회장은 AI 경쟁력이 AI 모델만으로 완성되지 않는다고 밝혔다. 이어 대규모 AI 서비스의 안정적 운영·확장을 위해 GPU·AIDC 등 컴퓨팅 인프라가 필요하고, 이들 컴퓨팅 인프라를 효율적으로 연결하는 클라우드가 필요하다고 설명했다. 아울러 현장 서비스까지의 유기적 결합이 필요하다고 덧붙였다.

정부와 국회 측 인사들은 AI 확산과 현장 혁신을 위한 지원 의지를 밝혔다. 권은태 과학기술정보통신부 과장은 AI 생산성 제고의 조건으로 AI·클라우드·인프라·SW 기업이 영역을 초월해 기술과 경험을 연결해야 한다고 밝혔다. 권 과장은 정부 차원의 정책 지원도 약속했다.

최형두 국민의힘 의원은 국회 과방위 영상 축사를 통해 현장 혁신을 뒷받침하겠다는 입장을 전했다. 최형두 의원은 제도가 현장 혁신을 저해하지 않도록 규제 개선을 추진하겠다고 밝혔다.

이어 행사에서는 공용준 KT클라우드 전무가 발표에 나섰다. 공용준 전무는 첫 번째 기조강연자로 무대에 올랐다.

기조강연 주제는 'GPU를 넘어 AIDC로, AI 인프라 경쟁의 새로운 기준'이었다. 공용준 전무는 AIDC가 단순한 건축·전력 시설을 넘어 'AI 서비스 센터'로 재정의될 필요가 있다고 설명했다.

공용준 전무는 과거에는 GPU만 있으면 사용자가 자체 개발을 진행했다고 짚었다. 현재는 GPU가 공기처럼 당연한 인프라로 자리잡았다고 밝혔다.

그러면서 공용준 전무는 개발자가 즉시 활용할 수 있도록 쿠버네티스를 포함한 클라우드 SW 스택과 오케스트레이션 플랫폼을 구비할 필요가 있다고 말했다. 사진은 공용준 KT클라우드 전무의 발표 장면으로, 사진=권영석 기자다.

서버 랙의 전력 수요가 과거보다 크게 커지면서 전력 밀도 급증과 물리적 한계에 대한 경고가 이어지고 있다. 공 전무는 과거 일반 서버 랙의 전력이 5kW 수준이었지만 최신 GB200 기준으로는 랙당 120kW에 이르렀고, 차세대 아키텍처 베라 루빈(Vera Rubin) 등에서는 랙당 150~200kW까지 갈 것으로 내다봤다. 공 전무는 이 같은 변화로 업계에서 10MW 이하를 엣지 데이터센터로 볼 정도로 규모 기준도 달라졌다고 설명했다.

공 전무는 냉각 방식의 전환 필요성도 강조했다. 공 전무는 공랭식 냉각의 효율이 15%인 반면 액체 냉각의 효율은 85%라며 액체 냉각으로의 전환이 필수라고 밝혔다. 아울러 공 전무는 GPU 간 통신보다 스토리지-컴퓨팅 노드 구간의 데이터 플레인 병목을 해결하기 위한 네트워크 패브릭 설계가 중요하다고 설명했다.

이에 맞춰 KT클라우드는 2031년까지 6조 원을 투자할 계획이다. KT클라우드는 총 1기가와트(GW) 규모의 AIDC를 단계적으로 구축하고, 자체 클라우드 네이티브 플랫폼을 적용해 멀티 리전 전국 기간망으로 연계하는 '서비스형 AIDC' 전략을 추진할 방침이다.

박운영 HPE 상무가 'AI의 한계를 극복하기: HPE Private Cloud AI'를 주제로 발표했다. 사진 표기는 권영석 기자다. 이날 발표에서는 파일럿 단계에 머무는 기업 AI 프로젝트의 현실과 해당 현실의 대안이 제시됐다.

박운영 상무는 기업 AI 프로젝트가 실증 단계에서 생산 단계로 잘 넘어가지 못하는 현실을 수치로 설명했다. 그는 IDC 조사 기준 AI PoC의 실제 양산 전환 비율이 12%라고 밝혔다. 또 MIT 보고서 기준 실제 양산 전환 비율은 5%라고 설명했다.

박운영 상무는 이런 상황을 두고 10개 중 9개 사업이 실패하는 상황이라고 짚었다. 그러면서 GPU 증설을 우선하기보다 ROI가 가능한 양산 체계를 점검할 필요가 있다고 밝혔다. 단순한 GPU 확대보다 수익성을 갖춘 운영 체계 점검이 우선이라는 취지다.

이어 박운영 상무는 시장 중심이 학습에서 추론으로 이동하고 있다고 설명했다. 그는 가트너 데이터 기준으로 2026년 학습 시장과 추론 시장 비중이 5:5라고 밝혔다. 또 2028~2030년에는 추론 시장 비중이 80% 이상이 될 것으로 내다봤다.

박운영 상무는 에이전트 AI 확산으로 쿼리당 토큰 비용이 급증하고 있다고 설명했다. 그는 이런 흐름을 근거로 대형 파운데이션 모델 의존 방식은 감당하기 어려워진다고 밝혔다. 시장 변화와 비용 부담 확대가 맞물리면서 대형 파운데이션 모델 일변도의 접근이 한계에 부딪힌다고 연결했다.

온프레미스 환경에서 기업 자체 데이터 기반 도메인 특화 모델(sLLM)을 운영할 경우 퍼블릭 클라우드 대비 비용을 5배 이상 절감할 수 있다는 분석이 제시됐다.

이어 HPE는 엔비디아와 협력하고 있다고 설명됐다. HPE는 하드웨어·쿠버네티스·500여 종의 AI 오픈소스 툴을 사전 통합 검증한 턴키 어플라이언스 'HPE 프라이빗 클라우드 AI'를 제공한다고 전해졌다.

'HPE 프라이빗 클라우드 AI'는 공공·국방 분야의 망분리 환경을 지원한다. 또 3개월 단위 패치와 무중단 원클릭 업데이트를 지원한다고 소개됐다.

행사 현장에서는 김지훈 네이버클라우드 이사가 발표에 나섰다. 김지훈 네이버클라우드 이사는 마지막 기조강연을 담당했다.

김지훈 네이버클라우드 이사의 발표 주제는 'AIDC의 새로운 전략 : 네오클라우드와 하이퍼스케일러를 아우르는 AI 팩토리'였다. 김지훈 네이버클라우드 이사는 AI 팩토리를 두고 지능을 찍어내는 AI 팩토리라고 밝혔다. 사진 제공 표기는 권영석 기자다.

김 이사는 AX 전환에 따라 AIDC의 성격이 변화하고 있다고 밝혔다. AIDC는 단순 시설에서 고밀도 지능(토큰)을 지속 생산하는 AI 팩토리로 진화하고 있으며, 그 역할도 국가·산업 전반에 지능을 공급하는 생산 기지로 바뀌고 있다고 설명했다.

그는 북미 시장의 전력 규모가 2025년 400MW, 2026년 1GW, 2027년 1.6GW로 급격한 확대를 보이고 있다고 밝혔다. 이를 근거로 GPU 렌탈 중심 네오클라우드(Neo Cloud) 모델과 대규모 안정성을 보유한 하이퍼스케일러 역량의 결합이 필요하다고 주장했다.

김 이사는 네이버클라우드가 6만 장 단일 GPU 슈퍼팟을 운영하고 있고, 하이퍼클로바X 개발 경험을 갖추고 있으며, 인프라~서비스에 이르는 풀스택 역량을 보유하고 있다고 밝혔다. 또 이 같은 역량을 바탕으로 엔비디아로부터 10억 달러 투자 유치 협력을 도출했고, 글로벌 인프라 투자사인 브룩필드와 최대 90억 달러 규모의 협력 MOU를 체결했다고 밝혔다.

네이버클라우드는 전략 추진에 나서 글로벌 AI 오프테이커 대상 대규모 클러스터를 공급하고, 높은 보안 요구에 대응하기 위해 국방·금융 분야를 겨냥한 전용 데디케이티드 클라우드 제공 방향과 온프레미스 폐쇄형 플랫폼 서비스를 앞세우는 구도를 취하고 있다. 네이버클라우드는 이런 공급 축을 바탕으로 아·태 AI 허브 거점 선점을 목표로 하고 있다.

출처: 아이티데일리 (IT DAILY) · 권영석 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241965

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241965