AI 인프라 ‘3막’ 열린다…틈새 파고드는 ‘데스크사이드’

기업용 AI 인프라 시장은 그동안 클라우드와 온프레미스 서버를 기존 축으로 운영돼 왔다. 기존 체제는 클라우드·온프레미스의 2계층이었다. 그러나 시장은 엣지·데스크사이드(Edge/Deskside)를 포함한 3계층 구조로 재편되는 방향으로 움직이고 있으며, 재편 속도는 빠르다.

이 같은 변화는 실무 현장에서 급증한 AI 추론 워크로드에 기존 2계층만으로 대응하는 데 비효율적이라는 한계 인식이 확산한 데 따른 것이다. 퍼블릭 클라우드는 AI 모델의 대규모 사전 학습을 담당하고, 온프레미스 데이터센터는 전사 핵심 데이터 관리와 거버넌스 책임을 맡고 있다.

구조 변화의 배경에는 생성형 AI 활용 중심의 이동이 있다. 생성형 AI 활용의 초점은 모델 학습에서 일상 업무·현장 추론으로 옮겨가고 있다. 이에 따라 기업용 AI 인프라의 구조도 기존의 중앙집중형 처리 방식만으로는 대응하기 어려운 방향으로 바뀌고 있다.

모든 데이터를 중앙 데이터센터나 원격 클라우드로 일괄 전송해 처리하는 방식은 문제를 드러내고 있다. 이 방식은 네트워크 트래픽 비용 증가를 초래하고, 지연 시간(Latency)도 발생시킨다. 이런 이유로 기업용 AI 인프라 시장은 클라우드와 온프레미스 중심의 2계층에서 엣지·데스크사이드를 포함한 3계층 구조로 빠르게 재편되고 있다.

금융·의료·제조 등 민감 산업군을 중심으로 사내 기밀·지적재산권(IP)을 보호하고 데이터 외부 유출을 원천 차단하기 위한 보안 요구가 강화되고 있다. 이 같은 흐름 속에서 '에이전틱 AI(Agentic AI)'의 도입도 확대되고 있다.

에이전틱 AI는 사용자 작업 환경·공장 설비 현장에 적용되며, 현장에서 자율 작업을 수행하는 특성이 있다. 이에 따라 에이전틱 AI의 확산은 중앙 네트워크를 비경유하는 실시간 즉각 반응에 대한 요구를 키우고 있으며, 로컬 연산 거점의 필요성도 급부상하고 있다. 이와 함께 기존 인프라의 기능 공백을 보완하는 대상으로 엣지·데스크사이드 인프라가 새롭게 주목받고 있다.

고성능 AI 워크스테이션·산업용 엣지 어플라이언스를 기반으로 하는 데스크사이드 인프라는 중앙 네트워크 지연 없는 현장 처리와 밀리초 단위 데이터 처리를 통해 높은 실시간성과 서비스 연속성을 보장한다. 또한 민감한 원시 데이터가 단말 외부로 이탈하지 않아 에어갭(Air-gapped) 환경에 준하는 강력한 보안성을 유지할 수 있다. 아울러 소형 언어 모델(sLLM) 파인튜닝·추론의 분산 처리가 가능해 클라우드 API 호출 토큰 비용을 절감할 수 있으며, 기업 투자수익률(ROI) 측면에서도 뚜렷한 이점이 있다.

업계는 AI 인프라가 단일 환경으로 수렴하기보다 클라우드·온프레미스 데이터센터·엣지·데스크사이드로 구성된 하이브리드 3계층 모델로 정착할 것으로 보고 있다. 이 하이브리드 3계층 모델의 특징은 각 계층 역할의 철저한 분업화에 있다.

이 구조에서 클라우드는 대규모 파운데이션 모델의 기초 학습과 범용 연산을 담당한다. 온프레미스 데이터센터는 전사 핵심 데이터 관리와 기업 거버넌스를 담당한다. 엣지·데스크사이드는 일상적 추론과 에이전트 기반 실시간 작업을 전담한다. 이 같은 3계층 구조는 삼분할 협업 체계의 성격을 띤다.

AI 도입 단계가 개념 검증(PoC) 이후 전사적 실무 구현 단계로 진입하면서, 기업 인프라는 중앙 집중형 투자에서 사용자와 가장 가까운 물리적 거점으로 연산 자원을 분산하는 방향으로 재편될 것으로 예상된다. 이에 따라 기업들의 인프라 재편 속도는 가속할 것으로 전망된다.

출처: 아이티데일리 (IT DAILY) · 권영석 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241822

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241822