“2030년 추론 비중 60%”…오픈 생태계 꾸려야

AI 서비스의 중심축이 거대 모델 학습에서 대규모 상용서비스용 추론으로 이동하는 가운데, 산·관 전문가들은 2030년 추론 비중 60%를 거론하며 특정 글로벌 벤더의 독점을 깨기 위한 오픈 생태계가 필요하다고 제언했다. 개방형 인프라 생태계 구축이 시급하다는 것이 이들의 공통된 문제의식이었다.

이 같은 논의는 4일 AMD가 서울 강남구 웨스틴 서울 파르나스에서 연 'Advancing AI World Tour & AI DevDay Seoul 2026'의 메인 세션에서 진행됐다. 40여 분간 이어진 패널 토론은 한국 AI 인프라 구축과 개방형 생태계 확산을 주제로 마련됐다.

이 자리에는 이도규 과기정통부 정보통신정책실장과 조강원 모레 대표, 김장우 망고부스트 대표가 참석해 의견을 나눴다. 사진에는 왼쪽부터 장정희 AMD 코리아 커머셜 영업 총괄 대표, 김장우 망고부스트 대표, 조강원 모레 대표, 이도규 과기정통부 정보통신정책실장이 담겼다. 사진 표기는 권영석 기자다.

토론은 AI 모델·데이터 구동 위치의 최적 선택을 묻는 질문을 중심으로 시작됐다. 기업 대표들은 인프라 배치와 관련한 산업계의 고민이 뚜렷하게 양분돼 있다고 진단했다.

김장우 망고부스트 대표는 고객군이 2분화돼 있다고 밝혔다. 그는 빠른 서비스 출시를 지향하는 스타트업은 클라우드를 선호한다고 설명했다.

반면 김장우 망고부스트 대표는 대형 기업은 자사 데이터의 외부 반출을 꺼리고 시스템 전체를 사내에 배치하는 방식을 선호한다고 전했다. 다만 자체 구축을 희망하더라도 높은 하드웨어 가격이 문제이며, 과도한 하드웨어 가격으로 TCO 장벽이 발생한다고 덧붙였다.

조강원 모레 대표는 국방·안보·의료 등 민감 데이터 영역일수록 외부 클라우드에 의존하지 않으려는 수요가 존재한다고 말했다. 그는 오픈AI·앤트로픽 같은 외부 클라우드에 기대지 않는 소버린 AI 인프라 수요의 확실성도 함께 짚었다.

앞선 발언은 보안 수준·투입 비용·생산성 간 선택이 단순 IT 부서·개발팀 기술 판단이 아니라고 짚었다. 이어 CEO의 직접 결단이 필요하며, 이는 사업적 득실의 검토 대상이라고 설명했다. 그러면서 이 문제를 전략 영역이라고 강조했다.

정부 측 패널인 이도규 과기정통부 실장은 인프라 패러다임의 구조적 변화를 지적했다. 그는 현재 GPU 인프라가 중심이며 용도는 모델 학습이라고 설명했다. 이어 2030년 워크로드 전망으로 추론 60%·학습 40%를 제시하며, 추론 비중이 학습을 역전할 것이라고 내다봤다.

이도규 실장은 추론 시장이 본격화하면 범용 GPU 일변도에서 탈피할 것이라고 전망했다. 그는 범용 GPU가 막대한 전력·비용을 소요하는 특성이 있다고 설명하며, 전력 효율·가성비가 우수한 국산 NPU 등 특화 가속기의 배치가 중요하다고 제시했다. 아울러 특화 가속기 배치가 국가·기업 경쟁력을 좌우하는 요소라고 밝히고, AMD와 협력한 국산 NPU와 'K-퍼프' 기반 대규모 실증도 언급했다.

패널들은 엔비디아 독점 소프트웨어 플랫폼 '쿠다(CUDA)' 생태계에 안주하는 것만으로는 글로벌 공급망 병목·비용 문제를 해결할 수 없다고 공감했다. 이에 대한 대안으로는 정부·AMD가 추진하는 개방형 컴퓨팅 시스템 협력 모델이 부각됐다.

이도규 실장은 지난해 미국에서 AMD와 체결한 협약(MOU)의 첫 번째 조항이 '국산 NPU와의 연계 및 협력'이었다고 밝혔다. 그는 글로벌 빅테크와의 협약에 국산 칩 연계를 명시한 것은 이례적 성과라고 설명했다. 이어 AMD의 CPU·GPU와 국내 NPU 기업 기술의 결합을 추진하고 있다고 전했다. 또한 특정 기업에 종속되지 않는 글로벌 오픈 생태계 구축이 정부 정책 방향이라고 밝혔다.

현장에서는 개발자들의 높은 쿠다 의존도를 극복하기 위한 실질적 해법도 논의됐다. 조강원 대표는 우수한 반도체만으로는 부족하며 소프트웨어 최적화 능력이 필요하다고 밝혔다. 이어 특정 칩에 의존하지 않고 임의 가속기에 대응할 수 있는 데이터센터 즉시 가동용 소프트웨어 풀스택 역량을 국내에 축적할 필요가 있다고 강조했다.

김장우 대표는 AI 인프라를 GPU·NPU·메모리·스토리지를 개별적으로 분리해 볼 것이 아니라 전체 시스템을 통합한 관점에서 볼 필요가 있다고 밝혔다. 그는 또 가성비를 수치로 입증할 수 있는 테스트베드가 필요하다고 강조했다.

이어 이도규 실장은 공공·민간 시장에서 국산 인프라의 신뢰를 확보하기 위한 구체적 지원책을 소개했다. 그는 개발자들이 익숙한 환경으로 전환하는 핵심 수단으로 객관적 지표와 레퍼런스를 제시했으며, 15개 기관이 공동 개발한 벤치마크 지표인 'K-퍼프(K-Perf)'를 언급했다. 또한 최근 한 기업이 'K-퍼프(K-Perf)'로 100억 원 규모 NPU 도입의 성능 검증을 완료했다고 설명했다. 아울러 내년에는 데이터센터급 대규모 실증 사업을 본격 추진할 계획이며, 내년 사업 방향은 소규모 칩 단위의 검증 단계를 확장하는 데 있고 목표는 시장 진입장벽 완화에 있다고 밝혔다.

토론자들은 마무리 발언에서 향후 1년이 글로벌 AI 경쟁 구도를 좌우할 결정적 골든타임이라는 데 공감대를 이뤘다.

세 인사는 AI 인프라와 반도체 선택의 기준을 각각 제시했다. 김장우 대표는 전체 시스템 통합과 서비스 가성비 입증에 승부를 걸겠다는 입장을 밝혔고, 조강원 대표는 데이터센터 보유 기업들이 엔비디아 외 대체 반도체를 검토해야 할 때라고 당부했다.

이어 조강원 대표는 데이터센터 보유 기업들이 대체 반도체 운용 능력도 시험해야 할 때라고 당부했다. 이도규 실장은 추론 시장이 폭발 국면에 있다며 TCO 관점에서 적절한 시점의 최적 결정이 필요하다고 했고, 국내 AI 생태계의 오픈 플랫폼 내 주도권 확보를 위한 지원을 지속하겠다고 강조했다.

출처: 아이티데일리 (IT DAILY) · 권영석 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=242692

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=242692