“AI 인프라, 재사용 플랫폼·상면 확보 체계 갖춰야”

기업이 AI 인프라를 실전 도입하려면 하드웨어 수급에만 집중하는 접근을 지양해야 한다는 제언이 나왔다. 재사용 가능한 플랫폼 체계를 마련할 필요가 있으며, 수도권 상면 부족과 핵심 설비 조달 지연에도 선제 대응이 필요하다는 제언도 함께 제시됐다.

이 같은 내용은 30일 열린 씨이랩 '아스트라고 AIDC 인프라스트럭처 데이 2026' 세션에서 소개됐다. 이번 세션에서는 AI 인프라 전사 확장 방안과 AI 데이터센터(AIDC) 선택 기준이 제시됐다.

연사로는 안주현 델 코리아 이사와 이민우 JLL 이사가 나섰다. 두 연사는 각각 AI 인프라 전사 확장 방안과 AIDC 선택 기준을 중심으로 세션 내용을 발표했다.

안주현 델 코리아 이사는 'AI 인프라 최적화 전략: PoC에서 프로덕션까지 적정 규모로 확장하기'를 주제로 발표했다. 안 이사는 AI 프로젝트가 중단되는 원인으로 모델보다 운영 체계를 짚었다.

사진은 안주현 델 코리아 이사의 발표 장면이다. 사진 표기는 권영석 기자다.

안 이사는 AI 프로젝트의 약 88%가 PoC와 프로덕션 사이에서 정체돼 있다고 진단하며, 그 주된 이유를 모델 성능보다 이를 둘러싼 주변 체계에서 찾았다. 기술 측면에서는 PoC 환경과 운영 환경의 연결이 미흡하고, 조직 측면에서는 AI 운영 책임 주체가 불분명하며, 거버넌스 측면에서는 모델 관리·보안 규정 준수 등 표준 프로세스가 부재한 사례가 다수라고 설명했다.

안 이사는 운영 단계로 갈수록 모니터링·장애 대응·보안·컴플라이언스 요구가 확대된다고 설명했다. 그 결과 운영 단계에서는 아키텍처 재설계가 필요한 사례가 발생한다고 덧붙였다.

이에 대한 해법으로 안 이사는 개별 PoC 중심에서 재사용 가능한 '엔터프라이즈 AI 플랫폼'으로 전환하고, 산발적 프로젝트에서 거버넌스를 적용한 AI 운영 모델로 전환해야 한다고 제시했다. 새 유스케이스 예시로는 챗봇·문서 검색·품질 검사를 들었으며, 새 유스케이스마다 인프라를 신규 구축하는 방식은 지양하고 GPU·네트워크·스토리지 공통 자원과 모델 서비스·벡터 데이터베이스·보안 참조 아키텍처 공통 자원을 재활용해야 한다고 설명했다.

인프라 사이징의 출발점으로는 비즈니스 목표가 제시됐다. 제안 순서는 서비스 기능·피크 시간대 동시 요청 수·응답 시간 목표를 정리한 뒤 사용할 모델을 결정하고, 이어 모델·KV 캐시 메모리를 계산해 적합 GPU를 선택하는 방식이다.

안 이사는 기업들이 GPU 필요 대수부터 묻는 경향이 있다고 밝혔다. 그는 인프라의 출발점은 기술이 아니라 비즈니스라며 비즈니스 목표의 명확화가 필요하다고 설명했다.

안 이사는 비즈니스 목표를 명확히 하면 과도한 투자와 성능 부족을 방지할 수 있다고 밝혔다. 이에 따라 인프라 규모 산정은 기술 사양보다 비즈니스 목표를 먼저 세우는 방식으로 접근해야 한다는 점이 강조됐다.

이민우 JLL 이사는 행사 발표를 통해 AIDC 시장 현황·데이터센터 선택 기준·계약 시 주의사항을 주제로 설명했다. 이 이사는 국내 서버 시장이 2024년 전년 대비 72.7% 성장했다고 밝혔고, 이에 따라 수요 급증과 공급망 병목 심화가 나타나고 있다고 전했다.

이 이사는 GPU 서버 시스템 조달 기간이 2832주에 이르고, 대형 변압기 등 전력 설비 조달 기간은 최대 3648개월이라고 설명했다. 그는 전력 설비 조달 장기화에 따라 데이터센터 준공 지연이 지속되고 있다고 밝혔다.

이 같은 상황에서 수도권 상면 여유는 거의 없는 상태라고 이 이사는 설명했다. 이에 따라 데이터센터 확보와 관련한 신속한 계약 검증의 필요성이 커지고 있다고 발표했다.

수도권 주요 데이터센터의 공실률은 대부분 0%인 것으로 나타났다. 서울에서는 준공·준공 예정 데이터센터 물량의 선임대가 대부분 완료된 상태여서 서울의 가용 상면 부재가 강조됐다. 이 이사는 제도 영향으로 향후 수도권의 대규모 추가 전력 공급도 제한적일 것으로 전망했다.

동시에 최신 GPU 서버의 전력 소모는 최대 랙당 142kW에 이르는 것으로 제시됐다. 이 같은 전력·냉각 요구로 인해 사내 전산실에서는 최신 GPU 서버를 수용하기 어려운 상황이어서 기업들은 전문 임대 데이터센터로 수요를 이동하고 있다. 전문 임대 데이터센터는 초고전력·냉각 설비를 완비하고 있어 서버를 즉시 가동할 수 있는 점이 부각됐다.

이 이사는 고가 GPU를 확보하는 것만으로는 부족하며, 안정 운영을 위한 전용 상면이 없으면 이를 활용할 수 없다고 밝혔다. 이어 데이터센터 계약에서는 신속하고 면밀한 검증이 필수라고 설명했다. 또한 계약 시에는 서류상 스펙보다 구체적 안전장치의 조항을 명시할 필요가 있다고 덧붙였다.

출처: 아이티데일리 (IT DAILY) · 권영석 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241920

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241920