“놀고 있는 GPU 잡는다”…AIDC 병목 뚫는 ‘오픈K-클라우드’ 공개

한국전자통신연구원(ETRI)은 AIDC 병목 해소용 '오픈K-클라우드'를 공개했다. ETRI는 이종 AI 반도체를 단일 클라우드 환경에서 효율적으로 통합해 무중단 서비스가 가능한 플랫폼 기술을 공개했으며, 10일 한국과학기술회관에서 '오픈K-클라우드 데브데이 2026(openKcloud DevDay 2026)'를 개최했다.

이날 기조발표는 최현화 ETRI 기술총괄이 진행했다. 최현화 기술총괄은 AIDC의 구조적 한계를 지적하고, 이 같은 한계를 극복하기 위한 '오픈K-클라우드(OpenKcloud)'의 개발 현황과 주요 성과, 청사진을 제시했다.

최현화 기술총괄은 최근 AI 인프라의 핵심 과제로 가속기 확보 이후 이종 칩의 단일 클라우드 통합 관리와 서비스 연계 운영 역량이 부상하고 있다고 설명했다. 이어 엔터프라이즈 환경에서 원활한 실제 서비스 운영을 지원하기 위한 클라우드 플랫폼 기술이 필수라고 밝혔다.

사진은 최현화 ETRI 기술총괄이 행사에서 발표하는 모습으로, 권영석 기자가 촬영했다. 최현화 기술총괄은 AIDC 인프라 운영의 최대 맹점으로 자원 비효율을 지목했다. 가속기 품귀가 지속되는 가운데 데이터센터 GPU 할당률은 약 75%이지만, GPU 실질 가동률은 50~60% 수준에 머문다고 설명했다.

최현화 기술총괄은 AIDC 운영에서 자원이 충분히 배치돼도 실제 활용이 낮은 이유로 AI 서비스 구조 변화를 들었다. AI 서비스가 에이전트형으로 진화하면서 모델 서빙 외 전처리 로직 처리 수요가 확대되고 있다고 밝혔다. 이에 따라 자원 낭비의 주요 원인으로 CPU 병목과 스케줄링 제약이 나타나고 있다고 설명했다.

그는 가속기 1기당 최소 8~11개의 CPU 코어가 필요하다고 밝혔다. 또 서버 내 GPU 잔여 자원이 존재해도 매칭되는 CPU가 부족하면 GPU 고립이 발생한다고 설명했다. GPU와 CPU의 짝맞춤이 깨지면서 남는 자원이 있어도 이를 실제 서비스에 활용하기 어려운 구조가 된다는 점을 짚었다.

아울러 고밀도 GPU 구조에서는 1개 서버당 GPU 8장을 묶어 운영한다고 설명했다. 그러나 서비스 할당 단위 사례가 4장 또는 6장 GPU인 경우가 있어, 4장·6장 할당 후 남는 1~2장 GPU를 효율적으로 분할 활용하기 어렵다고 밝혔다. 이 같은 서버당 GPU 묶음 구조가 잔여 GPU 활용을 제약하는 요인이라고 설명했다.

최현화 기술총괄은 남는 GPU를 다른 서버 자원과 조합해 분할 활용하는 방식에도 한계가 있다고 설명했다. 네트워크 스위치를 1회 경유할 때마다 레이턴시가 약 20% 증가하기 때문이라고 밝혔다. 그는 GPU 분할 활용의 어려움과 네트워크 지연의 물리적 한계가 자원 활용을 저해하는 요인이라고 설명했다.

글로벌 빅테크 기업 구글·AWS·마이크로소프트는 에이전틱 엔터프라이즈 전환을 추진하고 있다. 이들 기업은 인프라 불균형 해소를 목적으로 쿠버네티스 오케스트레이션 결합과 자체 칩 도입을 함께 추진하고 있다.

ETRI는 같은 과제를 해결하기 위한 수단으로 쿠버네티스 기반 플랫폼 '오픈K-클라우드'를 개발했다. ETRI는 이와 함께 실증 데이터를 공개했다.

'오픈K-클라우드'는 물리 서버에 장착된 가속기를 자동 감지한다. 자동 감지 대상 가속기에는 퓨리오사AI·리벨리온·텐스토렌트 등이 포함된다. 또한 '오픈K-클라우드'는 전용 드라이버·SDK를 무인 프로비저닝한다.

'오픈K-클라우드'의 핵심 기술은 '무중단 롤링 업데이트'다. 이 기술은 서비스 중단 없이 순차 적용하는 방식으로 작동한다. 칩 드라이버를 업그레이드할 때는 실행 중인 작업을 다른 서버(노드)로 자동 이전한 뒤 해당 서버를 안전하게 비우고, 서버를 재부팅 및 복구한다. ETRI는 이를 통해 서비스 비중단 드라이버 업그레이드 관리 체계를 구현했다.

연산 분리 기술은 로컬 서버 AI 가속 자원이 부족할 때 원격 서버 가속기로 작업을 이관할 수 있도록 적용됐으며, 개발자가 코드를 직접 수정할 필요가 없도록 설계됐다. 이 기술은 네트워크 응답 속도와 캐시 상태를 실시간으로 분석해 최적 서버를 선택하는 방식으로 성능 저하를 제한하는 데 초점이 맞춰졌다. 실제로 리벨리온 '아톰플러스'와 텐스토렌트 'P150' 테스트를 수행한 결과, 네트워크 지연 증가폭을 10% 안팎으로 억제했으며, 이를 통해 원격 분산 가속의 실효성을 입증했다.

최 총괄은 그동안 각 기능 실증(PoC)에 집중해 왔다고 밝혔다. 이어 내년부터는 LLM 서비스와 오퍼레이터 운영 전반의 최적화 기술 고도화에 주력할 계획이며, 단순 벤치마크 단계를 넘어설 방침이라고 설명했다. 또한 MRI 기반 질병 예측 등 고난도 의료·바이오 실제 추론 서비스에 국산 NPU를 투입할 계획이며, 상용 레퍼런스 확보도 추진한다고 밝혔다.

출처: 아이티데일리 (IT DAILY) · 권영석 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=242814

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=242814