레드햇, ‘레드햇 AI 3.5’ 출시…엔터프라이즈 AI 안전성·관측성 강화

레드햇은 10일 자사 AI 포트폴리오 전반의 주요 업데이트를 발표하고 '레드햇 AI 3.5'를 출시했다. 레드햇은 기업의 AI 활용 단계가 초기 실험·파일럿 프로젝트를 넘어 본격 활용으로 진입했다고 보고, 이에 따라 IT·플랫폼 엔지니어링 담당자의 AI 관리 수준도 미션 크리티컬 인프라와 동일한 수준으로 요구된다고 설명했다.

이 같은 배경에서 레드햇은 엔터프라이즈 AI 운영의 안전성을 높이고 관리 효율을 향상시키는 것을 목표로 새 버전을 선보였다. 레드햇은 레드햇 AI 3.5의 초점이 하이브리드 클라우드 전반의 AI 워크로드에 대한 통제·보안·관측 기반을 제공하는 데 있다고 설명했다.

레드햇 AI 3.5에는 안전성 검증과 멀티테넌시, 에이전틱 개발, 관측성 기능이 통합됐다. 이를 통해 파편화된 도구 문제를 줄이고 수작업 중심 운영 문제를 완화하려는 의도라고 레드햇은 밝혔다.

레드햇 AI 3.5가 안전성 기능과 관측성 기능을 추가하며 기능을 확장했다. 안전성 측면에서는 EvalHub가 모델 배포 전 검증을 지원하고, 리스크 중심 안전성 벤치마킹을 지원하며, 규제 준수 인증서 생성을 지원한다. 관측성 측면에서는 신규 관측성 대시보드가 추론 상태 실시간 지표와 GPU 활용률 실시간 지표, AI 모델 성능 실시간 지표를 제공한다. 또한 관리자 권한이 없는 사용자도 사용자별 토큰 사용량을 확인할 수 있고, 쇼백(showback) 대시보드와 분산 추론 워크로드 대시보드에 접근할 수 있다.

레드햇 AI 3.5는 엔터프라이즈 플랫폼 기능도 확장했다. 완전한 격리가 필요한 AI 사용 사례에 대응하기 위해 멀티테넌시 기능을 개선했으며, 이는 AI 서비스 제공업체와 하드웨어~소프트웨어 전 구간의 완전 격리를 요구하는 대상 환경을 겨냥한 것이다. 아울러 GPU 공유 환경에서는 네이티브 멀티테넌시를 지원하고, priority-aware serving을 지원한다.

레드햇은 레드햇 오픈시프트 버추얼라이제이션(Red Hat OpenShift Virtualization) 배포 환경의 레드햇 오픈시프트(Red Hat OpenShift) Hosted Control Planes 운영을 공식 지원한다. 또 레드햇 오픈시프트 버추얼라이제이션 가상머신(VM)에서 AI 워크로드를 실행할 때 공유 GPU 지원 인프라 전반에 VM 수준 격리를 추가한다.

이 구성으로 인프라 제공업체는 전체 기반 환경을 단일 제어 지점에서 운영하고 업그레이드할 수 있다.

레드햇 AI 3.5는 거버넌스를 적용한 AI 에이전트 구축 기능을 지원한다. 오토RAG는 기업 데이터 저장소와 에이전틱 애플리케이션을 직접 연결한다. 오토RAG는 다국어 문서를 지원하고, 대화형 테스트와 문맥 기반 검색 기능도 제공한다.

레드햇 AI 3.5는 시각화된 파이프라인을 통해 배포 전에 RAG 구성을 확인·검증할 수 있도록 한다. 또 에이전트 템플릿의 사전 구성 구현을 제공하며, 대상 패턴으로는 코드 리뷰·문서 처리·리서치 워크플로 등 기업 활용 패턴이 포함된다. 배포 후에는 '인퍼런스 타임 스케일링(Inference-Time Scaling)'을 적용한다.

이 기능은 '인퍼런스 타임 스케일링(Inference-Time Scaling)'을 통해 쿼리 복잡도별로 연산 자원을 조절하는 방식이며, GPU 비용 관리가 목적이다.

조 페르난데스 레드햇 AI 사업부 부사장 겸 총괄 매니저는 AI 논의 중심의 프로덕션 환경 도입 단계에서 신뢰 가능한 엔터프라이즈 인프라를 기반으로 한 대규모 운영 단계로 이동하고 있다고 설명했다. 그는 대규모 운영의 요건으로 안전성 검증 자료와 거버넌스를 갖춘 에이전트, 비용 배분, 멀티테넌시를 제시했다. 이어 레드햇 AI 3.5가 하이브리드 클라우드 전반의 AI 운영을 위한 운영 제어력과 검증 가능한 신뢰성, 에이전틱 기반을 제공하는 가치가 있다고 밝혔으며, 운영 목표로는 안전하고 통제되며 책임성 있는 엔터프라이즈 AI 아키텍처를 제시했다.

출처: 아이티데일리 (IT DAILY) · 양승갑 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241523

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241523