클라우데라, 엔비디아와 협력해 ‘아파치 스파크’ 가속…클라우드 비용 절감
아이티데일리 (IT DAILY) ·
✦ AI 요약
클라우데라는 기업의 AI 데이터 준비 속도 과제에 대응해 스파크 처리 성능 개선 기능을 발표했다.
클라우데라 데이터 엔지니어링에는 엔비디아 cuDF 기반 아파치 스파크 4.1용 네이티브 GPU 가속 기능이 도입되며, 클라우데라 애니웨어 클라우드도 지원 예정이다.
이 기능은 코드 변경 없이 스파크 워크로드를 가속해 처리 시간과 클라우드 인프라 비용을 줄이고, 보안·거버넌스는 유지하도록 했다.
클라우데라가 데이터 엔지니어링 고도화를 추진한다. 목적은 기업의 AI 데이터 준비 속도 확보 지원이다. 클라우데라는 20일 기업의 AI 도입 확대에 따른 데이터 준비 속도 과제에 대응해 스파크 처리 성능 개선 기능을 발표했다.
이번 발표에 따르면 클라우데라 데이터 엔지니어링에는 엔비디아 쿠다-X 라이브러리 'cuDF' 기반 아파치 스파크 4.1용 네이티브 GPU 가속 기능이 도입된다. 아파치 스파크용 엔비디아 cuDF 플러그인은 클라우데라 애니웨어 클라우드 지원 예정이기도 하다.
클라우데라는 대규모 스파크 워크로드의 경우 완료까지 수 시간 소요 사례가 다수라고 설명했다. 이처럼 대규모 스파크 워크로드가 장시간 소요되면 분석·AI 애플리케이션 도입이 지연되고 클라우드 컴퓨팅 비용이 증가한다고 설명했다.
클라우데라는 GPU 가속 기능을 직접 통합하면 기존 스파크 애플리케이션·운영 워크플로우 변경 없이 처리 시간을 단축할 수 있다고 설명했다. 이에 따라 파이스파크·SQL 코드 수정 없는 스파크 워크로드 가속이 가능하고, 하이브리드 환경 전반 클라우드 인프라 비용 절감 가능, AI 레디 데이터 준비 속도 향상 가능 효과를 기대할 수 있다.
아파치 스파크는 다수 기업 데이터 파이프라인에 활용되고 있다. 클라우데라는 클라우데라 데이터 엔지니어링에 네이티브 GPU 가속 기능을 내장해 기업이 운영 워크로드의 보안·거버넌스를 유지하면서 성능을 향상할 수 있도록 했다고 밝혔다.
클라우데라는 스파크 워크로드에 엔비디아 cuDF를 활용할 예정이며, 엔비디아 GPU를 통해 기존 CPU 인프라 대비 최대 4배 워크로드 가속을 지원할 예정이다.
이번 기능은 아파치 스파크 4.1 워크로드를 대상으로 코드 변경 없는 '제로 코드' GPU 가속을 제공하며, 분석·AI용 ETL·데이터 준비 속도 향상, 컴퓨팅 실행 시간 단축, 클라우드 인프라 비용 절감이 가능하다. 또한 수동 드라이버 설정이 불필요한 내장형 배포를 지원하고, 클라우데라 통합 데이터 패브릭 기반 엔터프라이즈급 보안·거버넌스를 제공한다. 퍼블릭 클라우드·프라이빗 클라우드·소버린 클라우드·온프레미스 전반에서 일관된 성능도 지원한다.
클라우데라 측은 많은 기업의 AI 걸림돌이 모델 자체가 아니라 원시 데이터를 신속하게 신뢰 가능하고 활용 가능한 인사이트로 전환할 수 있는지 여부에 있다고 설명했다. 레오 브루닉 클라우데라 최고제품책임자(CPO)는 클라우데라 데이터 엔지니어링 내부의 스파크 가속이 해당 병목을 해소하고, 고객의 데이터 준비 단계에서 분석·AI 단계로의 이동을 가속하면서도 거버넌스·보안·운영 일관성을 전략 중심에 유지한다고 밝혔다.
이어 팻 리 엔비디아 전략적 기업 파트너십 부사장은 엔비디아 AI 인프라와 쿠다-X 라이브러리가 클라우데라 데이터 엔지니어링에 네이티브 통합됐다고 설명했다. 그는 이를 바탕으로 기업이 파이스파크·SQL 코드를 수정하지 않고도 아파치 스파크 파이프라인 비용을 절감하고 속도를 향상해 비즈니스 데이터를 AI 기반으로 전환할 수 있다고 전했다.
출처: 아이티데일리 (IT DAILY) · 양승갑 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241120
참고자료
이 기사는 자동생성 알고리즘의 도움을 받아 작성되었습니다.
출처 아이티데일리 (IT DAILY)
원문 확인이 기사는 아이티데일리 (IT DAILY) 원문을 바탕으로 비즈크러시가 요약 정리했습니다. 정확한 인용과 세부 내용은 원문을 확인해 주세요.