솔트웨어, ‘AI 게이트웨이&클로드 코드’ 핸즈온 세미나 개최

솔트웨어는 16일 'AI 게이트웨이&클로드 코드' 핸즈온 세미나를 개최했다고 밝혔다. 이번 세미나는 기업이 AI Gateway와 Claude Code를 통제된 내부 환경에서 운영하는 방법을 익히도록 구성된 직접 실습 핸즈온 형식으로 진행됐다.

세미나는 기업 LLM 운영에 필요한 체계를 직접 구축하는 프로그램 성격으로 마련됐다. 참가자들은 여러 AI 모델의 하나의 엔드포인트 통합 체계와 사용자별 접근 권한 관리 체계, 비용 관리 체계, 민감 정보 유출 방지 체계, 사용 데이터 관리 체계를 구축하는 내용을 실습했다.

프로그램은 AI Gateway의 필요성과 역할, 아키텍처를 이해하는 과정으로 시작됐다. 이후 세미나는 LiteLLM 활용 AI Gateway 구축 실습을 중심으로 진행됐으며, LiteLLM·Amazon Bedrock 활용한 기업 AI Gateway 구축 실습과 Claude Code의 사내 통제 환경 운영 방법 실습이 이어졌다.

사진은 'AI 게이트웨이&클로드 코드' 핸즈온 세미나 현장을 담고 있다.

세미나에서는 참가자들이 여러 LLM 단일 엔드포인트 통합용 LLM 프록시(Proxy)를 구축했다. 이 과정에서 사용자별 접근 권한 관리, 사용자별 예산 관리, 사용자별 비용 추적, 일자별 비용 추적, 반복 호출 비용 절감용 캐싱, 반복 호출 지연 감소용 캐싱, 민감 정보 유출 차단 가드레일, LLM 사용 데이터 확보용 로깅 등 주요 기능을 확인했다.

이어 아마존 베드록 기반 클로드 코드 활용 환경에 LiteLLM을 적용했다. 세미나에서는 클로드 코드를 사내 통제 범위 내에서 운영하는 방법을 다뤘고, 기업의 클로드 코드 활용 시 사용 환경 관리·통제 방안을 검토했다.

행사는 조직 내 LLM 도입을 검토 중인 기술 리더, 조직 내 LLM을 이미 사용 중인 기술 리더, AI Gateway와 LiteLLM 활용에 관심 있는 개발자와 엔지니어, 사내 LLM 사용 환경 표준화를 추진하는 플랫폼 엔지니어, LLM 사용 비용 파악·통제를 목적으로 하는 인프라 운영자, 민감 정보 유출 등 AI 사용 리스크를 관리하는 보안 담당자를 대상으로 진행됐다.

이정근 솔트웨어 대표는 기업의 LLM 활용이 확대되면서 다양한 AI 모델의 효율적 연결의 필요성이 증대하고, 접근 권한·비용·민감 정보 등 AI 사용 전반의 체계적 관리 환경의 중요성도 증대하고 있다고 밝혔다. 또 이번 세미나에서 LiteLLM 기반 AI Gateway 구축부터 클로드 코드 활용까지의 체험 기회를 제공했다고 밝혔다.

이 대표는 이번 세미나가 기업의 실제 AI 운영 환경에 적용할 수 있는 방법을 직접 경험할 기회를 제공했다고 밝혔다. 아울러 솔트웨어는 8일 데이터브릭스(Databricks) DPP(Delivery Partner Program) 파트너 자격을 획득했다.

출처: 아이티데일리 (IT DAILY) · 권영석 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241652

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241652