에임인텔리전스, AI 전주기 '통제' 필요…"피지컬 AI 보안까지 대비해야"

AI 진화 방향이 단순 챗봇에서 AI 에이전트로 옮겨가는 가운데, AI 보안의 핵심 과제로는 '통제'가 부상하고 있다. 에임인텔리전스는 시장 공략의 축으로 AI 전 주기를 포괄하는 '통제 레이어'를 두고 대응하고 있다. 향후 AI 활용 범위가 피지컬 AI를 포함해 확대될 전망인 만큼, 에임인텔리전스는 미래 준비를 가속하며 피지컬 AI 관련 보안 기술을 개발하고 협력 체계를 구축하고 있다.

에임인텔리전스는 지난 7일 AI 리스크 컨퍼런스를 개최했으며, 오후 발표를 진행했다. 발표 주제는 'AI 통제의 최전선: 모델에서 에이전트, 피지컬 AI까지'였다. 이 발표에서는 자사의 AI 보안 전략과 주요 솔루션을 소개했다.

에임인텔리전스의 AI 통제 체계 접근 방식은 공격과 방어를 동시에 적용하는 구조다. 목적은 AI 취약점을 신속히 발견하고, 발견한 취약점을 시스템에 반영하는 데 있다. 공격 측면에서는 자동화 공격 에이전트 '스팅거(Stinger)'를, 방어 측면에서는 '스타포트(Starport)' 플랫폼을 제공한다. 회사는 스팅거가 발견한 취약점을 가드레일 정책에 반영하는 방식으로 취약점을 지속 보완하고 보안을 강화하고 있다.

박하언 에임인텔리전스 CTO는 기존 챗봇 단계에서는 입력·출력 중심으로 AI를 통제할 수 있었지만, AI 에이전트로 전환된 이후에는 기존 방식만으로 전체 과정을 통제하기가 곤란하다고 설명했다. 이어 스타포트는 기업이 사용하는 MCP·툴·에이전트를 파악할 수 있고, 그 사이의 이동 데이터와 행동도 확인할 수 있어 이를 통해 통제가 가능하다고 밝혔다. 스타포트의 기능 수준은 단순 리스크 탐지를 넘어서며, 실제 AI 활용 과정을 통제하는 역할을 한다고 덧붙였다.

에임인텔리전스는 160개 이상의 AI 모델을 대상으로 레드티밍·진단을 진행했으며, 국내외 20개 이상의 대기업에 레드티밍·가드레일 솔루션을 제공하고 있다고 설명했다. 또 가드레일 뒤에서 실제 라이브로 운영되는 유저와 서비스 규모는 1200만명 이상이며, 스타포트로 통제하는 AI 에이전트 규모는 10만 개를 초과한다고 밝혔다.

에임인텔리전스는 AI 활용 확대를 전망하고 있으며, AI 활용 범위가 챗봇과 에이전트를 넘어 피지컬 AI로 넓어질 것으로 보고 있다. 회사는 챗봇→에이전트 전환 사례를 근거로 향후 피지컬 AI 활용 확대를 예상하고, 이에 따라 AI 통제 필요 영역도 확대될 것으로 전망했다. 또 확대되는 영역에 대한 리스크를 사전에 대비하고 있다고 설명했다.

그는 에이전트·챗봇은 텍스트 중심이라 되돌리기가 가능하다고 강조했다. 반면 피지컬AI는 실제 행동으로 이어진 결과를 되돌리기 어렵다고 강조했다. 이에 따라 그는 피지컬AI 전환 시 리스크 대비의 필요성을 강조했다.

에임인텔리전스는 피지컬 AI에 레드티밍·가드레일이 모두 필요하다고 판단하고, 기존 AI 보안 적용 체계를 피지컬 AI에도 동일하게 적용하는 구상을 하고 있다. 이를 위해 현재 개발 중인 가드레일은 로봇이 인식한 주변 환경과 수행 행동을 동시에 분석하고, 행동의 안전성을 판단하는 기능을 갖추도록 하고 있다. 아울러 위험 행동을 차단하는 기능도 개발하고 있다.

관련 협력 체계를 구축한 뒤 '피지컬 AI 시큐리티 컨소시엄'을 출범했다.

이 컨소시엄에서는 피지컬 AI 보안 정의와 벤치마크, 레드티밍 방법, 가드레일 방법을 논의한다. 발언자는 피지컬 AI 시큐리티 분야는 글로벌 차원에서도 아직 해답이 미정이라고 보고, 컨소시엄을 통해 관계사들과 필요한 벤치마크 방향을 검토하고 레드티밍 방식과 가드레일 방식을 검토한다고 밝혔다.

이어 발언자는 AI 전 주기 사이클을 대상으로 통제 레이어를 제공하는 것을 목표로 하고 있으며, AI의 인류 통제 범위 내 활용을 위한 검토를 지속한다고 밝혔다.

출처: 테크월드뉴스 · 김혜진 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=406662

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=406662