이병영 교수, “프롬프트 인젝션 피할 수 없다”…‘듀얼 LLM’ 구조로 공격 가능성 낮춰야

7일 AI 리스크 컨퍼런스가 개최됐으며, 이병영 서울대학교 전기정보공학부 교수는 '듀얼 LLM 기술을 활용한 에이전트 보호'를 주제로 발표했다. 이병영 교수는 AI 에이전트 활용 증가에 따라 프롬프트 인젝션 대응 중요성이 확대되고 있다고 강조했다.

이병영 교수는 AI 에이전트가 사용자 요청에 따라 외부 데이터를 확보하고 실제 행동을 수행하는 것이 특징이라고 설명했다. 이는 기존 LLM과 차이로, 외부 데이터 연동과 실행 기능을 갖는다는 점이 포함된다. 외부 데이터 예시로는 웹페이지, 이메일, 로컬 파일이 제시됐다. 그는 이 같은 구조 때문에 외부 데이터 내 악성 코드까지 함께 유입될 수 있고, 그 결과 사용자 의도와 다른 동작이 발생할 가능성이 있으며, 최종적으로 AI 에이전트 사용자 위험이 증대된다고 밝혔다.

이병영 교수는 AI 에이전트의 프롬프트 인젝션 문제는 가드레일만으로 해결하는 데 한계가 있다고 밝혔다. 이에 대한 대안으로 신뢰 기준 아이솔레이션과 '듀얼 LLM' 구조 도입이 필요하다고 했으며, '듀얼 LLM' 구조를 통해 공격 가능성을 최소화할 수 있다고 설명했다.

그는 실제 공격 사례 유형으로 공격자의 웹페이지·이메일 등 외부 데이터 조작, 공격 연결을 들며, 웹 에이전트, 깃허브 코파일럿, 마이크로소프트 365 코파일럿, 퍼플렉시티 코멧을 사례로 제시했다. 그는 AI 에이전트의 문제점으로 사용자 프롬프트와 공격자 제작 데이터의 LLM 컨텍스트 혼합 처리를 언급했고, LLM이 취약한 이유도 해당 혼합 처리 구조에 있다고 설명했다.

그는 이런 취약성에 대한 대응이 필요하다며 외부 데이터와 사용자 명령의 구조적 분리가 필요하다고 밝혔다. 이어 AI 에이전트 프롬프트 인젝션 해결 방식 2가지를 설명했다.

해결 방식 2가지는 가드레일, 듀얼 LLM이며, 두 방식 모두 장단점이 존재한다고 했다. 그는 가드레일이 아닌 듀얼 LLM 방식을 적용해야 더욱 안전성 높은 환경을 구현할 수 있다고 봤다.

가드레일은 인풋·아웃풋 내용 기반으로 사용자 의도 적합성 판단 후 차단 여부를 결정하는 방식이다. 다만 이 방식은 기존과 다른 새로운 공격패턴 대응이 어려운 한계가 있으며, 발언자는 가드레일의 공격패턴 대응 가능성에 의문을 제기했다.

대안으로는 비교 대상인 듀얼 LLM이 제시된다. 듀얼 LLM은 LLM을 신뢰 가능·비신뢰로 구분하며, 비신뢰 LLM에는 리소스 권한을 부여하지 않는다. 비신뢰 LLM에는 샌드박스가 적용되고, 샌드박스 적용 효과로 시스템 자원 권한이 제한된다.

이 구조에서는 외부 데이터에 악성 명령이 포함돼도 실제 시스템에서 해당 작업을 수행하지 못하도록 차단한다. 이에 따라 듀얼 LLM은 프롬프트 인젝션 같은 상황을 보호하는 효과가 있다. 또 신뢰 LLM에는 필요한 결과 또는 레퍼런스만 전달하고, 악성 명령 포함 가능성이 있는 데이터 원문은 전달하지 않는다.

발언자는 듀얼 LLM의 핵심이 공격자 데이터 비노출에 있다고 설명했다. 이어 여러 기업이 듀얼 LLM 구조를 연구 중이라며 언급 기업 사례로 구글 CaMeL과 마이크로소프트 FIDES를 들었다.

발언자는 프롬프트 인젝션이 회피 불가 문제라고 전제했다. 또 LLM 작동 기준은 외부데이터이며 외부 데이터 없는 LLM은 무의미하다고 말하고, 핵심 과제가 외부 데이터 관리 방식에 있다고 설명했다. 그러면서 듀얼 LLM 기반 AI 에이전트 안전 환경 필요성을 강조했다.

출처: 테크월드뉴스 · 김혜진 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=406631

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=406631