AI 에이전트, 검증이 병목…‘통제·기억’ 파고든 삼성

30일 삼성전자 서초사옥에서 '삼성 AI 포럼 2026'이 열렸다. 삼성전자는 행사장 전경 사진을 제공했다. AI 에이전트의 실제 개발 업무 투입이 확대되면서 모델 성능에 가려졌던 문제가 부각됐고, '삼성 AI 포럼 2026'에서는 이런 문제가 반복 제기됐다.

포럼에서는 에이전트의 업무 확대에 따라 사람의 역할이 필요하다는 점이 강조됐다. 사람은 업무 배정 범위를 결정하고 허용 범위를 설정해야 하며, 에이전트가 낸 결과의 정확성도 확인해야 한다는 내용이다. 오픈AI는 자체 추론용 반도체 설계에 에이전트를 투입하면서 기존 검증 도구를 병행 적용하는 사례를 소개했다.

삼성전자 디바이스솔루션(DS)부문은 AI 이용자 권한 관리용 별도 체계와 AI 이용자 사용량 관리용 별도 체계를 구축했다고 밝혔다. 삼성리서치는 에이전트의 이전 작업 장기 기억과 이용자 장기 기억을 연구하고 있으며, 기기 내 작동을 위한 차세대 AI 구조도 연구하고 있다고 소개됐다.

삼성전자가 삼성 AI 포럼을 10회째 개최했다. 올해 포럼 주제는 '에이전틱 시프트: 지능에서 임팩트로(The Agentic Shift: From Intelligence to Impact)'였다. 포럼에는 국내 AI 대학원 교수·연구원 100명과 삼성전자 AI 분야 임직원 300명이 참석했다.

전영현 삼성전자 대표이사 부회장은 AI의 위상이 일상 혁신의 핵심 동력으로 변화했다고 밝혔다. 그는 AI 확산에 따라 보안, 신뢰, 비즈니스 환경과의 조화가 과제로 떠오르고 있다고 짚었다. 또 기술 발전 자체를 넘어 기술 융합의 사회적 파급력을 점검할 필요가 있다고 말했다.

이 같은 문제의식 아래 삼성전자는 에이전틱 AI·피지컬 AI의 실제 업무 연결 방안과 에이전틱 AI·피지컬 AI의 성과 연결 방안을 주요 의제로 다뤘다. 포럼에서는 이들 기술을 실제 현장에 어떻게 접목할지에 대한 논의가 이어졌다.

소제목은 답보다 어려워진 '일 맡기기'였다. 리처드 호 오픈AI 하드웨어 담당 부사장은 챗봇과 에이전트의 차이를 가르는 기준으로 업무를 어디까지 넘겨받는지를 제시했다.

호 부사장은 챗봇과 에이전트의 차이를 질문 응답 중심과 목표 위임·실행 중심의 구조 차이로 설명했다. 그는 챗봇은 질문에 순차적으로 응답하는 형태인 반면, 에이전트는 목표를 수령한 뒤 도구를 활용해 다단계 수행을 하고 결과를 확인·조정한다고 밝혔다. 또 단일 답변 획득에서 에이전트에 업무를 위임하는 방향으로 전환되고 있으며, 사람은 목표·성공 기준을 설정하고 에이전트는 목표와 성공 기준 사이의 실행을 담당한다고 설명했다.

이어 호 부사장은 기업의 에이전트 사용량이 증가하고 있다고 밝혔다. 그는 오픈AI 기업 고객 자료를 기준으로 챗GPT·코덱스(Codex) 합산 출력 토큰 중 코덱스 비중이 64%라고 제시했다. 또 에이전트 활용도 상위 10% 기업과 중간 수준 기업의 사용자당 출력 토큰 격차가 확대되고 있다고 밝혔으며, 사용자당 출력 토큰 격차가 2.6배에서 6월 8.3배 이상으로 커졌다고 설명했다.

다만 호 부사장은 사용량 자체보다 결과를 중시해야 한다고 강조했다. 그는 출력 토큰만으로는 전체를 설명할 수 없다고 밝혔고, 성과 측정 기준은 실제 테스트를 통과한 변경 사항이나 검증이 완료된 분석 등 완성 결과물과의 연결이라고 설명했다.

오픈AI 연구 현장에서는 에이전트의 병렬 실행으로 총 수행시간이 사람의 근무시간을 크게 넘는 수준까지 늘었다. 오픈AI 연구조직 기준으로 8월 중순에는 연구원 1명 8시간 근무일당 에이전트 총 실행시간이 약 3.1일분으로 집계됐다. 기준 시간 단위는 8시간이었다.

이 수치는 여러 에이전트의 병렬 수행시간을 합산하는 방식으로 산정됐다. 에이전트의 실행량이 증가하면서 인간의 역할도 더 명확해졌다고 오픈AI는 설명했다.

인간의 역할은 맡길 문제를 선정하는 일에 집중되는 구조였다. 또 필요 자료를 설정하고 종료 조건을 설정하는 일도 인간의 역할로 제시됐다. 결과를 검토하는 일 역시 인간의 역할에 포함됐다.

리처드 호 오픈AI 하드웨어 담당 부사장은 에이전트 활동이 증가할수록 인간 판단의 중요성이 확대된다고 밝혔다. 그는 에이전트 실행과 함께 실험 설계 역량에 대한 투자가 필요하고, 검토 역량에 대한 투자도 필요하다고 말했다.

리처드 호는 30일 서울 서초구 삼성전자 서초사옥에서 열린 '삼성 AI 포럼 2026' 기조강연에서 이같이 설명했다. 사진은 삼성전자가 제공했다.

오픈AI의 첫 자체 추론용 반도체는 '할라피뇨(Jalapeño)'였다. '할라피뇨(Jalapeño)'의 개발 과정은 이러한 역할 분담이 실제 반도체 설계에 적용된 사례로 제시됐다.

호 부사장은 할라피뇨에서 설계 언어 작성부터 테이프아웃까지 약 9개월이 소요됐다고 밝혔다. 할라피뇨 개발에서는 AI가 하드웨어 설계 변경안을 생성했고, 기존 EDA 도구가 후보안의 동작·전력·성능·면적(PPA)을 검증했다. 검증 결과는 다시 AI에 재입력됐고, 이를 바탕으로 다음 설계안 생성이 반복됐다.

호 부사장은 이 과정의 핵심 요소로 설계 과제와 반복 가능한 탐색, 구체적인 시험을 제시했다. 또 설계 채택 방식은 AI 산출물을 직접 채택하는 구조가 아니었다고 설명했다. AI는 후보 탐색을 담당했고, 기존 엔지니어링 도구는 결과 선별을 담당했다.

이 같은 방식은 개별 설계 블록의 성과로 이어졌다. 사람이 최적화한 설계 대비 행렬 연산 유닛 면적은 10% 축소됐고, 사람이 최적화한 설계 대비 SIMD(Single Instruction Multiple Data) 기능 유닛 면적은 8% 축소됐다.

같은 방식은 소프트웨어에도 적용됐다. 최적화 대상은 딥시크 MLA(Multi-head Latent Attention) 커널이었고, 에이전트를 활용해 최적화가 이뤄졌다. 그 결과 소프트웨어 성과는 처음 정상 동작 구현 대비 성능이 약 287배 향상됐고, 초기 구현 수준은 해당 하드웨어 이론적 성능 상한 대비 0.31%였으나 최종 구현 수준은 해당 하드웨어 이론적 성능 상한 대비 88.94%로 높아졌다.

호 부사장은 AI 에이전트의 탐색 능력과 결과 채택 기준을 구분해야 한다고 설명했다. 그는 탐색 범위는 광범위할 수 있지만, 결과를 수용하려면 매우 구체적 조건이 필요하다고 밝혔다.

그는 분야별로 결과를 받아들이는 객관적 검증 기준이 따로 있다고 짚었다. 수학의 판단 기준은 증명이고, 소프트웨어의 판단 기준은 회귀시험이며, 공학의 판단 기준은 측정, 시뮬레이션이라고 설명했다. 그러면서 에이전트가 자체적으로 정답을 판단하는 것과 별도로 검증 수단이 필요하다는 점을 설명 요지로 제시했다.

이어 그는 AI 사용량과 생산성이 필연적으로 비례하는 관계는 아니라고 밝혔다. 이를 보여주는 사례로 METR의 2025년 오픈소스 개발자 대상 무작위 대조 연구를 제시했다. 이 연구에서는 개발자들이 체감상 AI를 사용할 때 작업 속도가 향상된다고 봤다.

그러나 실제 완료시간은 19% 증가한 것으로 나타났다. 호 부사장은 처음부터 끝까지의 결과가 중요하다고 강조했다. 또한 업무의 측정 범위에는 검토·재작업 시간을 포함한 전체 업무가 들어가야 한다고 말했다.

기업 환경에서는 에이전트가 답변 생성에 그치지 않고 사내 데이터와 개발도구를 직접 처리하므로, 기업 내부 결과 검증에 권한 통제가 추가된다. 이와 관련해 데이비드 그린 AWS 아시아태평양·일본지역 AI 기술 리더는 에이전트 내부가 아닌 주변에 경계를 설정할 필요가 있다고 설명했다.

그는 프롬프트를 기반으로 에이전트 스스로 규칙을 지키도록 하는 데 의존하지 않고, 이용자 권한 범위 내의 데이터와 도구 접근만 허용해야 하며 시스템 차원의 접근 제한이 필요하다고 밝혔다. 이런 방식은 접근 통제를 프롬프트가 아니라 시스템 수준에서 적용하려는 흐름으로 제시됐다.

삼성전자 DS부문과 AWS코리아는 이런 취지로 '어썸 게이트웨이(Awesome Gateway)'를 공동 개발했다. '어썸 게이트웨이(Awesome Gateway)'는 AI 이용 관리 기능을 맡아 이용자가 회사 계정으로 접속하면 게이트웨이가 사용자, 사용 도구, 예산을 확인하고 팀별 예산 설정과 팀별 이용 한도 설정, 허용 모델 지정, 토큰 사용량 기록, 비용 기록을 수행한다.

데이비드 그린 AWS 아시아태평양·일본지역 AI 기술 리더는 삼성전자 DS부문에서 아마존 베드록(Amazon Bedrock) 기반 AI 개발환경을 사용하는 개발자가 1만 명을 넘어섰다고 밝혔다. 도입은 소규모 시범 운영으로 시작해 실제 개발조직으로 확대됐다.

에이전트가 실제 시스템을 다루기 시작하면서 보안 대상은 AI 답변 중심에서 AI의 권한·행동 포함으로 확장됐다. 이에 따라 비공개 문서 접근 차단 원칙이 제시됐고, 이용자에게 열리지 않은 문서는 에이전트도 열람할 수 없도록 해야 한다는 내용이 포함됐다.

보안 운영 측면에서는 도구 사용 제한도 함께 제시됐다. 에이전트는 허가된 도구만 사용해야 하며, 고위험 작업 절차에서는 사람의 최종 승인이 가능하도록 해야 한다는 내용이다.

이와 함께 삼성리서치는 다음 과제로 기억을 제기했다. 장기 업무 수행 에이전트에는 이전 작업·이용자 정보 기억 방식이라는 추가 과제가 있으며, 장기 상호작용 에이전트는 이전 경험을 기억하면서 새 정보를 지속 수용해야 한다.

이 같은 과제를 해결하기 위해 김윤형 삼성리서치 상무는 차세대 에이전틱 인텔리전스(Agentic Intelligence) 아키텍처를 소개했다. 소개 목적은 에이전트 역량·적용 범위 확대에 있다.

이 배경에는 현재 주류 AI가 트랜스포머 기반이라는 점이 있다. 트랜스포머 기반 AI는 문맥 길이가 증가할수록 연산량·메모리 부담이 확대되는 한계가 있으며, 이 부담은 장기 상호작용 에이전트에 불리하게 작용한다.

김 상무는 긴 문맥 처리와 지속학습 구현을 위한 모델 구조 연구 방향을 설명했다. 그는 기존 어텐션+Linear Attention 결합 접근을 소개했고, 긴 문맥의 더 작은 잠재 표현 압축 접근도 소개했다. 해당 연구의 목적은 이전 정보 유지+새 정보 수용의 지속학습(Continual Learning) 구현이라고 밝혔다.

삼성전자는 해당 문제의 엣지 기기 확장을 검토하고 있다. 에이전트 구동 대상은 스마트폰·가전 등 사용자 근접 기기다. 엣지 기기에서 에이전트를 구동하려면 메모리·전력 제약 해소가 필요하다. 아울러 엣지 기기의 과제로는 개인정보의 반복적 서버 전송 최소화와 응답시간 단축이 제시됐다.

이 과정에서 김 상무는 향후 수년 안에 현재의 고성능 AI 모델 수준 기능의 스마트폰·기타 엣지 기기 구현 전망이 비현실적이지 않다고 봤다. 그러면서 그는 클라우드용 모델의 단순 축소·이식보다 기기 메모리·연산 특성을 처음부터 반영한 '온디바이스 네이티브' 아키텍처가 필요하다고 제안했다.

삼성전자는 이날 오후 DX부문 세션에서 '사용자 맞춤형 AI(Personalizing AI)'를 소개했다. '사용자 맞춤형 AI(Personalizing AI)'는 이전 지식을 유지하면서 신규 정보를 학습하고 기억을 수정하는 것을 동시에 지향한다.

삼성전자는 '자가 진화 AI(Self-Evolving AI)'도 소개했다. '자가 진화 AI(Self-Evolving AI)'는 제품 출시 이후 실제 사용 경험과 불편을 분석해 성능을 개선하는 방식이다.

삼성전자는 DX부문 주요 연구 주제로 효율적인 AI·피지컬 AI·지속학습을 제시했다. 피지컬 AI에서는 검증 문제가 있으며, 이는 AI의 로봇 제어와 맞물려 더 까다롭다.

란제이 크리슈나 미국 워싱턴대 교수는 언어모델의 추론 방식을 물리 세계에 그대로 적용하는 데 한계가 있다고 지적했다. 그는 언어만의 추론 대신 스케치를 활용한 공간·움직임의 시각적 추론 방식을 제시했으며, 해당 방식은 소형 모델의 로보틱스 AI 성능 향상을 목적으로 한다.

크리슈나 교수는 패널토의에서 시뮬레이션 기반 로봇 학습 과정에서 예상 밖 행동이 발생할 수 있다며 '환경 해킹' 사례를 소개했다. '환경 해킹'은 AI가 의도된 문제 해결 대신 시뮬레이터의 허점을 활용해 높은 보상을 획득하는 경우를 뜻한다.

사례로는 물체를 벽 너머로 옮기는 과제의 로봇이 제시됐다. 이 시뮬레이션 속 벽에는 실제와 같은 깊이가 없었고, 로봇은 정상적으로 운반하는 대신 물체를 강하게 던져 벽을 통과시켰다. 이 방식은 주어진 평가 기준은 충족했지만 현실에서는 사용할 수 없는 방식이었다.

크리슈나 교수는 이를 바탕으로 피지컬 AI의 전 판단을 하나의 거대한 모델에 맡기는 방식보다 역할별로 나눈 계층형 구조를 제안했다. 이 구조에서는 상위 모델이 계획 수립과 작업 분할을 담당하고, 작고 빠른 하위 모델이 실제 환경 변화 대응을 맡는다. 계층형 구조는 상위 모델의 추론 능력을 활용하면서도 로봇의 현장 빠른 반응을 위해 실행 계층을 분리하는 방식이다.

출처: 아이티데일리 (IT DAILY) · 김병주 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241922

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241922