삼성 AI, 사용자 경험 배워 스스로 수정하고 행동해 '실수' 줄인다

삼성전자는 제품 출시 후 사용 경험 기반 성능 개선 AI 연구를 공개했다. 이 연구에서는 AI 학습 신호에 작업 실패 기록을 포함하고, 사용자의 오결과 직접 수정 행동도 포함해 이후 같은 실수를 줄이는 것을 목적으로 한다.

다만 새 경험 지속 반영 과정의 과제가 존재한다. 새 학습 내용으로 기존 능력 저하 가능성이 있고, 오래된 정보와 새 정보 충돌 가능성도 있어 삼성은 개인 데이터 기기 내 처리 전제로 무엇을 새로 기억·수정할지를 관리하는 기술을 연구하고 있다.

삼성전자는 9월 30일 '삼성 AI 포럼 2026'을 개최하고 행사에서 관련 연구를 공개했다. 삼성리서치는 이 자리에서 실사용 경험 기반 성능 개선 '자가 진화 AI'와 새 정보 학습과 기존 지식 유지 병행하는 지속학습, 사용자 관련 기억 검증·수정 기술을 소개했다.

지난달 30일 이강욱 삼성리서치 상무는 '삼성 AI 포럼 2026'에서 'Self-evolving AI: 스스로 성장하는 AI'를 주제로 발표했다. 사진은 삼성전자 제공이다.

이강욱 상무는 자가 진화 AI의 필요성을 설명하며 자가 진화 AI의 겨냥 대상으로 롱테일(long-tail) 문제를 제시했다. 롱테일 문제는 전체 이용자 기준으로 발생 빈도가 낮은 특성이 있다고 설명했다.

또 롱테일 문제는 개발 단계에서 개별 대응이 어렵고, 특정 이용자에게는 동일한 불편이 반복될 수 있는 특성이 있다고 밝혔다. 전체적으로는 드문 오류도 개인에게는 매일 반복되는 불편이 될 수 있다는 취지로 설명했다.

대표 사례로는 AI의 가족 이름 오인식을 들었다. 이 사례는 전체 이용자 중 해당 오류를 경험하는 이용자는 소수일 가능성이 있지만, 당사자는 가족 이름을 부를 때마다 같은 문제를 겪을 수 있다고 설명했다.

이강욱 상무는 실제 사용환경에서 지속적으로 학습하는 AI가 이런 문제를 줄일 수 있다고 밝혔다. 사용환경에서 계속 학습하는 AI가 이 같은 반복 불편 완화에 도움이 된다고 설명했다.

삼성은 스마트폰 기차표 예매 과정으로 AI 작동 방식을 제시했다. 초기 요청 문구는 추석 다음 주 수요일 오후 1시에 수서에서 부산 가는 표 하나 예매해줘였다. AI는 열차를 조회한 후에도 조건 부합 여부를 확신하지 못했고, 날짜와 시간 설정을 오가며 반복 검증했다.

삼성은 이런 반복 수행에 이전 경험을 반영하면 작업 성공률이 상승한다고 설명했다. 삼성은 또 불필요한 시도가 감소하고, 수행시간이 감소하며, 토큰 사용량이 감소한다고 설명했다.

삼성은 학습 범위 확대 대상이 AI 자신의 수행 기록에서 사용자의 AI 수정 행동까지 확장됐다고 발표했다. 다만 사용자는 AI에 오류가 있을 때마다 잘못된 점을 설명하지는 않는다고 했다.

삼성은 TV에서 프로그램명을 말했지만 음성인식 오류로 원하는 채널이 나오지 않은 사례를 예시로 들었다. 이 경우 사용자는 오류 원인을 설명하는 대신 리모컨으로 직접 채널을 변경한다. 삼성은 AI 결과 뒤에 이어지는 이런 사용자 후속 행동으로 원래 의도를 추정하는 방식과, 사용자 행동을 성능 개선에 활용하는 방안을 연구하고 있다고 밝혔다. 삼성은 사용자 행동의 의미를 개선을 위한 정보 출처라고 설명했다.

개인 맥락이 필요한 문제는 사진만으로 파악하기 어려운 사례에서 드러난다. 예를 들어 사용자가 내 애착 인형을 찾아달라고 요청하는 경우, AI는 사진 속 인형을 식별할 수는 있다. 다만 여러 인형 가운데 어떤 대상이 사용자에게 특별한 의미가 있는지는 사진만으로 판단하기 어렵다.

이 때문에 방향은 별도의 평가나 설명을 더 요구하기보다 실제 이용 중 자연스럽게 드러나는 행동을 활용하는 데 맞춰진다. 목적은 다음 수행을 개선할 단서를 확보하는 데 있다.

이런 관점은 AI와 대화하는 순간만이 아니라 그 외의 시간에도 주목해야 한다는 주장으로 이어진다. 관점은 이른바 AI와 대화하지 않는 시간에 주목하는 것이다.

사용자 행동 기반 학습을 위해서는 AI 비대화 시간의 기기 사용 경험이 중요하다는 설명이다. 챗GPT·제미나이·클로드 등 AI 에이전트와의 직접 상호작용은 스마트폰 사용 경험 전체의 일부라는 것이 이윤수 삼성전자 MX사업부 부사장의 발언이다.

사진은 이윤수 삼성전자 MX사업부 부사장이 지난달 30일 '삼성 AI 포럼 2026'에서 '삼성 온디바이스 AI 플랫폼'을 주제로 강연하는 모습을 담고 있다.

삼성은 이용자가 AI와 직접 대화하지 않는 동안에도 웹 탐색·사진 촬영·콘텐츠 시청 등 스마트폰을 지속 사용하는 과정에서 쌓이는 정보를 개인화에 활용해 왔다. 이를 위해 삼성은 사용자 정보를 가공·개인화 활용용 데이터 플랫폼을 운용하고 있다.

삼성은 앞으로 에이전트 상호작용 과정에서 생성되는 정보와 기존 데이터 플랫폼을 결합하는 구상을 하고 있다. 이 부사장은 에이전트 외부 사용자 데이터에서 의미 있는 정보를 추출하고 이를 에이전트 상호작용 정보와 결합하는 것이 스마트폰 제조사의 차별화 요소라고 밝혔다. 또 범용 AI 모델의 성능 외에도 기기 상호작용 중 형성되는 사용자 맥락이 개인화의 기반이라고 설명했다.

이 부사장은 지금까지 AI폰은 나를 잘 아는 폰, 나를 잘 이해하는 폰으로 정의돼 왔다고 밝혔다. 이어 다음 단계는 나를 위해 행동하는 폰이라고 밝혔다.

개인화가 확대될수록 AI가 처리하는 정보의 민감도는 높아진다. 삼성은 이에 대응해 기기 내에서 발생하는 데이터를 구조화된 지식으로 가공하는 AI 플랫폼을 개발하고 있으며, 온디바이스 모델을 활용하는 처리 플랫폼도 개발하고 있다.

이 부사장은 해당 과정이 기기 내부에서 수행된다는 점을 설명하며 개인정보 보호 측면을 강조했다. 삼성은 개인화에 필요한 사용자 데이터를 기기 내에 유지하는 방향을 제시했고, 학습 과정도 기기 내에 유지하는 방향이라고 밝혔다.

다만 이는 모든 AI 연산을 단말에서 처리한다는 의미는 아니다. 기능별로는 클라우드 모델을 활용할 수 있으며, 이 상무는 클라우드 모델을 사용하더라도 런타임이 기기에서 작동하면 수집된 사용자 데이터를 클라우드로 이전하지 않고 단말에서 활용할 수 있다고 설명했다.

삼성은 자가 진화 AI 발표에서도 같은 문제를 언급한 바 있다. 특히 사용자의 AI 수정 행동까지 활용할 경우 학습 정보가 증가하게 되며, 이에 따라 저장 위치와 처리 방식이 제품의 설계 조건이 된다고 밝혔다.

데이터를 기기에 저장해도 개인화 문제는 해결되지 않는다. 다음 과제는 기억 정확성이다. 개인화 AI의 핵심 역량은 신규 정보를 기억하는 것과 오래된 정보를 정확하게 갱신하는 것이다.

후안 카를로스 니에블레스 삼성리서치 VP는 사용자 정보를 지속적으로 갱신하는 과정의 문제를 지적했다. 사례로는 AI가 사용자의 가족 일정과 운동시간을 기억하는 경우가 제시됐다. 생활패턴이 변하면 기존 메모리에 새 일정만 추가될 수 있다.

그 결과 예전 정보와 새 정보가 동시에 남게 된다. 이후 AI가 관련 질문을 받으면 충돌하는 정보를 동시에 불러와 잘못된 답을 만들 수 있다.

삼성리서치는 단순 메모리 업데이트 방식의 문제 3가지를 확인했다. 문제 1은 훼손으로, 기존 사실이 잘못된 정보로 변경되는 경우다. 문제 2는 누락으로, 기억해야 할 사실이 소실되는 경우다. 문제 3은 환각으로, 존재하지 않는 사실이 새로 유입되는 경우다.

삼성리서치는 새 정보를 무조건 추가하는 대신 '메모리 에이전트'를 연구하고 있다. 이 체계는 새 사실이 입력되면 기존 기억과 대조한 뒤 추가·수정·삭제 여부를 판단하는 방식이다. 또 기억 변경의 적절성은 별도의 검증기가 확인한다.

이 같은 접근은 자가 진화 AI에 필요한 조건과 맞닿아 있다. 자가 진화 AI는 새 경험을 학습하면서도 기존 능력을 유지할 필요가 있다. 삼성전자는 지속학습 기술을 '이전 지식을 망각하지 않으면서 새로운 정보를 빠르게 학습'하는 기술로 설명했다.

다만 제품이 출시된 뒤에는 이용자별로 학습 내용의 차이가 발생할 수 있다. 이에 따라 초기 검증 상태와 실제 작동 상태 사이의 격차가 확대될 가능성이 있다.

또 새 학습 내용으로 기존 기능의 성능이 저하될 가능성도 있다. 기존 기능의 성능 저하 현상은 '회귀'로 불린다.

이 상무는 실제 제품 적용을 전제로 할 때 초기 모델 이탈 과정의 문제를 방지하는 일이 중요한 제약조건이라고 밝혔다. 또 이용자별로 달라진 AI를 대상으로 지속적인 회귀 검사를 수행하기가 어렵다는 점을 과제로 제시했다.

이 상무는 자가 진화 AI 구현 방안 중 하나로 대안에 해당하는 비매개변수(non-parametric) 방식을 제시했다. 이 방식은 모델 매개변수를 지속 변경하는 대신 경험 기반 지식을 별도로 저장하는 방식이며, 지식 저장 매체의 예시로는 메모리가 제시됐다.

이 상무는 이 방식이 문제 발생 시 원상 복귀가 상대적으로 용이해 더 안전한 접근이라고 판단하고 있으며, 이에 따라 관련 연구에 집중하고 있다고 밝혔다. 또 AI와 함께한 시간이 더 나은 경험으로 이어지는 것이 자가 진화 AI의 지향점이라고 설명했다.

출처: 아이티데일리 (IT DAILY) · 김병주 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241948

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241948