사람의 말과 행동 없어도 AI가 사람 뇌파 포착해 이해·판단·행동

한국과학기술원(KAIST) 뇌인지과학과 이상완 교수 연구팀과 마이크로소프트 리서치 아시아(Microsoft Research Asia) 공동 연구진이 AI가 사람의 직접적 언어·행동 지시 없이 인간 뇌 신호를 포착·해독해 자신의 오행동을 인지하고 자율 수정이 가능한 기술을 개발했다. 이미지 제작 수단은 AI다.

연구팀이 개발한 기술명은 신경 가치 정렬(Neural Value Alignment·NVA)이다. 이 기술은 사람의 뇌파를 활용해 AI의 행동을 인간의 의도에 맞춰 실시간으로 조정하는 기능을 갖췄다.

이번 기술은 사람이 말이나 행동으로 명시적 명령을 내리거나 행동을 해석하는 수준을 초과한다는 점에서 기존 대비 차별점이 있다. 사람이 AI의 행동을 보고 느끼는 인지적 반응 자체를 수정의 근거로 활용하도록 구현됐다.

연구팀은 이 기술이 단순히 명령을 해석하는 데 그치지 않고 AI 행동에 대한 인간의 인지적 반응을 실시간 조정에 연결한다고 설명했다. 이에 따라 인간의 뇌파와 교감하는 한 단계 진일보한 AI라는 의미가 부여된다.

현재 AI는 사용자의 음성 명령·손짓·행동 등 외부 관찰 가능 정보를 근거로 의도를 추정한다. 그러나 행동만으로는 의도를 정확히 판별하기 어렵다는 한계가 있다. 예를 들어 컵을 집는 행동만으로는 물을 마시려는지 타인에게 건네려는지 구분하기 곤란하다.

연구진은 이런 '목표-행동의 모호성(goal-action ambiguity)' 문제를 해결하는 데 주목했다. 이를 위해 사람이 AI의 행동을 볼 때 발생하는 뇌의 예측 오류(prediction error) 신호를 주목 대상으로 삼았고, AI의 작업 수행 과정을 보는 참가자의 EEG를 실시간 측정하는 실험을 진행했다.

확인 결과 AI의 행동이 사용자 예상과 다를 때 나타나는 뇌 신호는 하나가 아니었다. 연구팀은 이를 예측 오류 신호 2종으로 분류했다. 보상 예측 오류(Reward Prediction Error·RPE)는 AI가 수행하려는 목표 자체를 잘못 이해했을 때의 신호였고, 상태 예측 오류(State Prediction Error·SPE)는 AI의 목표는 맞지만 목표 달성 행동 방법이 잘못됐을 때의 신호였다.

연구진은 뇌파 분석으로 AI 오류 유형을 구분할 수 있음을 확인했다. 구체적으로는 AI가 '해야 할 일'을 오해했는지 여부와 목표는 이해했으나 방법 선택에 오류가 있었는지 여부를 나눠 파악할 수 있었다. 또 두 오류가 동시에 발생할 때는 별도의 뇌파 패턴도 확인했다.

연구는 이어 그 신호를 딥러닝으로 해석하는 단계로 확장됐다. 연구진은 딥러닝을 적용해 EEG 신호만으로 인간의 AI 행동 수용 방식을 분석하는 기술을 개발했다. 이 과정에서 AI의 SPE 신호를 감지하면 목표는 적합하지만 행동 방법에 오류가 있다고 판단했고, SPE를 감지했을 때는 행동 전략을 변경하도록 했다. 반면 RPE를 감지하면 목표 자체를 오해한 것으로 판단했고, RPE를 감지했을 때는 사용자가 원하는 목표를 다시 파악하도록 했다.

이후 연구팀은 뇌파 해석 정보를 AI에 실시간으로 전달했다. 이를 바탕으로 AI가 자신의 행동을 수정하는 NVA 기반 인간-AI 협력 알고리즘을 제시했다.

기존 AI 수정 방식은 사용자가 재입력하거나 오동작을 직접 지적해야 하는 경우가 다수여서, 사용자가 언어로 다시 지시하거나 오류를 직접 짚어야 해 수정 반응에 한계가 있었다. 이에 비해 NVA 방식은 별도 언어 지시 없이 뇌의 인지적 오류 신호를 AI 피드백으로 활용하는 방식이다. 연구팀은 사용자 목표 급변 상황과 일부 신호 손실 상황을 포함한 시뮬레이션을 진행했고, 그 결과 NVA 방식이 기존 방식 대비 변화한 의도에 더 빠른 적응을 보인 것으로 제시됐다.

이 기술의 유망 활용 분야로는 피지컬 AI가 제시됐다. 휴머노이드 로봇·자율주행차·의료·재활 로봇이 적용 대상으로 제시됐으며, 이들 분야는 실제 세계에서 판단·행동이 필요한 특성이 있다. 이 과정에서는 AI가 인간의 의도를 오해하거나 예기치 못한 행동을 할 가능성이 있고, 이런 경우에는 즉각적 수정이 필요하다. NVA는 말·몸짓뿐 아니라 행동 뒤의 인지적 신호도 AI의 실시간 피드백으로 활용할 수 있는 가능성을 제시했다.

이 기술은 자율주행 분야에 적용될 가능성을 제시했다. 음성 명령이나 조작 없이도 뇌 반응에 기반한 AI가 운전자의 의도와 판단 변화를 파악할 가능성이 있다는 점이 본문에서 제시됐다.

이상완 교수는 이번 연구의 의미가 AI의 인간 의도 추정이 외부 행동 결과를 관찰하는 수준을 넘어, 뇌의 인지 신호와 직접 교감하는 인간 협력으로 확장된다는 데 있다고 설명했다.

연구진은 향후 이 연구가 피지컬 AI, BCI, 자율주행, 정밀 개인화 교육, 의료 로봇, 인간-컴퓨터 상호작용으로 확장될 것으로 전망했다. 연구 결과는 IEEE Transactions on Cybernetics 온라인판에 게재됐으며, 논문 제목은 Neural Value Alignment: Human–AI Collaboration Under Goal–Action Ambiguity이고 DOI는 10.1109/TCYB.2026.3722605다.

출처: 아이티데일리 (IT DAILY) · 조민수 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241530

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241530