[테크 리포트] 말한 대로 작동하는 '티맵', AI가 AI를 개선하는 방법

티맵(TMAP)은 정형 명령어 기반 단순 음성 안내에서 자연어의 맥락·의도 파악형 대화 서비스로 발전하고 있다. 티맵은 사용자 발화의 맥락과 의도를 이해하는 방향으로 서비스 고도화를 추진하고 있다.

이 과정에서 핵심 모델인 '티맵 플래너(Planner)'가 사용자 의도를 파악한 뒤 적절한 서비스 영역으로 연결하는 역할을 맡는다. 티맵 플래너(Planner)는 중간 단계에서 요청을 적절한 도메인으로 연결하는 역할을 수행한다.

티맵 플래너(Planner)의 기능은 사용자 발화를 분석하는 데서 출발한다. 이어 처리 담당 도메인을 판단하고, 해당 도메인이 이해할 수 있는 형태로 요청을 정리·전달한다.

서비스 품질을 결정하는 요소는 AI 모델 자체만은 아니다. 서비스 품질은 학습 규칙·데이터와 개선 속도에도 좌우된다.

이에 따라 SK텔레콤은 학습·검증 과정에 AX를 적용했다. 사람이 일일이 확인하기 어려운 규모의 데이터에 대해 AI가 대규모 데이터의 반복 검증을 수행하도록 했으며, 이를 통해 오류 원인을 더 신속하게 탐색하고 개선할 수 있는 체계를 마련했다.

앞서 설명한 방식에 따라 티맵은 사용자의 다양한 표현을 이해하는 정확도를 높이고 있으며, 의도와 다른 기능이 실행되는 사례도 줄여가고 있다.

이 과정에서 티맵은 음성 요청 처리 영역을 '도메인'으로 나눠 운영하며, 도메인은 모두 14가지다. 도메인에는 길 안내, 정보 검색, 일상 대화, 음악 재생, 음량 조절, 전화·문자, 날씨·뉴스 조회 등이 포함된다.

티맵 플래너는 사용자의 발화를 들은 뒤 14가지 도메인 가운데 어느 영역이 맡아야 하는지 판단한다. 이어 요청을 각 도메인이 곧바로 이해할 수 있는 형태로 정리해 전달한다.

특히 짧거나 일부 표현이 생략된 발화에서도 의도를 파악해야 한다. 예를 들어 '집으로'라는 발화는 '가자'나 '안내해줘' 같은 표현이 없더라도 길 안내 요청으로 해석하는 대상이다.

대화가 이어질수록 플래너의 역할은 더 중요해진다. '집으로'라는 발화 뒤 길 안내가 시작된 상황에서 후속 요청으로 거기 근처 주유소를 경유해달라는 말이 나오면, '거기'가 가리키는 의미를 이전 대화의 맥락과 함께 이해해야 한다.

티맵 플래너는 사용자의 발화를 '집 근처 주유소 경유해줘' 형태로 정리한 뒤 길안내 도메인에 전달하며, 사용자의 발화를 듣고 첫 방향을 결정하는 주체다.

이 판단이 빗나가면 사용자 기대와 다른 도메인이 실행될 수 있어, 플래너 정확도는 티맵 음성 서비스 전체 경험을 좌우한다.

티맵 플래너는 사람이 모든 경우를 사전 지정한 프로그램이 아니며, 여러 예시를 반복 관찰해 판단 기준을 학습하는 AI 모델이다.

따라서 플래너 개선의 초점은 AI 모델을 직접 수정하는 것보다 학습 재료를 정비하는 데 가깝고, 학습 재료는 2가지로 나뉜다. 첫 번째 재료는 어떤 말을 어느 도메인으로 연결할지 정리한 '판단 규칙'이며, 두 번째 재료는 규칙에 따른 실제 발화와 판단 결과를 기록한 '예시 데이터'다.

티맵 플래너는 티맵 플래너 학습 기반 규칙·예시 데이터를 함께 바탕으로 판단 기준을 익힌다. 이와 관련한 데이터 규모는 사용자 발화·플래너 판단·각 도메인 응답을 포함해 약 2만5900행이다.

이 과정에서는 규칙과 예시 데이터 사이의 불일치가 문제로 이어질 수 있다. 규칙의 '길안내 요청'과 예시 데이터 분류가 불일치하면 AI가 상충 내용을 학습하게 된다.

또한 규칙·데이터의 작은 오류도 실제 서비스 사용자 요청 오분류로 연결될 가능성이 있다. 이에 따라 AI 모델의 기준 습득 여부를 확인하는 과정이 필요하다.

이를 위해 일부 예시 데이터는 학습 과정에서 제외한다. 이후 학습을 완료한 모델이 미경험 발화에 대해 판단 정확성을 보이는지 확인한다.

이 검증의 목적은 정답 문장 암기 여부를 보는 데 있지 않다. 유사 표현에도 동일 원칙 적용 가능성을 확인하는 데 목적이 있다.

SKT텔레콤은 티맵 플래너의 반복적 학습·검증 과정 효율화를 위해 AI 기반 '티맵 플래너 AX'를 적용했다.

기존에는 새 이슈가 들어오면 사람이 원인 규명부터 규칙·데이터 수정까지 맡았다. 기존 방식은 이슈 접수 때마다 사람이 원인 분석을 하고 판단 규칙을 직접 수정하며 데이터를 직접 수정하는 구조였다. AX 적용 전에도 새 이슈 발생 때마다 개발자가 규칙을 직접 수정하고 영향을 개별 판단했다.

운영 중에는 예상 밖 표현과 신규 요청이 지속 발생했다. 그러나 변경 사항의 2만5900행 전체 데이터 부합 여부를 전수 확인하는 일은 인간이 수행하기 어려웠다.

티맵 플래너 AX는 AI가 접수 이슈와 기존 규칙을 분석하는 방식으로 작동한다. AI는 오류 원인을 1차로 판단 규칙 부족 여부와 예시 데이터 부족 여부로 구분한다.

이후 AI는 수정안을 생성하고 보강 예시를 생성한다. 이어 전체 데이터와 모델 결과를 대상으로 반복 검증을 수행한다. 검증 기준은 정해진 기준 부합 여부다.

이에 따라 AX 적용 후에는 AI가 선행 원인 분석과 수정안 제안을 맡게 됐다. 사람은 AI 산출물의 서비스 적합성을 검토하고 최종 승인하는 역할을 맡는다. AX 적용 후 사람의 업무는 직접 수정과 영향 추정보다 서비스 품질 판단에 집중하는 방향으로 변화했다.

반복 검증 범위가 커지면서 대규모 데이터 반복 검증이 가능해졌고, 사람의 손이 닿기 어려웠던 범위까지 검증이 확대됐다. 이에 따라 사용자 다양한 표현에서 발생 가능한 오류 탐지 범위가 확대됐고, 오류 개선 가능성도 향상됐다.

실제로 사용자의 "볼륨 알려줘" 직후 "볼륨 업으로 가자" 요청이 발생한 사례가 있었다. 이때 티맵 플래너는 "볼륨 업으로 가자"를 길 안내가 아닌 음량 조절 요청으로 판단하는 오분류를 보였다.

이 문제를 해결하는 데에는 예시 몇 개를 추가하는 것만으로는 부족했다. 이에 "볼륨 업"과 "볼륨 업으로 가자"를 기존 규칙과 비모순이 되도록 함께 정리하고, 헷갈리기 쉬운 유사 발화 성격의 학습 데이터로 "볼륨 다운으로 가자", "사운드로 가줘", "뮤트로 출발해"를 추가했다.

다만 "볼륨 업으로 가자"는 학습 데이터에 포함하지 않고 시험 문제로 유지했다. 이후 검증에서는 새로 학습한 모델이 동일 상황을 어떻게 판단하는지 확인했고, 검증 목표는 "볼륨 업으로 가자"를 길안내 요청으로 올바르게 분류하는 것이었다. 그 결과 이후 동일 문제의 재발은 없었다.

티맵 플래너 AX는 AI가 반복적 학습·검증을 담당하고, 개발자가 판단 규칙 결정·서비스 품질 결정에 집중하도록 역할을 나누는 운영 방식이다. 이 방식에서 반복적 학습·검증의 담당 주체는 AI이며, 개발자는 서비스 품질 판단에 집중한다.

티맵 플래너 AX의 방식은 AI 정확도 향상을 위한 학습 재료 정제·결과 반복 검증이다. 이를 통해 개발자는 판단 규칙 결정과 서비스 품질 결정에 집중하는 구조를 갖췄다.

이 구조의 효과로는 음성 요청 오분류 오류 감소가 있다. 또 신규 이슈 발생 시 원인을 더 빠르고 일관되게 파악·개선하는 체계를 확보하고, 새로운 표현·서비스 이슈에 더 빠르고 일관된 대응이 가능해지는 티맵의 대응 역량도 기대한다.

티맵 플래너 AX의 목표는 자연스러운 발화에도 의도와 다른 기능 실행 경험을 축소하는 것이다. 그 결과 이용자는 '말한 대로 되는' 음성 서비스의 더 자연스러운 경험을 하게 된다.

출처: 테크월드뉴스 · 이광재 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=407127

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=407127