테라데이타 “AI 활용 가로막는 ‘맥락의 공백’…데이터 의미 연결해야”

AI 활용을 저해하는 요인으로 맥락의 공백이 지목됐다. AI의 실질적 성과를 내려면 데이터에 업무상 의미와 관계가 반영돼야 한다는 점이 전제조건으로 제시됐다. 데이터 축적이 충분한 경우에도 해석에 필요한 맥락이 부족하면 신뢰 가능한 결과를 도출하기 어렵다는 설명이다.

글로벌 데이터·AI 기업인 테라데이타는 14일 서울 여의도에서 그룹인터뷰를 개최했다. 테라데이타는 기업 데이터 관리·분석과 AI 활용 지원 사업을 하고 있다.

이 자리에서 테라데이타는 데이터의 업무 의미를 연결할 필요가 있고, 변경 이력 관리도 필요하다는 점을 강조했다. 데이터 자체의 양보다 해석 가능한 맥락의 확보가 중요하다는 취지다.

조쉬 애보트 테라데이타 아시아 태평양 및 일본 담당 부사장은 AI 모델의 성능이 향상됐고, AI가 해결 가능한 문제도 증가했다고 설명했다. 다만 AI에 입력되는 데이터의 범위가 과도하다는 점도 함께 짚었다.

조쉬 애보트 테라데이타 아시아 태평양 및 일본 담당 부사장은 AI 입력 데이터의 의미가 모호한 문제가 있다고 밝혔다. 14일 서울 여의도 그룹인터뷰에서 조쉬 애보트 테라데이타 아시아 태평양 및 일본 담당 부사장이 질의응답하는 모습의 사진도 함께 제시됐다.

애보트 부사장은 데이터 관리 체계를 갖춰도 데이터와 업무상 의미 사이에는 맥락의 공백이 남을 수 있다고 지적했다. 데이터 카탈로그를 구비하는 것만으로도 데이터의 위치와 사용 현황은 파악할 수 있다. 그러나 데이터 카탈로그만으로는 업무상 의미와 해석 방식을 정리하는 데 불충분할 가능성이 있다고 봤다.

이 같은 간극의 사례로는 테라데이타가 아시아태평양 지역 대형 고객을 대상으로 수백만 데이터 칼럼을 점검한 결과가 제시됐다. 이 점검에서 비즈니스 의미를 포함한 칼럼의 비중은 1% 미만이었다.

또한 데이터는 원천부터 최종 활용 지점까지 다수의 중간 단계를 거친다. 이 때문에 이동·변환 경로와 의미를 추적하는 일의 복잡성이 커진다. 애보트 부사장은 데이터의 속성값만으로 의미를 파악하려 하면 혼란이 생길 수 있다고 밝혔다. 이어 사용 주체와 대상을 파악하는 문제와 의미를 이해하는 문제는 별개라고 설명했다.

애보트 부사장은 맥락을 확보한 이후에도 지속적인 관리가 필요하다고 강조했다. 시스템별로 데이터의 의미가 다를 가능성이 있기 때문이다. 또한 특정 환경에서의 해석은 다른 업에서는 부적합할 가능성이 있다고 짚었다.

발언자는 데이터 제품에서 변화가 발생할 때 이를 포착할 필요가 있다고 강조했다. 또한 모든 변경 사항을 지식 그래프에 기록하고 버전 관리할 필요가 있다고 강조했다.

이처럼 앞서 제기된 데이터 제품 변경 관리의 공백을 줄이기 위한 핵심 전략으로 테라데이타는 '테라 컨텍스트 엔진'을 제시했다.

애보트 부사장은 '테라 컨텍스트 엔진'이 데이터 이동·변환 이력과 업무상 의미·관계를 연결한다고 설명했다. 그는 이 엔진의 역할이 AI 활용에 필요한 맥락을 제공하는 것이라고 설명했다.

애보트 부사장은 또 변경 사항 추적을 통해 맥락을 지속적으로 관리한다고 설명했다. 이어 자연어 기반으로 기업 데이터 작업을 수행하는 에이전틱 코워커 '테라'를 소개했다.

아울러 작업에 필요한 도구·데이터·모델을 조율하는 실행 계층 '테라 하네스'를 소개했다. 발언자는 고객 편의를 위해 벤더·모델 중립으로 구성했다고 밝혔다. 또한 자체 개발 AI 모델과 외부 프론티어 모델을 모두 사용할 수 있다고 설명했다.

테라데이타는 한국 시장 투자 계획을 공개했다. 회사는 한국 시장 투자 방향으로 컨텍스트 엔진 등 개념검증(PoC) 수요 대응용 기술 인력 지원을 우선 추진한다고 밝혔다. 조쉬 애보트 테라데이타 아시아 태평양 및 일본 담당 부사장은 한국 AI 모멘텀이 타국 대비 더 강력하다고 인식하고 있으며, 고객의 PoC 요청에 즉시 지원 가능한 기술 인력을 제공하는 것이 첫 번째 투자라고 설명했다.

테라데이타는 이어 마케팅 등 분야의 인력 채용을 준비하고 있다고 밝혔다. 아울러 파트너 생태계 확대도 준비하고 있다고 설명했다.

이번 내용은 그룹인터뷰 주요 질의응답 일문일답을 정리한 것이다. 이 가운데 질문 주제는 테라 컨텍스트 엔진과 기존 데이터 카탈로그·시맨틱 레이어의 차이에 맞춰졌다.

조쉬 애보트 부사장은 테라 컨텍스트 엔진의 핵심 차이로 데이터의 존재를 파악하는 수준을 넘어 데이터의 의미를 이해하는 점을 제시했다. 그는 기존 도구들이 데이터가 어디에 있는지, 누가 어떤 데이터를 사용하는지 등을 파악하는 데 초점을 두는 반면, 데이터의 의미를 아는 것과는 다르다는 취지로 설명했다.

그는 수백만 개의 데이터 항목·속성을 정리하는 것만으로는 업무상 의미를 파악하는 데 혼란이 생길 수 있다고 밝혔다. 또 누가 어떤 데이터를 사용하는지는 알아도 데이터 의미는 모르는 문제가 있다고 지적했다.

카탈로그의 본래 목적은 맥락 추가이지만, 실제 맥락 반영이 부족할 가능성이 있다는 한계가 있다. 이에 해당 한계를 해결하기 위한 목적으로 컨텍스트 엔진이 등장했으며, 그 범위는 카탈로그의 추가 기능 이상이라는 설명이 나왔다.

질문은 여러 시스템을 경유하는 과정에서의 맥락 손실을 어떻게 줄일 것인지와, 원본 데이터와 업무 맥락의 연결이 올바른지도 검증할 수 있는지에 관한 것이었다. 이에 대해 문제별 해결 난도가 다르다는 답변이 제시됐다. 여러 곳에 복제된 대시보드 사용 사례는 비교적 해결이 용이하지만, 데이터레이크·데이터웨어하우스·데이터베이스별로 데이터 의미가 상이한 경우에는 더 복잡한 검토가 필요하다고 했다.

또한 한 환경에서 타당한 의미가 다른 맥락에서는 부적합할 수 있다고 설명했다. 이 때문에 과정 정보와 변경 사항을 지식 그래프로 기록할 필요가 있고, 변경 사항에 대한 버전 관리도 필요하다고 밝혔다.

아울러 컨텍스트 엔진의 주요 목적 중 하나는 AI 활용 가능 데이터 제품을 생성하는 데 있다고 했다. 온톨로지 계층을 구축한 이후에도 데이터 제품의 변화를 포착할 필요가 있고, 그 변화를 지속적으로 추적할 필요도 있다고 설명했다.

검증은 메타데이터·데이터의 세부 점검을 활용하는 방식으로 이뤄지며, 검증 과정의 일부는 자동화가 가능하지만 추가 검증이 필요할 가능성이 있고 사람의 판단이 필요할 가능성도 있다. 이때 사람 개입 수준은 고객의 선택 사항이며, 사람이 해결한 내용은 정보 손실 방지를 목적으로 컨텍스트 엔진에 기록된다.

출처: 아이티데일리 (IT DAILY) · 양승갑 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=242196

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=242196