[AI 레디 데이터①] AI 시대 ‘좋은 데이터’ 기준이 달라졌다

생성형 AI·AI 에이전트 활용이 기업 실제 업무로 확대되면서 데이터 관리에 새 기준이 요구되고 있다. 기업들은 데이터 수집·정제·분석 체계를 지속적으로 구축해 왔지만, 기존 데이터는 AI 활용 적합성이 부족하다는 지적이 나온다. 그 원인으로는 데이터의 여러 시스템 분산과 동일 정보라도 업무별 의미·관리 기준이 상이한 점이 꼽힌다.

AI가 해당 데이터를 직접 탐색·해석·업무 활용하는 환경이 되면서 데이터 품질뿐 아니라 의미·최신성·접근권한의 일관 관리 필요성도 확대되고 있다. 이런 요구에 대응하는 개념으로 'AI 레디 데이터(AI Ready Data)'가 주목받고 있다. AI 레디 데이터의 핵심은 단순 수집·정제를 초과해 AI의 데이터 의미·맥락 이해가 가능하도록 준비하고, AI가 데이터를 신뢰할 수 있도록 준비하는 데 있다.

이번 보도는 AI 시대의 '좋은 데이터' 기준 변화를 주제로, 기업 AI 활용 확대에 따른 데이터 관리 요건을 점검한다. 아울러 AI 레디 데이터 구축 과정의 과제를 조명하고, 기술적 접근 방식과 실제 적용 사례도 살펴볼 예정이다. 연재 분량은 3편이다.

AI로 생성한 이미지를 사용한 가운데, AI 도입 확대와 함께 데이터 관리의 한계가 드러나고 있다. 기존 데이터 관리 체계는 사람 중심의 조회·분석 환경을 발전 기반으로 삼아 운영돼 왔다.

그동안 기업은 업무 시스템에서 생성된 정형 데이터를 수집해 활용해 왔다. 이렇게 수집한 데이터에는 표준화와 품질관리를 수행했고, 처리된 데이터는 보고서와 대시보드에 활용됐다.

기존 환경에서는 데이터의 의미가 불명확하거나 일부 정보가 누락된 경우에도 업무 담당자가 자신의 경험과 지식으로 이를 해석하고 보완해 왔다. 기존의 최종 판단 구조 역시 사람이 데이터를 검토하고 판단하는 방식이었다.

그러나 AI의 역할이 데이터 검색을 넘어 실제 업무 수행으로 확대되면서, 기존 데이터 관리 방식의 변화가 필요해졌다. AI 에이전트 환경에서는 별도 검토 없이도 데이터가 실제 업무에 활용될 수 있는 특징이 있다.

김용민 한국IBM CSE(Customer Success Engineer)는 AI 에이전트 시대에는 AI가 데이터의 해석·판단·실행을 담당하게 되며, 데이터의 부재나 오류가 사람의 검토 없이 잘못된 답변과 행동으로 직결될 수 있다고 설명했다.

데이터스트림즈는 국내 기업들이 생성형 AI·AI 에이전트 활용 PoC를 활발히 진행하고 있으며, PoC 대상은 사내 지식검색·업무 자동화라고 발표했다. 다만 실제 업무 적용 단계에 들어가면 분산 데이터 연결이 필요하고, 상이한 코드·용어를 일치시켜야 하며, 실제 업무 적용 과정에서 기존 데이터 관리 체계의 미해결 문제에 직면한다고 설명했다. 기업이 보유한 데이터는 AI 활용의 전제 관리가 아니라는 점도 함께 짚었다.

데이터스트림즈 관계자는 최근 기업 AI 구축의 관심축이 모델에서 데이터로 이동하고 있다고 밝혔다. 그는 초기 관심사가 LLM 선택과 RAG 구현·AI 에이전트 구현에 있었지만, 실제 적용 단계에서는 원천 데이터의 정확성·최신성·중복·표준화 여부를 체감하게 된다고 전했다. 이어 업무 맥락의 부족도 AI 결과 품질에 직접 영향을 미치며, 원천 데이터 상태와 업무 맥락 문제가 AI 결과 품질에 직결된다는 점을 체감하고 있다고 설명했다.

기업의 AI 활용에는 데이터 자체를 정비하는 것 외에 기업 업무 지식과 데이터의 분리라는 과제가 남아 있다. 데이터 오류를 수정하고 형식을 통일하는 것만으로는 실제 업무의 판단 기준과 예외 규칙까지 AI가 이해하기는 어렵다.

엔코아 관계자는 중요한 판단 기준과 예외 규칙이 남아 있는 위치로 데이터베이스보다 업무 담당자의 경험과 문서, 개별 시스템 로직의 비중이 크다고 설명했다. 그러면서 AI가 데이터를 검색하는 것만으로는 업무적으로 올바른 판단을 내리기 곤란하다고 밝혔다.

기업별 데이터 준비 수준의 차이도 나타나고 있다. 데이터스트림즈는 기존 데이터 거버넌스와 메타데이터 관리 체계를 구축한 대기업과 금융권 등은 이를 AI 활용에 맞게 확장하고 있다고 설명했다. 반면 상당수 기업은 데이터 표준화와 품질관리 등 기초 체계를 정비하는 단계를 이어가고 있다.

기존 데이터 관리 체계는 AI 활용에 맞춘 확장이 필요하다는 지적이 나왔다. 다만 이러한 확장의 전제로는 데이터가 실제 업무에 적합한 상태인지 판단할 수 있어야 한다는 점이 제시됐다. 데이터의 신뢰성을 가늠하는 기본 기준으로는 정확성·완전성·일관성이 꼽혔다.

그러나 기존 데이터 품질관리 기준만으로는 AI 활용 적합성을 충분히 판단하기 어렵고, AI가 수행하는 업무별로 필요한 정보와 검증 조건이 서로 달라 활용 목적에 맞는 적합성 확인이 필요하다는 설명이 나왔다. 위세아이텍은 기존 품질관리 기준 외에도 대표성·최신성·활용 조건을 추가로 평가할 필요가 있다는 견해를 밝혔다.

위세아이텍 관계자는 예측 모델에서 중요한 요소로 데이터 대표성과 라벨 신뢰성을 제시했다. 또 RAG에서는 문서 출처와 유효성, 최신 버전 여부, 본문 추출 품질이 중요 요소라고 설명했다.

아울러 위세아이텍 관계자는 이상값과 집단 간 불균형을 평가할 때 이를 일률적으로 오류로 판단하는 것은 지양해야 한다고 밝혔다. 해당 관계자는 이상값과 집단 간 불균형에 대한 평가는 업무 목적과 실제 사용 환경을 고려해 이뤄져야 한다고 설명했다.

활용 목적별 품질 기준 충족 여부와 별개로, 데이터의 실제 현장 반영 정확성을 추가로 확인할 필요가 있다는 지적이 나온다. 빅밸류는 현실과 데이터 사이의 격차라는 관점으로 이 문제에 접근하고 있다. 동일한 필지를 다루는 공적 장부들 사이에서도 면적 값 차이가 가능해 개별 데이터를 단독으로 점검하는 것만으로는 문제가 드러나지 않을 수 있으며, 서로 다른 원천 데이터를 연결하는 과정에서 이런 불일치를 확인할 수 있다고 본다.

빅밸류 관계자는 정제·표준화는 데이터 형식을 정비하는 것이라고 설명했다. 이어 AI의 판단이 실제 의사결정으로 직결될 수 있는 만큼, 형식 적합만으로는 AI의 올바른 판단을 보장할 수 없다고 밝혔다. 또한 데이터 의미의 현실 부합 여부를 평가할 필요가 있고, 해당 판단의 용도 적합성까지 평가 대상에 포함할 필요가 있다고 덧붙였다. 그러면서 정제·표준화는 AI 레디 데이터 완성이 아니라 출발점이라고 설명했다.

빅밸류는 AI 적용을 위한 데이터 준비가 데이터 정비 이전에 AI의 업무·판단 범위를 선정하는 데서 시작된다고 제시했다. 이어 범위를 선정한 뒤에는 필요한 데이터의 준비 상태를 점검하는 절차로 나아간다. 필요한 정보가 부족할 경우에는 외부 데이터로 이를 보완한다.

이 과정에는 상이한 원천의 수집 데이터 간 대조 과정이 포함된다. 수집 데이터와 실제 현장 정보를 비교하는 과정도 포함된다. 이 같은 절차를 통해 AI 적용을 위한 데이터 준비를 업무 정의에서 점검과 보완, 대조와 비교로 이어가야 한다는 설명이다.

기업이 보유한 데이터를 업무에 활용하는 과정과 AI 모델 학습을 위한 데이터 준비 과정에는 차이가 있다. 학습용 데이터의 중요 기준으로는 내용 정확성이 제시된다. 또 학습용 데이터는 수집 단계에서 저작권 문제 해결 여부와 개인정보 문제 해결 여부도 중요 기준으로 꼽힌다. 인터넷에서 확보한 데이터라도 사용 권한이 불분명하면 AI 학습 활용 과정에서 법적 문제가 생길 가능성이 있다.

이런 흐름 속에서 플리토는 자체 플랫폼 '아케이드(Arcade)'를 운영하고 있다. 플리토의 데이터 구축 방식은 전 세계 이용자의 과제 참여를 기반으로 원천 데이터를 생성·수집하는 방식이다.

플리토는 데이터 수집 단계에서부터 저작권·개인정보 침해 우려 및 법적 분쟁 소지가 없는 깨끗한 데이터를 확보하려고 한다고 밝혔다. 플리토 관계자는 이를 무단 웹 스크래핑 데이터와 구별되는 데이터 요건이라고 설명했다. 플리토는 수집한 데이터를 대상으로 사내 언어 전문가의 검수를 거친다.

플리토는 원천 데이터·합성 데이터의 오류·편향을 대상으로 사람 검수·교정을 수행하는 운영 체계를 갖추고 있으며, 이를 휴먼 인 더 루프(Human-in-the-Loop) 방식으로 운영한다. 이 과정에서 검수 범위는 단순한 오탈자 수정을 넘어 내용의 사실성 확인과 문화적 편향 축소까지 포함된다.

검증 방식은 데이터 유형별로 다르다. 다국어 데이터의 경우 번역 정확성과 함께 지역별 문화와 표현 방식을 고려해 검증한다. 금융·의료 등 전문 분야에서는 고유 상품명과 전문 용어를 정확하게 옮겼는지가 주요 검증 대상이 된다.

플리토 관계자는 검증 과정에서 단순 직역을 넘어 지역별 문화적 맥락, 비즈니스 매너, 정서, 방언, 억양 반영이 필요하다고 밝혔다. 또 영어·서구권 중심의 문화적 편향을 교정하는지에 대한 검증도 필요하다고 설명했다.

멀티모달 데이터인 음성·영상은 유형별로 검증 항목이 서로 다르다. 음성 데이터에서는 주변 소음·발화자 호흡 구분과 억양·감정 정보 보존을 검증 요소로 확인해야 한다. 피지컬 AI용 영상 데이터에서는 2차원 화면→3차원 공간 정보 변환 과정에서 동작이 정확하게 추출됐는지를 검증 요소로 살펴봐야 한다.

플리토는 일반 스마트폰 촬영 영상을 활용해 깊이 추정·자세 추정 기술을 적용하고, 이를 3차원 동작 데이터로 가공하고 있다. 이와 함께 데이터 구축의 초점은 학습 데이터뿐 아니라 평가용 데이터로도 확대되고 있다. 평가용 데이터는 모델의 실제 업무 수행 능력을 확인하는 데 목적이 있다.

플리토는 산업 현장 문제 기반 고난도 벤치마크 구축을 제시했다. 플리토가 제시한 향후 주요 데이터 역량은 모델 한계 확인용 고난도 벤치마크 구축이다. 플리토 관계자는 AI 모델의 성능 향상에 따라 정확하게 평가할 수 있는 벤치마크가 필요하며, AI 모델이 아직 해결하지 못한 부분을 학습시키려면 데이터 구축 기업도 해당 영역의 데이터를 제작해야 한다고 밝혔다. 이어 벤치마크 제작·평가의 중요성을 강조했다.

출처: 아이티데일리 (IT DAILY) · 양승갑 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=242013

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=242013