[현장] “실패하는 PoC는 없지만…” 기업 AI, 성패는 ‘전사 확산’

기업의 AI 활용은 개념검증(PoC)을 넘어 전사 확산·성과 측정 단계에 진입하고 있다. 현장에서는 숙련자 기준 업무 처리 시간이 1시간→1분으로 줄어든 사례와 설계 작업 공수가 수주 규모 단축된 사례가 제시됐다. 이에 따라 기업 과제로는 개별 업무의 AI 효율을 조직 전반으로 확산하는 일과 AI 활용을 매출·이익 등 경영 성과로 연결하는 일이 부각됐다.

이런 흐름 속에서 19일 서울 강남구 코엑스에서 열린 'AI 서밋 서울 2026'에서는 'LLM은 정말 기업 생산성에 도움을 주고 있을까?'를 주제로 한 세션이 진행됐다. 이준기 연세대학교 정보대학원 교수가 좌장을 맡았고, 김영옥 HD현대 최고AI책임자(CAIO·상무), 김종환 롯데쇼핑 상무, 이경종 KB국민은행 상무가 각사 AI 도입·확산 경험을 공유했다.

19일 서울 강남구 코엑스에서 열린 'AI 서밋 서울 2026' 행사장 전경이 사진에 담겼다. 사진은 사진기자 김병주가 촬영했다.

이 교수는 기업의 AI 도입과 실제 경영 성과 간 간극을 지적했다. 맥킨지 '2025 AI 현황' 조사에서는 응답자 소속 조직의 88%가 최소 1개 업무에 AI를 사용하는 것으로 나타났지만, 같은 조사에서 AI가 EBIT의 5% 이상에 기여해 '상당한 가치' 창출로 평가된 고성과 기업 비중은 약 6%에 그쳤다.

이 교수는 문제의 핵심이 다운스트림에 있다고 밝혔다. 또 AI 도입 후 가시적 생산성 향상 여부가 쟁점이라고 설명했다.

이날 공개된 세 기업 사례에서도 PoC 성능보다 실제 조직 안착 과정이 AI 투자 성패를 좌우한다는 공통 인식이 드러났다. 이경종 상무는 실패하는 PoC는 사실상 없고, 초기 테스트는 대체로 성공적이지만 확산 단계에서 잘 안 되는 경우가 대부분이라고 설명했다. 또 확산 부진 이유는 사용자 차이라고 밝혔다.

KB국민은행은 서울 여의도 'KB AI Dev 센터'에서 'KB AI Dev 센터' 개소를 기념해 이환주 KB국민은행장과 김지영 KB AI Dev 센터장이 사진을 촬영했다고 밝혔다. 사진 출처는 KB국민은행이다.

KB금융은 영업점·심사·컴플라이언스 등 실제 업무 전반으로 AI 적용을 확대하고 있는 사례를 제시했다. 이 상무는 KB금융의 AI 에이전트가 현업에 광범위하게 확산된 사례를 소개했다.

KB금융은 2024년 에이전틱 AI 개발용 플랫폼 구축에 착수했고, 2025년 4월 해당 플랫폼을 공개했다. 이를 바탕으로 현재 그룹 전체에서 운영 중인 AI 서비스는 약 100개다.

KB금융은 AX 추진을 통해 AI 서비스를 300여 개로 확대하는 것을 목표로 하고 있다. 이 상무는 AI 에이전트 사용 대상자의 약 90%가 이를 이용하고 있으며 실제 사용자 수는 8000명 초과 수준이라고 설명했다.

KB금융은 AI 서비스 확대 단계에서 실제 생산성 측정 단계로 이동 중이다. KB금융의 AI 확산 현황과 활용 수준은 서비스 확대와 함께 이용률, 사용자 규모, 생산성 측정으로 초점이 옮겨가고 있음을 보여준다.

KB국민은행의 AX 적용은 처음에는 개인 고객·영업점 직원 업무방식 변화에 초점을 맞춰 시작됐고, 이후 PB 지원 에이전트와 RM 지원 에이전트를 도입했다. 현재는 적용 범위를 확대해 대출 심사·리스크 관리·법률·컴플라이언스 등 미들·백오피스까지 넓히고 있다. AX 확산은 임직원 대상 진행 중이며, 고객 대상 AX도 준비하고 있다.

주요 적용 대상은 IT 개발이다. 최근 KB국민은행은 'AI Dev 센터'를 구축했으며, 구축 목적은 AI 네이티브 개발 프로세스 정착이다. 이를 위해 외부 연구개발 환경에서 '클로드 코드(Claude Code)' 등 SaaS 도구로 1차 개발하고, 안전한 절차를 거쳐 결과물을 내부망에 반입하는 프로세스를 마련하고 있다는 설명이다.

다만 금융권 망분리 환경에서는 최신 AI 기술을 직접 도입하기 곤란하다는 현실적 문제가 제기됐다. 이 상무는 전략 수립 속도보다 기술 발전 속도가 우세하다고 밝혔고, 초기 계획을 고수할 경우 급격히 발전하는 기술을 수용하기 어렵다고 설명했다.

HD현대중공업 울산 조선소 전경 사진이 공개된 가운데, HD현대가 생산·설계 등 제조 현장에 AI 적용을 추진하고 이를 AI를 설비·장비와 연결하는 피지컬 AI로 확대하고 있다. 선박 설계 과제는 범용 LLM으로 해결하기 어렵다는 판단 아래, HD현대는 제조업 생산·설계 과정에 AI를 직접 결합하는 접근에 초점을 맞추고 있다.

HD현대는 제조 AI를 약 4년 추진해 왔으며, 이 추진 과정에서 AI 전략에도 변화가 있었다. 초기에는 도면 제작·품질 검토 등 개별 생산·설계 업무에 AI를 적용하는 데 집중했고, 단위 업무 생산성 향상을 목표로 했다.

그러나 이후 개별 과제의 성공만으로는 제조 현장 내 AI의 지속 정착이 어렵다고 판단했다. 이에 현재는 울산·영암 등 현장 전반으로 AX를 확산하는 데 중점을 두고 있다.

김영옥 상무는 HD현대 AI 전략이 두 축으로 구성된다고 설명했다. 톱다운 방식은 생산·설계 리드타임 단축과 제품 생애주기 전반 혁신을 겨냥하고, 바텀업 방식은 임직원 업무 생산성 제고에 초점을 두고 있다.

김 상무는 LLM·VLM의 전장·기장 등 설계 업무 적용 사례를 소개하며 실제 업무시간 단축 사례를 제시했다. 그는 특정 설계 작업의 경우 AI를 활용하면 1주일에 완료할 수 있고, 동일 작업에서 AI를 사용하지 않을 때와 비교해 약 3주 상당 공수를 절감할 수 있다고 설명했다.

다만 김 상무는 재료비·고정비·인건비 절감 효과를 단순 산술로 측정하기는 곤란하다고 밝혔다. 이에 따라 절감 시간을 기업 성과로 전환할 필요성을 제기하며, AI로 절감한 부분을 비즈니스에 재투입·활용하는 일이 중요한 과제라고 강조했다.

이와 함께 자체 제조·산업 특화 모델을 구축해야 하는 이유도 현장에서 확인됐다고 전했다. 제미나이·클로드 등 범용 LLM에 특정 호선·선박 설계 가이드를 질의할 경우 현장 요구 수준의 답변을 확보하기 어렵다는 점을 근거로 들었다.

김 상무 설명에 따르면 현장 특화 데이터와 자사 생산·설계 노하우 학습이 없는 모델은 직접 활용이 쉽지 않다. 이에 HD현대는 오픈소스 모델 기반으로 내부 데이터를 파인튜닝하고, 제조·산업 특화 모델을 활용하고 있다. 가치사슬 공정별 특화 대상은 생산·설계·영업·견적이다.

HD현대는 공정별 업무에 맞춘 고도화와 함께 숙련 노동자 은퇴로 소실 가능 현장 기술·노하우가 있다는 점에 주목해 현장 기술·노하우 등 암묵지 데이터화에 집중하고 있다. 향후 AI 지능을 제조 설비·장비에 연결할 계획이며, 이를 통해 적용 범위를 피지컬 AI로 확대할 계획이다.

롯데쇼핑의 이커머스 플랫폼 롯데온은 대화형 검색 서비스 '패션 AI'를 선보였다. 기사에는 '패션 AI' 실행 화면이 제시됐으며, 이용자가 원하는 스타일·상황을 입력하면 AI가 조건에 부합하는 패션 상품을 추천하는 방식이다. 사진 출처는 롯데온이다.

롯데쇼핑은 숙련자 1시간 업무 1분이라는 문구를 제시했다. 다만 롯데쇼핑 관련 과제로는 재무성과 연결이 제시됐다.

롯데쇼핑 사례에서는 AI 기반 업무시간 절감과 기업 재무성과 사이 간극이 직접적으로 노출됐다. 김종환 상무는 롯데쇼핑 AI 프로젝트의 두 축으로 고객 서비스와 내부 업무 생산성을 제시했다. 내부 업무에서는 숙련자 기준 1시간 소요 작업을 1분에 처리한 사례가 다수 나왔다고 김 상무는 설명했다.

그러나 이런 업무시간 단축을 매출·이익 증가 또는 고정비 감소로 환산하는 일은 별도 난제로 남았다. 고객 대상 AI 서비스에서도 시행착오가 발생했다. 롯데쇼핑은 지난해 '뷰티 AI'를 출시했지만, '뷰티 AI'의 트래픽·고객 유입 연결 효과는 기대 대비 미흡했다.

김종환 상무는 그 원인 중 하나로 범용 LLM에 따른 소비자 기대 수준 상승을 지목했다. 이용자들이 챗GPT·제미나이·클로드의 검색·추천·대화 방식을 이미 축적해 왔고, 이에 따라 개별 기업 AI 서비스가 범용 모델 수준의 사용자 경험을 구현하기는 어려워졌다는 것이다.

롯데쇼핑은 올해 구축한 '패션 AI'에 패션 상품 메타데이터 수집을 적용했다. 롯데쇼핑은 고객데이터플랫폼(CDP) 온톨로지화도 적용했다. '패션 AI'에는 장기기억 활용 상품 제안 방식도 적용됐다.

다만 김 상무는 해당 수준도 다소 미흡하다고 봤다. 김 상무는 이것이 실제로 매출·이익 연결 여부로 이어지는지에 집중해 고민하고 있다고 밝혔다.

이 같은 문제의식은 세 기업 경험 전반에서 AI 생산성 측정 기준 문제로 수렴했다. 유통업은 AI 프로젝트와 최종 매출 사이에 변수 다수 존재하는 구조라는 점이 함께 제기됐다.

이에 따라 롯데쇼핑은 AI 성과를 매출·이익으로 즉시 평가하지 않는 방향을 모색하고 있다. 대신 최종 성과로 이어지는 중간 핵심성과지표(KPI) 설정 방식을 검토하고 있다.

접근 방식은 AI가 직접 영향을 줄 수 있는 지표를 먼저 측정한 뒤 매출·이익과 연계하는 것이다. 예시로는 AI로 신규 상품·브랜드 발굴, 클릭률(CTR) 제고, 구매전환율(CVR) 개선으로 연결되는 방식이 제시됐다.

기업이 AI 성과를 곧바로 매출·이익으로 평가하기보다 이를 보조하는 중간 단계 KPI를 합의해 관리해야 한다는 문제의식이 제기됐다. 김 상무는 매출·이익 직접 KPI를 지양하고 이를 보조하는 중간 단계 KPI가 필요하다고 밝혔다. 또 임직원·경영진 합의 기반 KPI 수립을 진행 중이라고 전했다.

김 상무는 AI 투자 효과의 재무지표 조기 입증을 요구하는 기업 문화를 경계해야 한다고 밝혔다. 그는 LLM 등장 후 경과 기간이 길지 않다고 짚었고, 우리나라 대기업의 조급한 문화로 왜곡 사례가 다수 있었다고 언급했다. 아울러 경영진·C레벨의 방향 설정이 필요하다고 했으며, 중간 단계 KPI 정교화가 목표 도달의 조건이라고 설명했다.

HD현대는 AI로 감축한 설계 공수를 실제 사업 성과와 연결하는 문제에 주목하고 있다. 김영옥 상무는 AI로 절감된 자원의 비즈니스 재투입·활용이 중요한 과제라고 밝혔다.

기업 AI 생산성 경쟁은 개별 PoC의 기술 성능 입증 단계를 통과해 효과의 조직 전반 확산 단계와 지속 가능한 경영 성과 전환 단계로 이동하고 있다. 이 전환 과정에서는 실제 업무 수행 사용자가 중요한 변수로 부각되고 있으며, 이 과정에서 기술 외 변수의 중요성도 강조되고 있다.

이경종 상무는 PoC 단계와 확산 단계를 구분하며, PoC 단계에서는 열정적으로 공부한 사람들이 사용 주체가 되지만 확산 단계에서는 사용자 변화로 인해 양상이 달라져 같은 방식으로 보기 어렵다고 설명했다.

출처: 아이티데일리 (IT DAILY) · 김병주 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241080

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241080