KT, 금융 AX 확장…BC카드 ‘SLM 스웜’으로 AI 내재화

KT는 21일 'KT그룹 커넥트 위크'를 통해 그룹사별 AX 성과·성장 동력을 공유하며 산업별 AI 활용 사례를 공개했다. KT는 금융·미디어 등 주요 산업 분야 AX 사례를 제시했고, AI 활용 대상을 업무·서비스 전반 전환으로 넓혀 소개했다.

이 과정에서 KT그룹 금융 계열사인 BC카드의 사례도 공개됐다. 발표는 이태영 BC카드 AI데이터본부 AX팀장이 진행했다.

BC카드는 폐쇄망 기반 환경에서 오픈소스 생태계와 연계하는 방식으로 AI 기술 내재화를 추진하고 있다고 밝혔다. BC카드는 업무별 특화 SLM 묶음을 활용하는 'SLM 스웜'을 중심으로 AI 기술 내재화를 추진하고 있다.

'SLM 스웜'은 단일 LLM에 복수 업무를 집중하는 대신 목적별로 최적화된 여러 SLM이 개별 업무를 처리한 뒤 결과를 취합하는 AI 아키텍처다. BC카드는 금융 서비스부터 내부 업무 자동화까지 AI 적용 사례를 공개했다.

BC카드는 금융 특화 생성형 AI 플랫폼 'BCGPT'를 운영하고, AI 기반 업무 자동화 솔루션 '모아이(MOAI)'를 운영하는 등 내부 업무에서 AI 활용을 넓혀 왔다.

BC카드는 고객 대상 서비스 '잇플(Eat.pl)'과 고객 대상 서비스 'AI 핫딜'도 제공하며 AI 활용 범위를 일상 서비스까지 확대했다. '잇플(Eat.pl)'은 결제 데이터 기반 맛집 추천 서비스이고, 'AI 핫딜'은 할인 정보를 AI가 선별·요약하는 서비스다.

이태영 BC카드 AI데이터본부 AX팀장은 금융권의 일반적 AI 전환 방식이 혁신금융 서비스와 외부 API를 활용하는 것이라고 설명하면서, BC카드의 AX는 타 금융사와 다른 방향으로 진행돼 왔다고 밝혔다.

BC카드의 AX 전략은 상용 AI의 단순 도입을 지양하고 자체 AI 기술 확보에 중점을 두는 방향이다. BC카드는 2023년부터 LLM을 자체 확보하기 위한 기술 개발에 착수했다.

다만 BC카드는 빅테크와 같은 규모의 모델을 개발하는 데 한계가 있다고 판단했고, 이에 따라 전략을 전환했다. 전환 내용은 자체 개발과 외부 협력을 병행하는 것이다.

BC카드는 자체 개발한 27B(270억 파라미터)급 'BCGPT'를 기반으로 임직원용 AI 챗봇을 구축하며 내부 업무에 AI 적용을 시작했다.

이후 BC카드는 모든 업무를 하나의 LLM에 일괄 담당시키기보다 업무별 최적화 SLM을 활용하는 방향으로 전략을 전환했다. 이 팀장은 BC카드가 이미지 인식·생성·보고서 작성·요약 등 업무별 특화 모델을 구성하고, 특화 모델들을 필요한 업무에 연결하는 'SLM 스웜(Swarm)' 아키텍처를 내재화했다고 밝혔다. 단일 LLM의 한계로는 방대한 자원이 필요하다는 점이 제시됐다.

SLM 스웜은 단일 LLM 대신 특정 목적에 최적화한 복수 SLM의 묶음이 협업하는 구조를 뜻한다. 이 구조는 각 모델이 개별 업무를 처리한 뒤 결과를 취합하는 방식의 특성을 지닌다. 이는 하나의 대형 모델에 모든 작업을 맡기는 방식보다 업무별 최적화가 가능하다는 비교점이 있다고 설명됐다.

BC카드는 AI 역량 확보 방식으로 GPU를 단순히 증설하기보다 모델과 추론 엔진 최적화에 집중했다.

이를 위해 BC카드는 뉴럴 매직(Neural Magic)과 협력했다. 뉴럴 매직은 미국 MIT 출신 연구진이 설립한 회사로, AI 반도체·소프트웨어를 사업 분야로 두고 있다. 양측은 추론 엔진 최적화와 GPU 환경 맞춤 AI 모델 구동 기술을 연구했다.

뉴럴 매직은 지난해 레드햇에 인수됐다. BC카드는 인수 이후에도 레드햇과 협업을 지속했다.

BC카드는 지난 7월 허깅페이스에 31B 규모 '모아이(MOAI)'를 공개했다. '모아이(MOAI)'에는 GPU 최적화 기술이 적용됐다. 이 팀장은 '모아이(MOAI)'가 상대적으로 성능이 낮은 게임용 GPU에서도 구동 가능하도록 최적화됐다고 밝혔다.

BC카드는 공개 모델을 활용한 AI 서비스 개발 지원 대상을 대규모 GPU 투자가 어려운 중소기업·개인사업자 등으로 계획하고 있다.

BC카드는 자사 모바일 앱 '페이북'의 '페이북 AI' 서비스에 모아이 LLM을 활용하고 있다. '페이북'의 월간활성이용자(MAU)는 500만명 이상이다.

BC카드는 AI 활용 업무 방식을 확대하고 있다. 이태영 팀장은 조직 내 15~20개의 AI 에이전트가 24시간 연구개발(R&D)부터 서비스 개발까지 AI와 협업하며 업무를 진행하고 있다고 밝혔다.

동시에 BC카드는 KT가 주도하는 '모두의 AI' 컨소시엄에 참여해 금융 분야 AI 서비스 확산을 추진할 예정이다. BC카드는 보유한 결제 데이터와 AI 기술을 기반으로 신규 서비스를 발굴할 계획이며, 발굴한 서비스를 금융 산업 전반으로 확대할 계획이다.

KT는 통신·미디어와 금융 계열사가 보유한 데이터 및 AI 기술을 그룹 차원의 AX 전략과 연계할 방침이다. KT는 산업별 AI 전환 사례를 확대할 방침이다.

출처: 아이티데일리 (IT DAILY) · 성원영 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241758

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241758