“추론 비용 줄이고 도메인 틈새 공략”…K-AI 기업들이 밝힌 생존 전략

AI 기술 변화 속도가 가속하고 추론 시장의 중요성이 확대되는 가운데, 현업 기술 리더들이 체감하는 기술 병목과 생존 전략을 공유하는 자리가 마련됐다. 29일 열린 '제6회 래블업 컨퍼런스'에서는 AI 추론 확장과 하드웨어·소프트웨어 공존 전략을 주제로 한 패널 토론이 개최됐다.

토론은 노정석 비팩토리 대표가 사회를 맡아 진행했으며, 이활석 업스테이지 CTO, 이진원 하이퍼엑셀 CTO, 김태호 노타 CTO, 김준기 래블업 CTO가 참석했다. 사진 속 인물은 왼쪽부터 노정석 비팩토리 대표, 김준기 래블업 CTO, 김태호 노타 CTO, 이진원 하이퍼엑셀 CTO, 이활석 업스테이지 CTO 순이다.

이 자리에서 패널들은 최근 시장 확장의 핵심 배경으로 추론 비용 절감과 에이전트 전환을 공통적으로 꼽았다. 이는 시장 확대의 동인에 대한 패널 전체의 인식으로 제시됐다.

이활석 업스테이지 CTO는 모델 개발사의 최대 과제로 실사용자 피드백 확보를 제시했다. 그는 B2B·B2C의 구분이 약화하고 있으며, 모든 환경의 에이전트가 연결되는 'B2A' 시대로 이동하고 있다고 설명했다. 또 모델을 지속적으로 실험하고 피드백을 축적하기 위한 플레이그라운드가 필요하다고 밝혔으며, 이러한 플레이그라운드의 필요성 때문에 애플리케이션으로 확장하고 있다고 설명했다.

하이퍼엑셀의 이진원 CTO는 시장 중심축이 학습에서 추론으로 이동하고 있다고 밝혔으며, 이에 따라 비용 절감이 최대 과제로 부상했다고 설명했다. 그는 비용 효율이 개선되면 시장 진입 장벽이 하락하고, 진입 장벽 하락은 전체 수요 확대 효과로 이어진다고 덧붙였다.

이 같은 흐름 속에서 하이퍼엑셀은 고가의 고대역폭메모리(HBM) 대신 일반 DDR 메모리를 활용하고 있으며, 대용량 일괄 처리 시장을 공략하고 있다.

이어 현업에서는 기술적 병목에 대한 논의가 진행됐다. 이활석 CTO는 전문가 수준을 초과하는 모델 학습에는 합성 데이터 궤적(Trajectory) 파이프라인이 필수라고 밝혔고, 관련 인프라가 부족하다고 지적했다. 또 도메인 지식과 강화학습(RL) 역량을 보유한 융합 인력이 극히 부족하다고 설명했다. 김태호 노타 CTO는 모델 최적화 난제의 초점이 커널에서 에이전트 단계로 이동했다고 진단했으며, 단일 모델 경량화·서빙 기술은 오픈소스를 통한 상향 평준화가 이뤄졌다고 밝혔다. 다만 복수 모델 복합 구동 에이전트 환경의 효율적 운영 기법은 아직 표준이 정립되지 않았다고 말했다.

김준기 래블업 CTO는 병목으로 하드웨어·워크로드 조합 급증을 지목했다. 김준기 CTO는 다양한 가속기 칩·애플리케이션 조합을 검증하는 데 많은 자원이 소모된다고 밝혔다. 또 단일 GPU를 다중 워크로드가 공유할 때는 실제 자원 사용량을 정밀하게 측정할 필요가 있다고 설명했다. 그는 해당 정밀 측정에는 칩 제조사의 협력이 필수이고, 인터페이스 표준화도 필수라고 밝혔다.

AI 코딩 도구 발전과 모델 자가발전으로 소프트웨어 복제는 쉬워지고 있다. 김준기 CTO는 AI 도구로 1시간 만에 코드를 복제할 수 있다고 밝혔다. 이런 환경에서 기업의 독자적 해자로는 실전 검증과 도메인 특화 암묵지가 거론된다.

김준기 CTO는 다양한 엔터프라이즈 환경에서 검증과 유지보수 책임 역량이 쌓아온 신뢰와 브랜드 가치는 AI가 단숨에 형성할 수 없다고 밝혔다. 쉽게 복제되지 않는 경쟁력으로 실전 검증과 도메인 특화 지식이 대비되는 이유를 설명한 것이다.

이활석 CTO는 컴퓨팅 자원 투입을 통한 범용 성능 향상은 빅테크 중심의 자가발전으로 이동하고 있다고 밝혔다. 다만 국가별·산업별 특이 문서 서식과 법률 등 세밀한 영역에는 공략 여지가 존재한다고 설명했다. 그는 도메인 특화 데이터의 중요성과 실전 노하우의 중요성을 강조했다.

출처: 아이티데일리 (IT DAILY) · 권영석 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241885

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241885