망고부스트, 'AI 팩토리'로 추론 시장 공략…하드웨어·SW 통합 경쟁력 강화

망고부스트는 하드웨어·소프트웨어 통합 AI 추론 플랫폼을 공개하며 서비스 사업 확대에 착수했다. 기존 인프라 기술 공급을 넘어 자체 시스템 기반 AI 추론 서비스 제공을 추진하며 'AI 팩토리' 사업을 본격화한다. 회사는 보유 기술 결합을 통한 인프라 공급부터 추론 서비스 운영까지로 사업 범위를 확대할 계획이다.

망고부스트는 12일, 그랜드 인터컨티넨탈 서울 파르나스에서 기자간담회를 개최하고 서버리스 AI 추론 플랫폼 '망고 인퍼런스(Mango Inference)'를 공개했다. 이 자리에서 김장우 대표는 AI 인프라 사업 전략을 소개했고, 권동업 CTO는 신규 서비스의 구조와 기술적 특징을 소개했다.

망고부스트는 2022년 서울대학교 연구진 중심으로 설립됐다. 망고부스트는 데이터처리장치(DPU)·그래픽처리장치(GPU) 서버·스토리지 시스템·AI 추론 소프트웨어를 개발해 왔다.

김 대표는 망고부스트를 GPU 자원 임대 중심의 네오클라우드와 구분하며, 하드웨어·소프트웨어를 동시에 설계하는 풀스택 기술을 핵심 경쟁력으로 제시했다. 김 대표는 망고부스트가 네오클라우드와 다른 AI 팩토리 회사라고 밝혔고, 망고부스트가 소프트웨어·하드웨어 모두를 다루는 진정한 풀스택 기술을 보유하고 있다고 설명했다.

김 대표는 네오클라우드와의 사업 모델 차이도 강조했다. 네오클라우드는 GPU 서버를 확보한 뒤 컴퓨팅 자원 임대에 중심을 두는 반면, 망고부스트는 자체 하드웨어·소프트웨어를 통합하고 추론 서비스까지 제공하는 방식이라고 설명했다.

이 같은 구조와 관련해 망고부스트는 자체 DPU로 GPU·스토리지를 연결하고, 추론 소프트웨어를 통합해 인프라 전반의 성능·비용 최적화를 추진하고 있다고 밝혔다. 김 대표는 이러한 구성이 하드웨어와 소프트웨어를 함께 아우르는 방식이라고 제시했다.

망고부스트는 AMD와의 협력도 강화하고 있다. 망고부스트는 AMD 인스팅트 GPU에 자체 네트워크 기술을 적용하고 자체 추론 소프트웨어를 적용해 처리 성능·비용 효율 개선 효과를 냈다.

이 같은 협력 사례로 MLPerf Inference 6.1에서는 한국·미국 소재 AMD GPU 32개를 하나의 추론 환경으로 연결했다. 이 결과 MLPerf Inference 6.1에서 최대 97%의 확장 효율을 기록했다.

망고부스트는 AMD GPU의 가격 경쟁력과 자체 기술 결합을 통해 추론 비용 절감을 추진하고 있다. 향후에는 자체 하드웨어 적용 확대 계획을 갖고 있다. 동시에 고객 요구별 엔비디아 GPU 활용 계획과 고객 요구별 국산 신경망처리장치(NPU) 활용 계획도 함께 추진하고 있다.

망고 인퍼런스는 오픈웨이트 AI 모델 API 제공 서비스다. 기업·개발자는 별도 GPU 인프라 구축 없이 API 키 발급이 가능하다. 기업·개발자는 기존 애플리케이션에 AI 모델을 연동할 수도 있다.

권 CTO는 오픈웨이트 모델의 성능이 폐쇄형 모델에 근접하고 있다고 설명했다. 다만 기업이 오픈웨이트 모델을 직접 운영하는 일의 난도는 높다고 밝혔다. 직접 운영에 필요한 요소로는 GPU 인프라 확보, 하드웨어별 소프트웨어 최적화, 이용자 요청 처리를 위한 서버 배분이 제시됐다.

현재 추론 서비스 시장에는 외부 네오클라우드 GPU를 임대한 뒤 소프트웨어를 최적화하는 기업이 있다. 또 최신 GPU를 확보한 뒤 컴퓨팅 자원을 공급하는 사업자도 있다.

이 같은 시장 구도 속에서 망고부스트는 자체 하드웨어·추론 소프트웨어·API 서비스를 통합하는 전략을 추진하고 있다. 망고부스트의 목표는 성능 경쟁력 확보와 비용 경쟁력 확보다.

권 CTO는 기업이 자체적으로 LLM 인프라를 구축하는 일의 난도가 높다고 설명했다. 그는 이를 위해 GPU 아키텍처 이해가 필요하고, 소프트웨어 최적화가 필요하며, 요청을 적절한 GPU와 클러스터에 배치하는 데에도 여러 기술이 필요하다고 밝혔다.

이에 회사는 자체 추론 최적화 소프트웨어인 'LLM부스트'를 핵심 기술로 내세웠다. 'LLM부스트'는 GPU 연산을 최적화하고, 스토리지에서 GPU로의 데이터 이동 과정을 최적화하며, 이를 통해 병목을 줄였다고 회사 측은 설명했다. 또 회사 측은 AMD MI355X GPU를 적용한 결과 일부 AI 모델에서 엔비디아 B200·B300 기반 시스템과 비슷하거나 더 높은 추론 성능을 기록했다고 밝혔다.

한편 AI 에이전트 확산에 따라 메모리 부담이 제기됐다. 에이전트가 다중 작업을 수행하고 이전 대화와 처리 결과를 반복 참조하면서 입력 문맥이 장기화되고, 그 결과 저장과 처리에 필요한 메모리가 증가하는 점이 과제로 제시됐다.

망고부스트는 길어진 문맥 처리 수요에 대응하기 위해 GPU 메모리와 별도 스토리지 연계 기반 KV 캐시 계층 관리 기술을 개발 중이다. 이 기술 방식은 이전 연산 결과를 저장·재활용하는 구조다.

이를 통해 반복 연산을 감소시키고 메모리 사용 효율을 향상시키는 것이 핵심이다. 권 CTO는 에이전트 등장으로 처리 문맥이 장기화하고 있으며, 기존 처리 데이터의 효율적 호출 중요성도 커지고 있다고 설명했다.

망고 인퍼런스는 딥시크·GLM·미니맥스 등 5개 모델을 지원하고 있다. 신규 모델도 순차 추가할 예정이다.

회사 측은 AMD 기반 인프라를 활용하고 있다고 밝혔다. 또 주요 추론 서비스 사업자 대비 가격을 20% 이상 인하해 책정했다고 발표했다.

망고부스트는 서울 강남구 도산공원 인근 데이터센터에서 AI 추론 인프라를 구축 중이다. 기존 데이터센터의 공간·설비를 임대하는 코로케이션 방식으로 일부 인프라도 운영 중이다. 아울러 2027년 1분기까지 1메가와트(MW) 규모 AI 팩토리를 구축할 계획이다.

김 대표는 AMD 최신 GPU 수백 장 확보를 진행 중이며, 현재 AMD 최신 GPU 수십 장을 공급받은 상태라고 밝혔다. 추론 서비스 운영은 자체 인프라와 네오클라우드 GPU 자원을 병행 활용하는 방식으로 이뤄지고 있다.

회사는 향후 자체 인프라 비중을 점진적으로 확대할 계획이며, 사업 확장도 단계적으로 규모를 키우는 방침이다. 김 대표는 1MW와 5MW가 올해와 내년 사이의 계획이라고 밝혔다.

망고부스트는 강남 1MW 인프라부터 시작할 계획이며, 2027년 5MW 규모로 확장하는 것을 목표로 하고 있다. 더 길게는 미국·일본·동남아시아 등 파트너 협력을 통해 글로벌 500MW 규모 AI 인프라 사업을 중장기 추진안으로 구상하고 있다. 김 대표는 500MW 규모에 대해 한국 외 미국·일본·동남아시아 등 해외 파트너들과 협의 중이라고 밝혔다.

이를 위한 대규모 투자 재원 마련 방안으로는 국내외 기업과의 합작법인 설립과 외부 자금 조달이 함께 논의되고 있다.

국내 인프라 확충은 단순한 설비 증설이 아니라 데이터 주권 확보와 맞물린 문제로 제시된다. 권 CTO는 해외에서 개발된 오픈웨이트 모델이라도 국내 데이터센터를 직접 운영하면 데이터의 처리와 관리에 대한 통제력을 높일 수 있다고 밝혔다. 이에 따라 모델 확보 자체만이 아니라 실제 추론이 이뤄지는 장소도 중요 요소로 꼽힌다.

아울러 인프라를 누가 운영하는지와 서비스 과정에서 발생하는 데이터를 어떤 관리 체계로 다루는지도 함께 중요한 요소로 제시된다. 권 CTO는 한국의 데이터센터를 구축해야 하고, 이를 한국 내에서 운영해야 하며, 그 과정에서 생성·축적되는 데이터도 한국 안에서 관리돼야 한다는 취지로 설명했다.

권 CTO는 GPU 확보만으로는 충분하지 않다고도 밝혔다. 그는 운영 주체가 누구인지와 축적 데이터가 자국 내에서 관리되는지가 중요하다고 강조했다.

이 같은 맥락에서 망고부스트는 금융·국방 등 데이터 통제가 중요한 분야를 대상으로 온프레미스 공급을 추진하고 있다. 망고부스트는 기업 자체 환경에서의 AI 모델 운영을 지원하고, 하드웨어·소프트웨어를 통합해 제공할 계획이다. 또한 API 기반 추론 서비스와 함께 사업을 확대할 계획이다.

출처: 테크월드뉴스 · 김승기 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=408052

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=408052