메타·애플, AI 동맹…8160억 매개변수 모델을 맥에서 구동

메타와 애플은 메타의 초대형 AI 모델을 데스크톱급 맥 하드웨어에서 구동할 수 있도록 협력했다. 메타는 새 모델인 '뮤즈 스파크 오픈(Muse Spark Open)'을 최적화했다.

메타는 15일(현지시간) 뮤즈 스파크 오픈의 가중치를 공개했다. 이 모델의 규모는 매개변수 8160억 개다. 모델의 초점은 코딩·에이전트 작업에 맞춰졌고, 주요 용도는 복잡한 소프트웨어 개발, 여러 단계 추론, 장시간 지속 작업이다.

메타는 최신 MLX 프레임워크를 활용하면 이 모델을 애플 M5 울트라 기반 맥 스튜디오 2대에서 실행할 수 있다고 설명했다. 실행 환경은 고성능 맥 스튜디오 2대다. 이에 따라 외부 클라우드를 대체할 수 있는 자체 장비 AI 운영의 선택지가 확대되는 효과가 제시됐다.

뮤즈 스파크 오픈은 전문가 혼합(MoE) 구조로, 전체 매개변수 중 일부를 선택 연산하는 방식이다. 토큰 처리 시 활성 매개변수는 420억 개다. 입력 형태는 텍스트·이미지·음성·영상이며, 출력 형태는 텍스트다. 컨텍스트 창은 최대 약 100만 토큰이다. 배포 방식은 오픈웨이트로, 모델 가중치 다운로드가 가능하고 자체 환경 배포도 가능하다.

다만 일부 매개변수 활성화와 모델 저장 메모리 감소 사이에는 비례 관계가 없다. 메타는 서비스 시 전체 가중치를 메모리에 적재할 필요가 있다고 설명했다. 또 하드웨어 요구 규모를 결정하는 요인은 전체 가중치 메모리 적재라고 메타는 설명했다.

애플은 같은 날 기술자료를 공개했다. 이번 구동에는 애플 실리콘용 머신러닝 프레임워크 MLX와 맥 간 데이터 전송 기술이 활용됐다. 연결 방식은 썬더볼트 기반 원격직접메모리접근(RDMA)이며, 여러 맥을 연결해 연산을 분산하는 방식이다.

애플은 자사 측정으로 뮤즈 스파크 오픈의 평가 방식인 NVFP4(4비트 정밀도)에서 추론 성능을 제시했다고 발표했다. 측정은 M5 울트라 맥 스튜디오 4대 연결 구성과 입력 문맥 8192토큰 조건에서 이뤄졌으며, 생성 속도는 초당 36토큰 이상을 기록했다. 해당 성능 수치는 애플 자체 측정 결과다.

애플·협력사의 이번 협력은 초대형 모델 추론 환경을 고성능 데스크톱 클러스터로 확장하는 데 초점을 맞췄다. 대상 활용처는 소스코드·내부 문서 취급 기업·개발자다. 이는 자체 장비에서 모델을 운영할 수 있는 선택지라는 의미를 갖는다.

다만 이는 대규모 학습용 데이터센터를 대체한다고 단정하기는 곤란하며, 다수 이용자 처리용 데이터센터를 대체한다고 확대 해석하기도 어렵다. 실제 도입 효과를 판단하려면 장비 비용 비교와 동시처리 성능 비교, 전력 사용량 비교, 운영 부담 비교를 함께 따져야 한다.

출처: 아이티데일리 (IT DAILY) · 이재영 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=242256

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=242256