트웰브랩스, 피지컬 AI 학습 영상 자동 정제하는 ‘페가수스 1.6’ 출시

트웰브랩스는 7일 VLM '페가수스(Pegasus) 1.6' 출시를 발표했다. '페가수스 1.6'은 1인칭 영상의 로봇 학습 데이터 구조화를 목적으로 하며, 에고센트릭 데이터 이해 성능을 강화한 것이 특징이다.

에고센트릭 데이터는 작업자가 착용한 액션캠·스마트 글래스 등으로 촬영한 1인칭 영상이다. 이 데이터는 사람의 실제 작업 과정을 로봇 학습에 반영하는 데 활용되지만, 원본 영상을 확보하는 것만으로는 학습 데이터가 완성되지 않는다. '페가수스 1.6'은 이 같은 학습용 영상의 자동 정제를 지원하는 맥락에서 제시됐다.

이 데이터를 학습에 활용하려면 전처리가 필요하며, 필요한 장면을 선별하고 행동을 구간별로 분할해야 한다. 또 손·도구·물체의 상호작용을 구분하고 작업 결과를 구분하는 과정도 필요하다.

이 전처리 과정은 수작업 비중이 높다. 트웰브랩스는 공개 영상 데이터셋 'Ego-Exo4D'의 행동·작업 과정 표시에 누적 20만 시간 이상이 투입됐다고 설명했다. 'Ego-Exo4D'의 분량은 1286시간이며, 원본 영상 1시간을 가공하는 데 필요한 작업량은 약 155시간이다.

페가수스 1.6은 영상 정제 과정 자동화에 초점을 맞춘 시스템이다. 이 시스템은 사람 행동·주변 사물·전후 맥락을 분석 대상으로 삼아 작업 흐름을 구조화한다. 작업 단계 구분, 행동별 시점 정리, 등장 사물 정리, 수행 순서 정리 기능을 바탕으로 원본 영상을 로봇 학습용 데이터로 가공할 수 있다. 사례로는 작업자의 부품 집기→도구 가공→완성 물체 이동 장면 분석이 제시됐으며, 이 과정에서 각 행동 시작·종료 시점을 구분하고 사용 도구·물체를 파악한다.

주요 기능은 5가지로 제시됐다. 행동 분할·라벨링, 상세 캡션 라벨링, 품질 평가, 검색·큐레이션, 개인정보·컴플라이언스 탐지다. 이를 통해 작업 단계 분할을 지원하고, 저품질 영상을 선별하며, 필요 장면을 탐색하고, 데이터셋을 구성하는 범위까지 이어진다.

이 시스템은 시간 기반 메타데이터(TBM)도 제공한다. TBM 방식에서는 사용자가 메타데이터 항목·구조를 지정한다. 그 결과 특정 행동 발생 시점과 주변 맥락을 추출할 수 있다.

설명 음성 포함 촬영 영상 처리도 가능하다. 이 경우 음성과 행동 시점을 연결해 작업 과정을 세밀하게 정리할 수 있다.

페가수스는 손·물체·도구의 전 영상 구간 일관 식별용 개체 인식 성능 향상과 대규모 영상 처리 속도 개선, 비용 효율성 개선을 통해 로봇·피지컬 AI 기업의 반복적 대량 영상 분석용 데이터 구축 부담 경감을 목적으로 개선됐다.

이 성능은 페가수스의 실제 로봇 학습 데이터 구축 활용으로 이어지고 있다. 트웰브랩스는 미국 한 로보틱스 학습 데이터 기업이 페가수스를 사용하고 있다고 설명했다. 해당 기업의 대상 영상은 공장 작업 현장 수집 에고센트릭 영상이다.

활용 절차는 영상 품질 선평가 후 선별 영상에 상세 설명을 부착하는 방식이다. 해당 기업의 일일 영상 정제 규모는 수십만 시간이다. 이 과정에서 사람의 전수 확인을 대체하고, 품질 평가와 캡션 생성 등 자동화 대상 반복 작업을 수행해 학습 데이터 구축 시간 단축 효과를 내고 있다.

트웰브랩스의 기존 적용 분야는 미디어·엔터테인먼트·스포츠·공공이었다. 기존 적용 내용은 영상 속 행동·사건·전후 맥락 분석 기술이다. 트웰브랩스는 페가수스 1.6을 계기로 로봇·제조 현장 포함 피지컬 AI 영역으로 적용 범위를 확대할 계획이다.

이재성 트웰브랩스 CEO는 트웰브랩스가 기계의 영상 기반 현실 세계 이해를 지향해 왔다고 밝히고, 그 연장선에서 페가수스 1.6이 영상을 구조화된 지식으로 전환하는 기능을 하며, 이를 통해 피지컬 AI·로보틱스 기업이 실제 인간 경험을 학습에 활용할 수 있도록 지원한다고 설명했다.

출처: 테크월드뉴스 · 김승기 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=407889

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=407889