산업

뉴로퓨전, ‘포캐스트벤치’서 선행 리더보드 1위…“미래 사건 확률 예측 능력 입증”

테크월드뉴스 ·

지난 18일 기준 포캐스트벤치 예비 순위표 [제공=뉴로퓨전]

✦ AI 요약

뉴로퓨전은 자사 금융 AI 연구팀이 글로벌 AI 미래 예측 벤치마크 포캐스트벤치 선행 리더보드 1위를 차지했다고 21일 밝혔다.

포캐스트벤치는 경제·금융·정치·기술 등 실제 사건 예측 문제로 구성되며, 제출 시점에 결과가 확정되지 않은 미래 사건만 질문한다.

뉴로퓨전은 4년간 구축한 530개 이상의 데이터 파이프라인과 167개의 금융 특화 MCP, 정제된 금융 데이터 인프라, 금융 특화 추론 기술이 이번 성과의 기반이라고 설명했다.

뉴로퓨전은 21일 자사 금융 AI 연구팀이 글로벌 AI 미래 예측 벤치마크 '포캐스트벤치(ForecastBench)' 선행 리더보드 1위를 차지했다고 발표했다.

포캐스트벤치는 경제·금융·정치·기술 등 여러 영역의 실제 사건 예측 문제로 구성되며, AI의 미래 예측 능력을 평가 대상으로 삼는다. 이 벤치마크는 AI 미래 예측 능력 평가 분야에서 정통성을 인정받는 벤치마크로, 미래 사건 확률 예측 능력을 입증하는 기준으로 제시된다.

포캐스트벤치의 차별점은 제출 시점에 결과가 확정되지 않은 미래 사건만 질문한다는 점이다. 여타 벤치마크가 이미 답이 알려진 문제를 푸는 방식인 것과 구분되며, 포캐스트벤치의 특성상 공개 데이터 사전 학습을 통한 점수 향상은 불가능하다.

문제는 2주마다 자동 갱신된다. 문제 데이터는 FRED·야후 파이낸스 등 경제·금융 시계열 데이터를 출처로 삼고, 폴리마켓(Polymarket)·메타큘러스(Metaculus) 등 주요 예측시장의 실제 미래 사건으로 구성 요소를 이룬다.

뉴로퓨전은 자사 AI 연구팀이 데이터셋 부문 선행(Preliminary) 리더보드에서 1위를 기록했다고 발표했다. 평가 기준은 브라이어 지수(Brier Index) 67.5점이었고, 비교 대상 규모는 총 464개 모델이었다. 또 연구팀의 익명 제출 실험 모델을 포함하면 순위 1·2·3·4위를 차지했다고 밝혔다. 이어 5위 팀 점수는 65.9점이었고, 구글 딥마인드 최상위 모델 점수는 65.0점이었다고 설명했다.

뉴로퓨전은 이번 성과가 금융시장·예측 영역 적용 목적의 4단 동적 시계열 그래프 '데미안(Demian)' 구축 과정의 연구 성과를 기반으로 한다고 평가했다.

회사는 이런 성과를 뒷받침하는 요소로 4년간 구축한 530개 이상의 데이터 파이프라인을 제시했다.

또한 167개의 금융 특화 MCP, 정제된 금융 데이터 인프라, 금융 특화 추론 기술도 이번 성과의 기반이라고 설명했다.

뉴로퓨전은 지난 7월 자체 84문항 금융 평가 셋에서 최신 범용 AI 모델 대비 우위를 확인한 데 이어, 이번 외부 공개 벤치마크에 참여해 글로벌 AI 모델들과 동일 조건으로 경쟁하며 외부 공개 벤치마크를 통한 성능 검증에 나섰다.

최한철 뉴로퓨전 대표는 사회과학 미래 예측에는 퀀트 영역의 귀납적 추론과 범용 LLM 기반 연역적·귀추적 추론이 필요하며, 여기에 더해 금융시장 참여자인 인간의 사고·인지·감정의 동역학을 이해하는 별도 아키텍처가 필요하다고 밝혔다. 그는 해당 아키텍처가 아직 절반 정도만 구현된 상태이며, 구현 과정의 연구만으로 이번 성과를 도출했다고 설명하면서 이번 성과에 대한 기쁨을 표명했다. 이어 글로벌 무대에서 검증된 예측 역량을 밸리 AI의 리서치 기능 전반에 적용하고, 투자자의 더 정교한 분석 기반 판단을 지원하겠다는 방침을 밝혔다.

출처: 테크월드뉴스 · 이광재 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=407178

참고자료

이 기사는 자동생성 알고리즘의 도움을 받아 작성되었습니다.


출처 테크월드뉴스

원문 확인

이 기사는 테크월드뉴스 원문을 바탕으로 비즈크러시가 요약 정리했습니다. 정확한 인용과 세부 내용은 원문을 확인해 주세요.