MetaのAIがSTEMオリンピアド5冠 道具なしで勝った意味

電卓も検索も使わせない条件で、AIが国際的なSTEMの大会5つで金メダル相当の成績を取りました。

その中でも、物理の2競技については満点でした。

計算資源を積み増して勝ったのではなく、解かせ方を変えて勝った、という話なので、大きな研究所の出来事に見えて中小企業のAI予算にそのまま刺さります。

道具を1つも使わせずに金メダル水準を取った

海外で報じられた中身は、これだけでした。

Metaのモデルが5つの国際的なSTEMオリンピアドで金メダル相当の成績を出し、うち物理の2競技では満点。

条件は「ツールなしのマルチエージェント推論」。

道具なし、というのがどれくらい厳しい条件かというと、電卓もコードの実行環境もなく、検索も参考資料の参照もできない状態です。

使えるのはモデルが持っている推論だけ。

その代わりに、解く役を複数立てて並行で考えさせる、という組み方をしています。

普通、AIの成績を上げようと思ったら手は決まっているんですよ。

もっと大きいモデルにするか、もっと道具を持たせるか。

今回はその両方をやらずに、道具をゼロにしたまま上げている。

なお、5つの大会が具体的にどれなのかは公表されていません。

そこは最後にまとめて触れます。

スケールで殴るか 編成で勝つか

AIの出力を上げる手は、だいたい2つに分かれます。

1: スケール。より大きいモデルに変える、計算資源を増やす、道具を足す、扱える文脈を長くする。

2: 編成。モデルはそのままで、解く役を複数立てて並行させ、出てきた答えを突き合わせる。

人を増やすか、今いる人の組み方を変えるか、という話と構図は同じです。

どちらが安上がりなのかは、今回のケースだと公表された数字がないので断定できません。

並列で推論を回せば、その分だけ推論の回数は増えますし。

はっきり違うのは「何を増やしているか」のほうです。

スケールは持ち物を増やす。

編成は設計を増やす。

前者は予算が通れば勝手に進みますが、後者は誰かが手を動かさないと1ミリも進まない。

で、たいていの会社で手つかずになっているのは後者なんですよ。

同じ研究所が正反対の2つを出した

8月5日、MetaはMuse Codeというターミナル上で動くコーディングエージェントを公開しています。

GPUカーネルの最適化を、1,000回を超えるツール呼び出しで、最大24時間かけて回し続ける。

公式にそう書かれている、道具を使い倒す方向の製品です。

その2日後に報じられたのが、道具ゼロで金メダル水準、という話でした。

2日違いで、道具の量が真逆に振れている。

ここから読めるのは、道具は多いほど強い、という単純な話ではないということです。

決めているのは、答えがどこにあるか。

リポジトリの改修なら、正解は手元のコードとテストの結果の中にあります。

取りに行かないと確かめようがないので、実行する道具が要る。

競技の物理や数学は逆で、答えは問題文から導けるものです。

取りに行く先がないので、道具を足したところで増えるのは手数とコストだけになる。

自社に置き換えるとこうなります。

AIに任せたい仕事の答えが、社内のデータや実行結果の中にあるなら、道具の整備が投資対象。

答えが渡した情報から導けるものなら、道具より解かせ方に投資したほうが効きます。

Muse Spark 1.2で実際に変わったところ

Muse Spark 1.2は8月5日から、Muse CodeとMeta Model APIで使えるようになっています。

Muse Codeのほうは、大きなリポジトリ全体を対象に、変更の計画から実装、結果の検証までを引き受けるエージェントとして説明されています。

バックグラウンドで動き続けるエージェント、リポジトリ規模での実行、検証の内蔵。

柱はこのあたりです。

ベンチマークとして挙がっているのはTerminal-Bench 2.1、DeepSWE 1.1、それとMeta社内のコーディングベンチ。

ただ、経営目線で引っかかるのは性能の数字より、さっきの「最大24時間」のほうだと思ってて。

AIに投げる仕事の単位が、1回のやりとりから、走らせっぱなしのジョブに変わっているんですよ。

これは監督のしかたと費用の見積もり方が変わるという話です。

社内で使うなら、走り出したものを途中で止めるかどうかを誰が判断するのか、上限をどこに置くのか、先に決めておかないといけない。

24時間動き続けるものを野放しにすると、翌朝の請求で驚きます。

Introducing Muse Code and Muse Spark 1.2

Introducing Muse Code, a terminal coding agent powered by Muse Spark 1.2, with persistent background agents, repository-scale execution, and built-in verification.

research.meta.ai

計算資源を増やす前に 配分を疑う

持ち帰るのは1つでいいと思っています。

出力を上げたくなったとき、最初に触るのは「増やす」ではなく「並べ方」。

多くの会社のAIの使い方は、いまだに1回投げて1回答えをもらう構造のままです。

精度が足りないとなったときの次の一手も、たいてい上位プランへの変更か、もっと高いモデルへの乗り換えになる。

これは稟議が通しやすいので選ばれやすいんですよ。

金額と効果を並べて書けるので。

ただ、同じ予算でこういう手も打てます。

• 同じ問いを、前提を変えて3通り解かせて、食い違ったところだけ人が見る
• 下書きを作る役と、粗を探す役を別々に立てる
• 一次処理は安いモデルに任せて、高いモデルは最後の判断だけに使う

どれもモデルを変えていません。

変えているのは並べ方だけです。

確認のしかたは1つで、直近1ヶ月でAIに投げた仕事のうち、1回投げて1回答えで終わっているものが何割あるか数えてみる。

その割合が高いほど、まだ買い物をしなくていい余地が残っている、ということになります。

断定を待つ理由

この件、投資判断を書き換える材料としてはまだ弱いです。

確定していないことを並べます。

5つの大会がどれなのかは公表されていません。

満点だった物理2競技がどの大会かも同じです。

コストがどれくらい安く済んだのかを示す数字も出ていない。

そもそもMeta自身の8月5日の発表に、オリンピアドの話は1行も入っていません。

なので、その成績を出したのがMuse Spark 1.2なのか別のモデルなのかも、公式には確認できない状態です。

いま確かなのは「道具なしのマルチエージェント推論で金メダル水準が出た」という一行だけで、その先は続報待ちになります。

だから予算の話は、まだ動かさなくていいと思ってて。

動かす価値があるのは、さっきの配分の確認のほうです。

こちらはどのモデルの話だったとしても結論が変わらないので、続報を待つ理由がありません。