Muse Spark Openは、自宅のMac Studioで現実に動くのか?

コードを読まないAIエンジニア
サムネイル

Muse Spark Openを自宅で動かすには、何GBのメモリが要るのか。重みそのものは約533GB、Metaがモデルカードで示すGPU向けの目安は700GB以上、Metaが挙げたMac Studioの構成はメモリ合計1TBと、出てくる数字は3つあります。その構成はM5 Ultra搭載Mac Studioのメモリ512GB版を2台つなぐ形ですが、512GB版は10月後半に追加される予定で価格もまだ出ておらず、今日買えるのは256GB版を4台つなぐ構成です。公開されている重みの容量から必要メモリを検算し、1台で済ませる道と、個人で使ってよい範囲まで整理します。

Muse Spark Openが2台で動くための前提

Metaが10月15日に公開したMuse Spark Openは、総パラメータ816B、1トークンごとに動くのは42B分というMoEモデルです。文脈は最大100万トークンで、テキスト、画像、動画、音声を入力に取れます。

Metaの開発者ブログが挙げるApple Siliconの構成は、512GBのMac Studioを2台、または256GBのMac Studioを4台で、どちらもメモリ合計1TBです(英語の原文を私が要約しました)。モデルカードはMLXでの最適化をうたい、GPUで動かす場合の目安を、NVFP4で700GB以上、BF16で2TB以上としています。「2台で動く」の前提は、4ビット形式のNVFP4、MLX、合計1TBのメモリの3点です。

引っかかるのは機材の側なんですよ。M5 Ultra搭載Mac Studioは9月22日の発売で、最小構成(メモリ96GB、SSD 1TB)が949,800円から。512GB版は10月後半に追加される予定で、10月17日時点では価格が発表されていません。

今日注文できるのは256GB版を4台つなぐ構成で、最小構成の価格を4倍しただけでも約380万円、そこにメモリの上乗せが乗ります。手元のMacは何GBですか?Metaが示した合計1TBとの差を頭に置いて、次の表を見てください。

Muse Spark Openの重みは530GBか、493GBか?

重みの容量は、出どころによって数字がずれています。重みそのものの大きさと、動かすのに要るメモリの目安を分けて並べました。

形式
数字の種類
容量
出典
BF16
重み
約1.6TB
Meta開発者ブログ
BF16
動かす目安
2TB以上
モデルカード
NVFP4
重み
約530GB
Meta開発者ブログ
NVFP4
動かす目安
700GB以上
モデルカード
GGUF 8ビット
動かす目安
870〜950GB
Unsloth
GGUF 4ビット
動かす目安
512GB
Unsloth
GGUF 3ビット
動かす目安
346〜410GB
Unsloth
GGUF 2ビット
動かす目安
250〜316GB
Unsloth
GGUF 1ビット
動かす目安
180〜212GB
Unsloth

GGUFの行は、Unslothが自前で量子化したファイルを動かすときの、メモリとVRAMを合わせた目安です。

ややこしいのがNVFP4です。Meta開発者ブログは約530GB、GIGAZINEは約493GBと報じていて、報道では数字が分かれています。Hugging FaceのNVFP4版リポジトリの容量は533,039,109,326バイトで、10進のGBなら約533GB、2進の単位(1GiB=1,073,741,824バイト)で数えると約496GiBです。

493GBは496GiBに近いものの一致はせず、算出元はGIGAZINEの記事から分かりませんでした。単位の取り方でずれたのだろう、というのは私の見立てです。

816Bのパラメータを4ビット(0.5バイト)で持てば約408GBのはずなのに533GBあるのは、エキスパートだけを4ビットにして、残りはBF16のまま持つからです(Metaのブログに「エキスパートだけを量子化」とあります)。

この記事では、重みを約533GB(10進)で数えます。Macのメモリ表記が10進か2進かはAppleの公式から確かめられていないので、メモリとの比較はどれも概算です。覚えておくなら「重みは約530GB、動かすには700GB以上」で外しません。

Mac Studio1台で済ませるなら、GGUFは何ビットまで?

512GB版の1台でも、約533GB(約496GiB)のNVFP4は実用になりません。単位の取り方によっては重みだけなら入る計算ですが、文脈とOSの分が残らないからです。4ビットのGGUF(目安512GB)もメモリを使い切ってしまいます。現実的なのは3ビット(346〜410GB)以下です。

今買える256GB版の1台なら、Unslothの公式ページは、2ビットのUD-IQ2_XXSが256GBに収まるとしています。Hugging Faceのリポジトリでのファイルの大きさは約226GBで、表の2ビット(250〜316GB)の下限より小さいのは、2ビットの中でも一番小さい版だからです。ただ、256GBから226GBを引くと残りは30GBほど。OSと文脈の分を考えると余裕は小さく、1ビット(180〜212GB)のほうが現実的です。

Metaの開発者ブログにも、llama.cppなら256GBの環境で動くとあります。同じブログにはUnslothの最小版が約300GBとも書かれていて食い違って見えますが、こちらは2ビットまで落とした場合の大まかな数字で、Unsloth自身の表(1ビットは180〜212GB)のほうが新しいようです。

ビットを落とせば、そのぶん賢さも落ちます。Unslothは、UD-IQ2_S より小さい量子化は一般的な作業で品質が落ちるとし、エージェント用途では UD-IQ2_S を最低ラインに挙げています。UD-IQ2_XXS と1ビットはどちらもそれより小さく、UD-IQ2_S のファイルは約275GBなので、256GB版では最低ラインに届きません。一方で、チャット形式なら小さい量子化でも使えるとも書いています。

Muse Spark Openに任せたいのは会話ですか、コードですか?私の線引きでは、コードを書かせるエージェントなら512GB版で2ビット以上、雑談や下書きなら256GB版の1ビットや UD-IQ2_XXS も候補に入ります。

1Mトークンの文脈とKVキャッシュの必要メモリ

重みが載っても、まだ足りません。モデルは読み終えた文章を毎回最初から計算し直さないよう、途中の計算結果をメモリに置いておきます。これをKVキャッシュと呼び、文脈が長いほど膨らみます。

モデルカードのアーキテクチャ表には、層数62、KVヘッド16、ヘッドあたりの次元64、隠れ次元8192、Qヘッド128とあります(config.json本体は読めていません)。この数字で試算しました。

layers, kv_heads, head_dim = 62, 16, 64  # モデルカードの値
per_token = 2 * layers * kv_heads * head_dim * 2  # KとVの2本、BF16は2バイト
print(per_token)                    # 253952バイト(約254KB)
print(per_token * 1_048_576 / 1e9)  # 約266GB

1トークンあたり約254KBなので、10万トークンで約25GB、上限の1,048,576トークンまで使うと約266GBです。全62層が全文脈のKVを持ち、KVはBF16という前提なので上限寄りの値で、実際の使用量は実装によって変わります。

2台で合計1TB(概算)の構成なら、NVFP4の重み約533GBを引いて約467GBが残り、数字の上では1Mトークン分も入ります。一方で512GB版の1台に3ビットを載せると、残りは100〜170GBほど(Unslothの目安に実行時の余裕が含まれていれば、実際はもう少し残ります)。OSやアプリの分も引くと、1Mトークンを丸ごと読ませる使い方は2台以上の構成の話になります。

2台で毎秒約25トークン、Muse Spark Openは実用的な速さか?

ITmedia AI+(10月16日)は、Appleの検証として2台で毎秒約25トークン、4台で約36トークンと伝えています。GIGAZINEによれば、Mac Studio同士はThunderbolt 5でつなぎ、4台構成の最大は約36.7トークンでした。

ここがMoEの面白いところで、816Bもあるのにこの速さが出るのは、1トークンごとに読む重みが42B分で済むからです。百科事典を全巻並べておいても、1語を引くのに開くのは数ページ、という感じですね。Metaも、M5 Ultraの1.2TB/sの帯域なら、トークンごとに要る小さな一切れを読むのに十分だと説明しています。

毎秒25トークンなら、1,000トークンの返答に40秒。チャットなら待てる速さですが、1往復の出力が1,000トークンのエージェントに20往復させると、出力だけで13分ほどかかります。

長い入力を読み込んで最初の1文字が出るまでの時間は、私が確認した報道には載っていませんでした。大きなリポジトリや資料を読ませるなら、手元に置く前に知りたいのはむしろこっちの数字なんですよね。

Muse Model Licenseで、個人開発者に引かれた線

重みはオープンソースのライセンスではなく、Meta独自のMuse Model Licenseで配られています。Metaの発表は「限定的な商用条件付きで、多くの開発者が無料で使える」という書き方です。

ライセンス本文はHugging Faceで手動承認の設定がかかっていて、私は原文を通読していません。以下はPC Watch、gihyo.jp、ITmedia AI+の10月16日の記事の要約による条件です。

  • 使用や改変は原則無料
  • APIなどでモデルの出力を第三者に提供する事業(MaaS)を営み、かつ関連会社を含む総収入がいずれかの連続12か月間で2,000万ドル(1ドル150円換算で約30億円)を超える場合は、提供前にMetaへ通知して別途契約を結ぶ
  • 社内利用や、MaaS以外の商用利用はこの条件の対象外
  • 製品やサービスに「Built with Muse Spark Open」と表示する

要約どおりなら、個人開発者が自分のツールや社内向けの仕組みで使う範囲で、収益の条件に当たることはまずありません。効いてくるのは表示義務のほうで、画面や説明ページのどこに出すかを組み込む前に決めておくと慌てずに済みます。

出力を別のモデルの学習に使ってよいか、どんな場合に利用権を失うかといった細部は、要約からは確かめられませんでした。仕事で使うなら、承認後にライセンス本文と同梱の利用ポリシー(USE_POLICY.md)を自分の目で読み、迷う箇所は専門家に確認してください。

Muse Spark Openを自宅に置くか、APIで借りるか

自宅に置く意味があるのは、コードや顧客のデータを外に出せない人、一日中エージェントを回し続ける人、量子化の違いを自分の手で比べたい人です。どれかに当てはまりますか?

当てはまらないなら、まずはAPIで十分です。MetaはOpenRouterやTogether AIなど7社のAPI提供と、Amazon SageMaker AIやHugging Faceでの配布を案内していて、機材を買わずに出力の質を確かめられます。普段のPCでMuseを触りたいだけなら、報道ベースでは24GBのVRAMを狙った量子化版もある30BのMuse Glimmerという別の選択肢もあります(Metaの一次情報では確認できていません)。

迷っているなら、512GB版の価格が出てから計算すると判断が早いです。式は「機材代 ÷(APIの100万トークン単価 × 月に使う100万トークン数)」で、何か月でAPI代を上回るかが出ます。

Muse Spark Openが家に置けるかどうかは、どの量子化で使うかとメモリをどこまで用意できるかで決まります。NVFP4を載せるMetaの構成は合計1TB級で、量子化を落とせば256GB級でも動かせますが、そのぶん品質は下がります。10月後半に512GB版の値段が出たら、この式に自分の使用量を入れてみてください。