Mistral Large 4など今週のオープンなAI6選、16GBのMacで足りるのはどれか

今週（10月24〜31日）話題になったオープンなAIを6つ並べると、メモリ16GBのMacで手元に置けるのはLFM3-1.7B、Hob、tinyworldformerの3つで、Mistral Large 4とNemotron 3.5 TranscribeはAPIやクラウドで使う側です。残るUnlimited-OCR-2は、大きさは足りるのに、いまのOllamaでは読み込めませんでした。「1兆パラメータの重みが無料で落とせるなら、うちのMacでも動くのでは」と思った人は、ダウンロードを押す前に判定表だけ見ていってください。

手元の確認はM1 Max・メモリ64GBのMacBook Proで行い、16GBで足りるかは、Ollamaが表示した使用メモリとファイルの大きさから判断しています。

16GBのMacに入るかは、ファイルの大きさでほぼ決まる

AIを手元で動かすと、モデルの重み（学習で得た数値の塊）がまるごとメモリに載ります。MacはCPUとGPUが同じメモリを分け合う作りなので、16GBからmacOSやブラウザの分を引くと、モデルに回せるのは11〜12GBくらいが目安です。

重みのファイルは、数値を何ビットで持つかで大きさが変わります。この圧縮を量子化と呼び、「4bit」「IQ1_S」のような表記がそれです。配布形式は、Ollamaなどが読むGGUFと、Apple Silicon向けのMLXをよく見かけます。

勘違いしやすいのがMoE（Mixture of Experts）です。たくさんの専門家の中から毎回一部だけを呼び出す作りで、Mistral Large 4なら約1兆のうち1トークンごとに働くのは約490億。速さは働く分で決まりますが、メモリには全員分が載ります。「アクティブ49B」と聞いて49B分のメモリで足りると考えると、ここで詰みます。

今週のオープンなAI6選、16GBのMacでの判定表

「手元に要る大きさ」が11〜12GBより小さければ候補、超えたらAPIかクラウド、が基本の読み方です。Appleの20Bモデルが2GBで動くという話題も出ていましたが、macOS 27に内蔵されたモデルで重みは公開されていないため、外しました。

LFM3とHob、16GBのMacで手元に置ける側

LFM3-1.7Bは、1.7GBで毎秒120トークン出た

LiquidAI/LFM3-1.7B · Hugging Face

Text Generation model with 2B parameters. Download, explore files and run it on Hugging Face.

huggingface.co

LFM3-1.7Bは、Liquid AIが10月27日に発表した17.3億パラメータの文章生成モデルです。日本語を含む16言語に対応し、一度に読める長さ（コンテキスト）は256Kトークンあります。

最初につまずいたのはOllamaのバージョンでした。手元の0.30.10で ollama pull lfm3:1.7b を打つと「requires a newer version of Ollama」で止まります。brew upgrade ollama で0.40.13に上げたら、87秒で取得できました。古いOllamaを入れっぱなしの人は、ここが罠です。

NAME         ID              SIZE      PROCESSOR    CONTEXT    RUNNER
lfm3:1.7b    f609fc0ab12a    1.7 GB    100% GPU     262144     mlx

ollama ps の使用メモリは1.7GBで、目安の11〜12GBに対して10GB近く余ります。速度は生成120.7 tokens/s、読み込み1.2秒でした。ただしM1 Maxの数字なので、16GBモデルに多い無印のM1やM2では遅くなると見ておいてください。

日本語の要約も頼みました。会議資料の形式変更を書いた3文を「3行に」とお願いすると、英語で考える過程を出してから、こう返してきました。

- 社内会議資料は毎回30ページを超え、要点を把握しにくいという声が多々ある。
- 来月からは1ページ目に結論・依頼事項を記載し、詳細は付録に移す形式へ変更する。
- まず営業部で試行し、2週間後に参加者の感想を集めて改善策を検討する。

形はきれいです。でも原文は「感想を集める」で終わっていて、「改善策を検討する」はどこにも書いていません。1回だけの試しですが、原文に無い1文を足してくるので、議事録のように正確さが要る用途では読み返しが欠かせません。

ライセンスはLFM Open License v1.0で、年商1000万ドル（1ドル=150円で約15億円、以下同じ計算）以上の会社は商用で使えません。副業なら当たりませんが、勤め先の業務で使うなら会社の規模を先に確かめてください。

Hobは、16GBならGemma 4 E4Bが基本になる

GitHub - FrigadeHQ/hob: An easier way to use AI on your own computer. A free, open-source alternative to Claude and ChatGPT that runs open-weight models like Gemma and gpt-oss locally on Mac, Windows and Linux. Private, and works offline.

An easier way to use AI on your own computer. A free, open-source alternative to Claude and ChatGPT that runs open-weight models like Gemma and gpt-oss locally on Mac, Windows and Linux. Private, a...

github.com

Hobはモデルではなく、ローカルでAIを動かすためのデスクトップアプリです。ClaudeやChatGPTの代わりを名乗るMITライセンスのオープンソースで、10月末にv0.2.6が出たばかり。Mac版の配布はApple Silicon用（193MB）だけで、Intel Mac向けはありません。

中で動くのは、Hobが一覧から選んでダウンロードするGemma 4やgpt-ossです。一覧のファイル（catalog.json）にある大きさを、16GBの目安と並べるとこうなります。

気をつけたいのはgpt-oss 20Bです。一覧に16GB向けの注意書きはありませんが、12.11GBは目安を少し超えるので、ほかのアプリを閉じても苦しいはずです。E4Bで物足りなくなったら、次は26B Compactにしてください。

今週出たのはアプリの方で、中身は前からあるGemma 4です。新しいモデルを試すというより、設定なしでローカルAIを使える手軽さを手に入れるアプリだと考えると、期待とずれません。

tinyworldformerは、メモリの話にならない

GitHub - SheepSeb/tinyworldformer: Tiny world model generates games and stream ac plays them all on Pico 2W

Tiny world model generates games and stream ac plays them all on Pico 2W - SheepSeb/tinyworldformer

github.com

tinyworldformerは、安価なマイコンボードのRaspberry Pi Pico 2 Wの上で、ゲームの次の画面を予測して描く「世界モデル」です。今の画面とボタン入力から次の画面を作り、もう1つの小さなネットワークがその画面を見てプレイします。世界モデルのパラメータは2.6万〜13.1万で、LFM3の1万分の1以下です。

PC用のRust版を使い捨てのLinuxコンテナ（8コア）で動かすと、cargo test --release は全部通りました。--bench で1フレームを作る時間を計ると、Pong 302.0µs、Flappy Bird 279.9µs、Breakout 549.4µs。READMEにあるデスクトップCPUの0.7〜1.5ミリ秒より速く出ました。同梱の重みは合わせて約18MBで、16GBかどうかを気にする段階ですらありません。

注意点が1つあって、ライセンスの記載がリポジトリのどこにもありません。改変して配ったり仕事に組み込んだりするなら、作者に確認してからにしましょう。

Unlimited-OCR-2は16GBに収まるのに、Ollamaでは読み込めなかった

baidu/Unlimited-OCR-2 · Hugging Face

Image-Text-to-Text model with 3B parameters. Download, explore files and run it on Hugging Face.

huggingface.co

請求書やスキャンしたPDFを、クラウドに上げずに手元で読ませたいと思ったことはありませんか？ Unlimited-OCR-2は、Baiduが公開した30億パラメータ級のOCR（画像の文字を読み取る）モデルです。何十ページもある文書を1回で読み、ページをまたいだ文脈を保ったまま文字を起こすのが売りで、ライセンスはMITです。

大きさは問題ありません。コミュニティ版のGGUFはQ4_Kで2.02GB、画像を読むための追加ファイルが0.83GBで、合わせても3GBに届きません。

詰まったのは読み込みです。ollama pull hf.co/AtomicChat/Unlimited-OCR-2-GGUF:Q8_0 で4.0GBを取得し（Q4_K のタグは「not a valid quantization scheme」で指定できませんでした）、架空の請求書の画像を読ませるとHTTP 500。ログにはこう出ていました。

error loading model: unknown model architecture: 'unlimited-ocr2'

理由は配布元のREADMEにありました。このGGUFは本家のllama.cppがまだ対応していない形式で、パッチを当てたllama.cppを自分でビルドして使う前提です。Ollamaの1行で動くのは、もう少し先になりそうです。

Macで先に触るなら、mlx-communityに4bit〜bf16のMLX変換版があります。公式の動かし方はtransformersかvLLMで、どちらもモデル側のコードを実行する形（trust_remote_code=True）なので、中身を確かめてから使ってください。

Mistral Large 4とNemotronが16GBのMacに入らない理由

Mistral Large 4は、最小でも233GB

Mistral Large 4 (Le Chonk) is now open weight | Mistral

The weights of Mistral Large 4 (Le Chonk) are now open. A 1T parameter multimodal model, and best open-weight model for coding, trained in Europe.

mistral.ai

Mistral Large 4は、Mistral AIが10月6日に発表し、10月29日に重みを公開した大型モデルです。総パラメータは約1兆（発表時の表記は1.05兆）で、画像も読め、100万トークンの長さを扱えます。

手元向けに軽くしたunslothのGGUFは、いちばん小さい1bit級でも233GB。16GBの約15倍で、unsloth自身も256GBのメモリを積んだマシンを目安に挙げています。4bit級なら605GBです。ダウンロードで半日溶かす前に、ここで判断がつきます。

Ollamaにも罠があります。ライブラリにあるのは mistral-large-4:cloud の1つだけで、これはOllamaのクラウドで動く版です。コマンドはいつもの ollama run でも、手元のMacにモデルは落ちてきません。

Nemotron 3.5 Transcribeは、19GBで一歩届かない

nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B · Hugging Face

Automatic Speech Recognition model with 34B parameters. Download, explore files and run it on Hugging Face.

huggingface.co

Nemotron 3.5 Transcribeは、NVIDIAが10月28日に公開した文字起こしモデルです。日本語を含む40言語に対応し、最大1時間の音声を書き起こせます。ライセンスはOpenMDW-1.1で、商用でも使えます。

総パラメータは約340億、アクティブは約43億。コミュニティ版GGUFの最小（IQ4_NL）が19.0GBで、目安を7GBほど超えます。動かす道具もOllamaではなく、NeMoやvLLMといった専用のものです。ファイルの大きさだけで言えば、32GB以上のMacからが入口です。

会議の文字起こしを手元で完結させたい人には惜しいところです。16GBのMacなら、NVIDIAのbuild.nvidia.comにあるホスト版で触るのが現実的です。

Mistral Large 4のAPI料金は、1回の仕事で何円か

手元で動かないなら、APIで呼ぶといくらかかるのでしょうか。公式の単価は100万トークンあたり入力0.70ドル、キャッシュされた入力0.07ドル、出力2.10ドル。円にすると入力105円、キャッシュ入力10.5円、出力315円です。

これ、マジで安いです。長い資料の要約が1回2〜3円なら、233GBのダウンロードと256GBのマシンを考える理由はほぼ残りません。

計算どおりに収めるコツは2つです。

1. 出力の単価は入力の3倍です。Mistral Large 4は考える強さをlow、medium、highから選べて、既定は最も重いhigh。公式は簡単な仕事にlowを勧めているので、仕分けのような軽い仕事はlowを指定します。
2. 毎回同じ長い指示文や資料を送るなら、キャッシュが効いて、その部分の入力は10分の1の単価になります。

ライセンスはMistral Ecosystem Open-Weight License（MITを改変したもの）で、条件は1つだけ。モデルを他社にAPIとして貸す事業（Model-as-a-Service）を営む会社は、商用利用に別のライセンスが要ります。自分の副業でAPIを呼ぶ分には関係ありません。

8GB、16GB、32GBのMacで、どのローカルAIから試すか

あなたのMacのメモリは何GBでしょうか。左上のAppleメニューの「このMacについて」に書いてあります。

8GBなら、LFM3-1.7B（実使用1.7GB）が最初の1本です。アプリで済ませたい人は、Hobの一覧で「8GBに収まるよう縮めた」とあるGemma 4 E4B Compact（3.86GB）を選びます。

16GBなら、Ollamaを最新にしてLFM3で手応えを見て、日常使いはHobのGemma 4 E4B、物足りなければ26B Compactへ。Mistral Large 4は1回数円のAPIで使い分け、Unlimited-OCR-2はOllamaの対応を待つかMLX版に回ります。

32GB以上あれば、19GBのNemotron 3.5 Transcribeも候補に入ります。それでもMistral Large 4だけは、個人のMacで動かすよりAPIで呼ぶ方が早くて安い相手です。

今週の6つで見えたのは、重みが公開されることと、自分のMacで動くことは別の話だということです。ダウンロードを押す前に、ファイルの大きさを11〜12GBと比べる。それだけで、233GBの空振りも、読み込めないモデルの前で首をひねる時間も省けます。