Ollamaからメールが来たのでGranite 4.2を見てみた

今週も、Ollamaからメールが届きました。

新しいモデルとして紹介されていたのは、IBMの「Granite 4.2」。

普段から最新モデルを追いかけているわけではないので、
こういうメールが届くと「新しいのが出たんだ」
と知るきっかけになります。

今回は少しだけ中身を覗いてみました。

まず結論

Ryzen 7、メモリ32GBくらいのミニPCを持っている人なら、

「ちょっと試してみる」

という目的で十分触れそうなモデルです。モデルには3B、8B、30Bといったサイズがありますが、難しく考えなくても、

3B → 軽量版
8B → 実用版
30B → 上級者向け

くらいの理解で問題ありません。今回なら8Bから試します。

自分のPCのメモリーを調べるのもおっくうな場合は、3Bからが良さそうです。

ダウンロードして、「こんにちは」と始めるのが、いつものやり方です。

AIの性能より、動くかどうかが気になる

ローカルLLMの記事を読むと、面倒くさいです。

パラメータ数
ベンチマーク
推論能力

こんな話がたくさん出てきます。もちろん大事なのですが、多くの人にとって最初の関心事は

「それ、自分のパソコンで動くの？」「ChatGPTとどう違うの？」

ではないでしょうか。数年前ならローカルAIはかなり特殊な趣味の世界でしたが、今は違います。少し余裕のあるミニPCなら、自宅でAIを動かして遊べる時代になりました。

Ollama以外の選択肢もある

ローカルAIを試す方法はOllamaだけではありません。
Windowsユーザーなら、

• LM Studio
• Jan

あたりもよく名前を見かけます。それぞれ特徴はありますが、最初の段階では

「ローカルAIを試してみるための入口」

くらいに考えておけば十分です。このあたりは、機会があれば別の記事でまとめてみようと思います。

ローカルLLMにはロマンがある

ローカルAIの面白いところは、自分のパソコンの中でAIが動いていることです。クラウドサービスを使うときとは少し違う感覚があります。

ネット接続を気にしなくてもいい。データを外に送らなくてもいい。

そんな安心感もあります。

一方で、この世界はかなり深いです。

凝り性の人は少し注意

最初は「新しいモデルを触ってみたい」

だけだったはずなのに、気が付くと

モデルを比較し始める
GPUが欲しくなる
メモリを増やしたくなる
新しいミニPCを調べ始める

ということもあります。ローカルLLMには魅力もロマンもあります。

ただ、凝り性の人にとっては、
時間もお金も吸い込む趣味になりやすいので要注意です。

今回の持ち帰り

今回のGranite 4.2で思ったのは、

ローカルAIはもう「一部の詳しい人だけの遊び」
ではなくなったということです。

Ryzen 7、メモリ32GBくらいのPCを持っているなら、見学だけで終わらせるのは少しもったいないかもしれません。

まずは1本ダウンロードして触ってみる。

そのくらいの距離感がちょうどいい気がしています。そして私は、たぶんまた忘れます。だから次もOllamaからメールが届いたタイミングで、

「今度は何が出たんだろう」

と見に行こうと思います。