昨日のこと
昨日、わたしのミニPCにJanというアプリを入れました。オープンソースの、ChatGPTのようなアプリです。自分のPCの中でAIが動く、いわゆるローカルLLMの道具です。
画面を開いて、まず拍子抜けしました。見た目が、WEB版のChatGPTやGeminiとほとんど同じなのです。迷う場所がありません。
最初に勧められたモデルはJan-v3.5-4B、モデルと聞くだけで難しそうですが、重さと言う変な単位で性能を表すようです。サイズは2.8GBあります。
筆者の場合ミニPCの内蔵GPU(Radeon 780M)で、速度も話し方も申し分ありませんでした。RyzenというノートブックPCに利用されるやつで、メモリーは32GB入ってます。参考にしてください。
そして、このモデルがよく喋るのです。聞いたことに答えるだけでなく、聞いていない理念まで、まじめに、長く。
わたしはこのモデルを「校長先生」と呼ぶことにしました。横で聞いているのは、わたしの記事によく出てくるオカメインコです。
朝礼と、止まった瞬間
WiFiを切ってもいいか聞いたら、朝礼の第二部が始まりました。速さについて尋ねたときの言葉が残っています。
「速さは、ユーザーの意思決定を待たせないために生まれたものだ」
4Bという小さなモデルが、速さの意味を自分の言葉で言語化したのには、少し驚きました。
そのまま話し続けたら、やがて画面に「Model ran out of context size」と出て、先生は止まりました😂。覚えていられる量が溢れたのです。饒舌さの証拠が、そのまま限界の表示になりました。
入門には、Janがちょうどいい
ローカルLLMはこれまでも触ってきました。その上で言うと、ローカルモデルを触り始める入口として、Janは過去一番入りやすいと感じています。
理由は単純で、触るための敷居が低くできているからです。新しい道具を覚える前に、いつものチャットの画面で話が始まります。一般のクリエータが「ローカルPCで動くAI」に少し興味を持ち始めた今、この入りやすさは大きいと思います。下記に日本語のREADMEを貼ります。
LM Studioとの違い
比較するなら、LM Studioです。
あちらは、モデルを探す場所です。HuggingFaceまで見に行かなくても、試したいモデルが探しやすく、ダウンロードして試して、感じを掴む。高校野球をスカウトが見ているような、探す側の楽しさがあります。Ollamaのような殺風景さもありません。
たとえばJanのモデルJan-v3.5-4BをLM studioで単独で使ってみるという実験も、勿論ありです。素のJan-V3.5の校長先生と喋れます。
実用的なJanかもしれない
Janは、モデルと話す場所です。探す楽しさと、話す敷居の低さ。入口が2つある、という話です。入門しやすいし、それだけじゃないので少し詳しく。
翌日、トークンがちゃんと復活している。そして今朝の校長先生のお話し。
Jan は「— Janが言うには:Jan-v3.5-4B」だけでなく、「Ollama系」「クラウドAPI」のモデルをすべてハーネスとして統合可能です。
Janは、AIエージェントでありAIモデルをハーネス(Hermes)で包み込むシステム全体です。ユーザインタフェース、ツールコネクション、状態管理、リソース制御などすべてのAIエージェントとしてふるまうためのインフラ構成です。
Jan - Open-Source ChatGPT Replacement ここでダウンロードできます。
正直なところ
ただし、条件もあります。
自分のPCのストレージとメモリとGPUを、自分で調べられない人には、少しきついと思います。正直な目安を書くと、普通のメモリが12GB以下の5年前のマシンだと、ギリギリかもしれません。
逆に言えば、自分のGPUを知る丁度いい機会でもあります。NVIDIAが世間では別の話で有名になった今、自分のPCの中の話として知っておいて損はありません。
ローカルに置く意味
校長先生に任せたい仕事は、決まっています。単発で、大量で、外に出したくない仕事です。過去記事の下読み、英語資料の粗読み、ログの第一チェック。そういう仕事が、地元のPCで静かに回ります。
なお、JanのWeb Searchは検索語が外へ送られる仕組みです。外に出したくない仕事では、切っておくのが境界になります。
校長先生には、正反対の知り合いがいます。一言も喋らないAIの話は、また今度。




コメント
ログイン か 会員登録 するとコメントできます