【2026年8月版】伸びてるローカルAIツール7選

GitHub Trending の weekly を開くと知らない名前が15個くらい並んでいて、どれが自分の手元に関係あるのか判断がつかないまま閉じる。

今週の weekly から、クラウドに投げずに手元のマシンで完結するローカルAIツールだけを7本抜きました。

並べ直したら3つの層にきれいに割れて、しかもいちばん伸びていたのは推論でもモデルでもない場所でした。

動かす前に詰まる場所を潰す llmfit omlx microsandbox

ローカルLLMで最初に折れるのは、だいたい「そもそも手元のマシンに載るのか」が分からない段階です。

llmfit はそこを1コマンドで終わらせます。

Rust 製で、名乗りは「Hundreds of models & providers. One command to find what runs on your hardware.」。

数百のモデルとプロバイダを抱えていて、手元のハードウェアで何が走るかを出してくれる。

VRAM の見積もりを Hugging Face のモデルカードと表計算アプリの往復でやっていた人には、これだけで週末が返ってきます。

総スターは33,063で、今週の伸びは1,545でした。

次が Mac の話です。

omlx は Apple Silicon 向けの LLM 推論サーバで、continuous batching と SSD キャッシュを持っています。

しかも管理画面が macOS のメニューバーです。

ここが効きます。

ローカル推論サーバって、立ち上げっぱなしにするとターミナルを1枚占有し続けるか、起動したこと自体を忘れて放置するかのどちらかになりがちなんですが、メニューバーに常駐していれば動いているかどうかが視界の端に常にある。

継続バッチングは複数リクエストを詰めて捌く仕組みなので、エージェントから並列に叩く使い方と噛み合います。

総スター19,842、今週プラス1,102。

3本目は毛色が変わって microsandbox です。

「easy fast local-first microVM runtime and library」を名乗る Rust 製の microVM ランタイムで、ポイントは library と書いてあるところ。

デスクトップアプリとして完成品を渡すのではなく、自分のプログラムから呼ぶ部品として配られています。

エージェントに生成させたコードをその場で実行したいけど手元は無傷でいたい、という要件を自作ツールに組み込む側の道具です。

総スター7,781、今週プラス460。

7本の中では伸びがいちばん静かですが、静かなまま weekly に居座り続けているのはむしろ使われている証拠だと思っています。

載せるモデルが軽くなった Unsloth Dynamic 3.0 GGUF と Needle 2

Unsloth は総スター73,871でこのリストの最大手ですが、学習高速化ライブラリという認識のままだと今の姿を取り違えます。

現在は Windows と macOS と Linux にインストーラが用意されたデスクトップアプリで、ローカルでモデルを動かして学習させて配るところまで面倒を見ます。

ライセンスは二階建てで、コアが Apache 2.0、Studio の UI 部分が AGPL-3.0 です。

そして今週の本題が Dynamic 3.0 GGUF です。

Dynamic v2.0 の後継にあたる量子化で、公式ドキュメントの主張がかなり強い。

Qwen3.8-27B の Dynamic v3.0 量子化は、同じサイズの他プロバイダ版すべてに対して精度で10%以上上回る、と書いてあります。

同じサイズで精度がそれだけ変わるなら、次に落とすモデルを選ぶより先に「誰が量子化したものを落とすか」を見直したほうが早いという話になります。

効いているのは imatrix のキャリブレーションデータセットで、より多様な出どころから集めたものに差し替えたうえで、エージェント的なコーディングとチャットと多言語に向けて調整し直したとのこと。

llama.cpp を含むたいていの推論エンジンでそのまま読めるので、Unsloth のデスクトップアプリを入れなくても量子化の恩恵だけ受け取れます。

Unsloth Dynamic 3.0 GGUFs | Unsloth Documentation

unsloth.ai

軽くなった方向のもう1本が Needle 2 です。

14MB の基盤モデルで、スマホやウェアラブル、スマートホーム機器、ロボットみたいな小さいデバイスに載せる前提で作られています。

総スター7,824に対して今週の伸びが3,838なので、スターのほぼ半分が今週に集中している計算です。

こちらは以前に単体で分解したので、パラメータ数の内訳とベンチマークの勝ち負け、pip install からの触り方はそちらを見てください。

Needle2の使い方 45Mパラメータでスマホもラズパイも動くAI

兆パラメータをどう量子化するか、70Bをどうやって小さいGPUに載せるか。そういう話ばかり追いかけていると、手元のRaspberry Piで結局何ができるのかは分からないままです。そこに14MBのバイナリ1本で動くツール呼び出し専用モデルが出てきて、Hacker Newsで527pt集めていました。パラメータ数は...

aimanavo.com

今週いちばん伸びたのは、エージェントが忘れることへの対策でした

7本を伸び順に並べたら、1位が推論でもモデルでもなく Semantica でした。

今週プラス4,005、総スター9,524。

総スターの42%が、この7日間で積まれています。

名乗りは「Graph-Native Infrastructure for Context and Accountable AI Systems」で、日本語にするとコンテキストと説明責任のためのグラフネイティブ基盤。

この名乗りだけだと何をするものか分からなかったので中身を読みました。

置き場所が特徴的です。

今使っている LLM とベクトルストアとエージェントフレームワークを置き換えるのではなく、その下に敷く層として設計されています。

しかもグラフの走査に LLM を使いません。

前向き連鎖と Datalog による決定論的な推論なので、同じ問いには同じ答えが返る。

刺さる場面は思っているより身近にあります。

エージェントが2週間前と真逆の判断をしたとき、なぜそうなったのかをログから復元しようとして諦めた経験はないでしょうか。

残っているのは入力と出力だけで、途中でどの事実を採用してどれを捨てたかは残っていない。

Semantica はその途中経過のほうをグラフに書き込みます。

事実1つずつに W3C PROV-O 準拠の来歴が付くので、どのデータのどの経路から出た結論なのかを後から辿れる。

保存先は RDF トリプルストアとラベル付きプロパティグラフの両方に対応しています。

現場的にありがたいのは配られ方です。

MCP サーバと REST API に加えて、Claude Code、Cursor、Codex、Windsurf、Cline、Continue、VS Code、OpenClaw 向けのプラグインバンドルが用意されています。

自分のセットアップを組み替えずに、今日そのまま挿せる形で出してきている。

ライセンスは MIT です。

GitHub - semantica-agi/semantica: Graph-Native Infrastructure for Context and Accountable AI Systems

Graph-Native Infrastructure for Context and Accountable AI Systems - semantica-agi/semantica

github.com

記憶の隣でもう1本伸びていた OpenViking

記憶まわりで動いたのは Semantica だけではありません。

OpenViking が総スター30,201、今週プラス1,659で並走しています。

名乗りは「Self-evolving Context Database for AI Agents」で、エージェントのメモリとナレッジRAGとスキルを1つに束ねる、と続きます。

Semantica と並べると狙いの違いがはっきりします。

Semantica が判断の根拠を消さずに残す側だとすれば、OpenViking はバラバラに持っている記憶と検索とスキルを1箇所に畳む側です。

エージェントを自作していると、会話履歴はここ、ドキュメント検索はあっち、ツール定義はまた別のファイル、みたいに散らかりますよね。

そこを1つのデータベースとして持つ設計で、しかも self-evolving を名乗っている。

出どころは volcengine です。

GitHub - volcengine/OpenViking: Self-evolving Context Database for AI Agents. Unify Agent Memory, Knowledge RAG and Skills.

Self-evolving Context Database for AI Agents. Unify Agent Memory, Knowledge RAG and Skills. - volcengine/OpenViking

github.com

7本を並べて見えた今週の向き

数字を並べ直すと、この7本は性格が2つに割れます。

Semantica と Needle 2 だけ、総スターの4割から5割が今週に集中しています。

この2本は今まさに見つかっている最中で、残る5本は積み上げのあるプロジェクトが今週たまたま押し上げられただけ。

同じ「今週伸びた」でも、前者は日本語の情報がまだ薄くて自分で読むしかなく、後者は先人のハマり報告が検索で出てきます。

触る順番はここで決めていいと思います。

平日の夜に30分しか取れないなら llmfit です。

1コマンドで自分のマシンの上限が確定するので、この先のモデル選びが全部速くなります。

Mac を主戦場にしているなら omlx を常駐させて、落とすモデルは Unsloth の Dynamic 3.0 GGUF に寄せる。

この組み合わせが今週いちばん費用対効果が高いはずです。

エージェントを自作していて判断の根拠が追えないことに困っているなら Semantica。

記憶と検索とスキルの置き場が散らかっているなら OpenViking。

自作ツールにコード実行を組み込む段階なら microsandbox です。

7本並べましたが、全部入れると週末が消えます。

今のワークフローで一番手が止まっているところに1本だけ当てる。

それがいちばん速いです。