NVIDIA Nemotron TwoTower解説――凍結したLLMに拡散を乗せて2.42倍

こんにちは。もるふぉです。

「拡散LLMって速いらしい」——そこで情報が止まっていませんか。

速いのは分かった、でも実務のどのタスクに使えて、品質はどれだけ落ちるのか。

そこが判断つかないと、結局試す気にもならないですよね。

この記事では、NVIDIAが公開したNemotron TwoTowerを題材に、「なぜ速いのか」「どこで使えてどこで使えないのか」を、公開済みの数字だけで整理します。

仕組みも用途も、ふわっとした説明では終わらせません。

Nemotron TwoTowerとは何か

2026年7月1日、NVIDIAが Nemotron-Labs-TwoTower-30B-A3B を公開しました。

ライセンスはNVIDIA Nemotron Open Model License、商用利用も可能です。

素性を先に並べておきます。

このモデルの本質は一言で言えます。

「凍結した自己回帰モデルに、拡散を後付けした」。

既存のNemotron-3-Nanoをそのまま土台に使い、生成の部分だけを別の仕組みに差し替えた設計です。

nvidia/Nemotron-Labs-TwoTower-30B-A3B-Base-BF16 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Nemotron-Labs-TwoTower: Diffusion Language Modeling with Pretrained Autoregressive Context

Diffusion language models offer a promising alternative to autoregressive models due to their potential for parallel and iterative generation. However, existing approaches use a single network for both context representation and iterative denoising, forcing one model to serve both roles and limiting its capacity for either role. We propose TwoTower, a block-wise autoregressive diffusion model that decouples these roles into two towers: a frozen AR context tower that causally processes clean tokens, and a trainable diffusion denoiser tower with bidirectional block attention that refines noisy blocks via cross-attention to the context. Built on Nemotron-3-Nano-30B-A3B, an open-weight 30B hybrid Mamba-Transformer MoE model, and trained on approximately 2.1T tokens, Nemotron-Labs-TwoTower retains 98.7% of the autoregressive baseline's quality while offering 2.42X higher wall-clock generation throughput. We release the code and model weights at https://huggingface.co/collections/nvidia/nemotron-labs-twotower.

arxiv.org

なぜこれが面白いのか。

従来のLLMは「1トークンずつ、左から順番に」出力します。

1つ前の結果が決まらないと次に進めない、逐次処理です。

TwoTowerはここを変えました。

その違いが、次の話の入口になります。

自己回帰と拡散、生成の考え方が違う

自己回帰は「一筆書き」です。

1文字目を書いて、それを見て2文字目、また見て3文字目。

前を確定させないと先に進めない。

速度が生成の長さに素直に比例します。

拡散はまったく別の描き方をします。

いわば「下書きを何度も上書きしていく」やり方です。

最初にノイズだらけのブロックをどんと置いて、それを何段階もかけて精錬し、意味の通る文へ近づけていく。

1文字ずつ積み上げるのではなく、面でまとめて整えていくイメージです。

ここが本題です。

この描き方の違いが、そのまま速度の違いになります。

一筆書きは、どれだけ並列なハードを積んでも「前の1文字待ち」からは逃げられません。

一方、まとめて埋めにいく拡散は、ブロック内の複数箇所を同時に処理できます。

GPUは並列計算が得意ですから、この「同時に埋められる」性質がスループットに効いてくるわけです。

TwoTowerがブロック単位で双方向にトークンを見にいくのも、この並列性を引き出すためです。

つまり、速さの正体は「魔法」ではありません。

逐次の制約を外して、ハードの並列性を素直に使えるようにした——それだけのことなんです。

2塔設計――なぜ本体を「凍結」するのか

ここからが記事の核です。

TwoTowerは名前の通り、2つの塔でできています。

1つ目がコンテキストタワー。

これは凍結側です。

既存のNemotron-3-Nanoの重みをそのまま使い、入力（すでに確定しているクリーンなトークン）を因果的に処理して文脈を理解します。

学習済みの知識・言語能力は、まるごとこの塔が担当します。

手を加えません。

2つ目がデノイザータワー。

こちらが訓練側です。

ノイズの乗ったブロックを受け取り、コンテキストタワーが理解した文脈を手がかりに、双方向のアテンションで精錬していく。

実際に文を生成するのはこの塔の仕事です。

なぜ本体を凍結するのか。

ここに再学習コストの非対称性があります。

考えてみてください。

バックボーンのNemotron-3-Nanoは25Tトークンで訓練されています。

対して、TwoTowerで新しく学習させたデノイザーは約2.1Tトークン。

本体を作り直さず、生成の仕組みだけを比較的少量の追加学習で乗せているわけです。

これが何を意味するか。

「すでにある強いモデルを、ほぼ作り直さずに高速化する」青写真になっている、ということです。

知識はそのまま、生成方式だけ差し替える。

ここがTwoTowerの設計で一番効いているポイントだと思います。

2.42倍の数字をどう読むか

公表されているスループットは2.42倍。

ただ、この数字の読み方には1つ注意点があります。

これはtoken/secではなく、wall-clock（実時計時間）での生成スループットです。

ベンチマークでよくある「理論上のトークン処理速度」ではなく、バッチや並列処理を含めて「実際に何秒で終わったか」を測った値ということです。

これが実用上、けっこう効きます。

token/secは条件を整えれば良く見せられますが、wall-clockは誤魔化しがききません。

実際に使ったときの体感に近い指標で2.42倍が出ている、と読めるわけです。

品質はどうか。

集約ベンチマークで、自己回帰の元モデルに対して98.7%を保持しています。

速くしたぶん質がガタ落ち、では困りますが、全体で見ればほぼ据え置き。

次に、この「ほぼ」の中身を割っていきます。

どのタスクで使えて、どこで落ちるか

98.7%は平均です。

実務判断で見るべきは、どのタスクで落ちてどのタスクで維持されるか。

ここが一番の勘所です。

まず落ちる領域から。

数学・コード・専門知識で、はっきり数字が下がります。

厳密な数式やコードは、1トークンの間違いが結果全体を壊します。

1文字違えばコードは動かないし、計算は破綻する。

まとめて精錬していく拡散の描き方は、こういう「1点の厳密さ」を求められる生成と相性が良くない、と読めます。

一方で、維持・改善する領域もあります。

コモンセンス推論のARC-Challengeはむしろ上がっています。

読解のRACEとWinoGrandeは同点、多言語のMGSMや一般知識のMMLUもほぼ変わらない。

文全体の整合や意味の理解が問われるタスクは、面でまとめて整える拡散の描き方とむしろ噛み合う、という結果です。

ここから用途に翻訳します。

大量生成・対話・要約のように「速さが効いて、1点の厳密さはそこまで問われない」ワークロードには向きます。

逆に、厳密なコード生成や数式処理を任せるなら、自分のタスクで劣化幅を測ってから、が安全です。

試す前に押さえること

試す前提を最後に整理しておきます。

モデルはHugging Faceから取得できます。

ライセンスはNVIDIA Nemotron Open Model Licenseで商用利用も可能、コンテキストは最大128Kまで扱えます。

拡散LLMは「速いが品質が読めない」と敬遠されがちでしたが、TwoTowerはどこで落ちてどこで維持するかがベンチで見えている。

そのぶん、当たりをつけやすいモデルです。

結局のところ、一番早いのは自分のユースケースで速度と品質を実測することです。

上のベンチはあくまで一般的な指標。

あなたのワークロードで2.42倍がどう出て、品質がどこまで許容できるか——そこは回してみないと分かりません。

商用可でHugging Faceからすぐ触れるので、気になったら手元のタスクで一度測ってみてください。