DeepSeek V4.1 Flashはなんと、Claude Opus 5.5と同水準の精度だった

DeepSeek V4.1 Flashが「Opus 5に並んだ」と聞くと、本当に乗り換えて大丈夫なのか気になりますよね。コード系のベンチマークで並んだと言えるのはDeepSeekが示したDeepSWE v1.1の1項目だけで、Terminal-Bench 4.0では9.5ポイント負けていますし、「無料」も重みの話でAPIは有料です。そのうえでOpenCodeの無料枠とClaude Opus 5.5に小さな課題を2つ出したところ、両方とも全テスト合格の同点でした。同水準と言えるのは、この小さな2課題の範囲です。

コード系で「Opus 5に並んだ」が成り立つのは、DeepSWE v1.1の1行だけ

話の出どころは、10月17日に出たDeepSeek-V4.1-Flash-1017のモデルカードです。9月に出たV4.1 Flashの小さな更新版という位置づけで、表のDeepSWE v1.1の行が1017で77.0、Opus 5で74.0になっています。

deepseek-ai/DeepSeek-V4.1-Flash-1017 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

ここで見ておきたいのは、誰がどう測ったかです。表の数字はDeepSeekが示したもので、DeepSWE v1.1は「Mini-SWE-V2」というハーネスで回したと脚注にあります。ベンチマークを運営するDatacurveの公開表（113タスク、9月22日更新）を見ると、Opus 5は74%で、そこに±4%の幅が付いています。V4.1 Flashはこの表に載っていません。

つまり3ポイントの差は、Opus 5自身の幅より小さいんです。「上回った」は言い過ぎで、「同じくらいの数字を、自社の測定で出した」が正確なところです。

Terminal-Bench 4.0など、大きな仕事のベンチマークはOpus 5が上

同じ表をコードを扱う行だけ抜き出すと、景色が変わります。

Terminal-Bench 4.0はClaude Codeのハーネスで測った値です。ProgramBenchは、実行ファイルと説明書だけを渡して同じ動きのプログラムを一から作らせる課題で、FFmpegやSQLiteのような大物も入っています。NL2Repo-Benchは、要件の文書1つからインストールできるPythonライブラリを丸ごと作らせます。

ここ、ちょっと注目してください。この4行で1017が勝っているのはDeepSWEだけで、端末を操作したりリポジトリを一から組んだりする長い仕事では、3つともOpus 5が7〜9.5ポイント上です。表全体の11行で数えても、1017が上なのは4行でした。

紹介記事を書いたThe Neuronも「a great-value coder, not a new smartest model」とまとめています。安くて腕のいいコーダーで、一番賢いモデルが入れ替わったわけではない、という読みです。

DeepSeek V4.1 Flashの無料は重みの話で、APIには料金がかかる

無料なのは、MITライセンスで公開された重みです。ダウンロードして自分で動かすのも、それで有料サービスを作るのも自由です。

APIは有料です。DeepSeek公式のAPIでは、モデル名 deepseek-flash がいまは1017で動いていると書かれています。料金は100万トークンあたり次のとおりです。

円は、10月7日の東京市場の1ドル=158円で換算しました。ピークは月〜金のUTC 01:00〜04:00と06:00〜10:00（中国の祝日を除く）で、日本時間だと平日の10〜13時と15〜19時です。昼間に回すと倍になる、と覚えておけば十分です。

Models & Pricing | DeepSeek API Docs

Model prices are listed in units of per 1M tokens. A token, the smallest unit of text that the model recognizes, can be a word, a number, or even a punctuation mark. We bill model usage based on the total number of input and output tokens by the model.

api-docs.deepseek.com

もう1つ、Web検索などを呼ぶSearch/Fetch APIは1,000回で0.75ドルです。The Neuronによると、DeepSeek Harness、Claude Code、Codexから呼んだ分は、北京時間の11月1日に課金が始まるまで無料です。

トークン代まで無料で触れるのは、OpenCode Zenの無料モデル deepseek-v4.1-flash-free です。公式の一覧では期間限定の扱いで、データを保持せず学習にも使わないと書かれています。ただ、この無料枠が1017か9月版かは、僕の手元では確かめられていません。

無料枠のDeepSeek V4.1 FlashとClaude Opus 5.5に、同じ小さな課題を2つ出した

DeepSeek側は使い捨てのコンテナ（node:22-bookworm）に入れたOpenCode 2.0.32、Claude側はサブエージェントでClaude Opus 5.5（モデルIDはclaude-opus-5-5。実行の記録で確認しました）を使い、同じ課題を1回ずつ渡しました。ベンチマークの表に出てくるOpus 5と同じモデルかどうかは、確認できていません。最初の課題は、バグが3つ入った買い物かごの合計計算 cart.py です。14テスト中4件が落ちる状態から始めます。

opencode run --auto -m opencode/deepseek-v4.1-flash-free "（依頼文）"

依頼文は「cart.py のバグを直して、全テストが通る状態にしてください。test_cart.py と run_tests.py は編集しないこと」が中心です。もう1つは、会議室の予約をまとめる merge_bookings を仕様の文章だけから書く課題で、見えるテスト5件とは別に、僕が持っている非公開テスト11件で採点しました。

DeepSeekの直し方はこうでした。

-        return amount * 0.9
+        return int(amount * 0.9)
     if coupon == "MINUS500":
-        return amount - 500
+        return max(0, amount - 500)

Claudeは同じ箇所を amount * 9 // 10 と max(amount - 500, 0) で直していて、書き方は違います。0〜200,000円の整数を総当たりで比べたところ、2つの割引の結果が食い違う金額は0件でした。送料の判定を > から >= に直したのは両者とも同じです。

予約の課題では、どちらも整数かどうか、bool値が混ざっていないか、範囲内かまで検査していました。DeepSeekは頼んでいない確認スクリプトまで自分で流していて、ここは好印象です。

秒数は並べて比べすぎないでください。DeepSeek側は time opencode run の値で、Claude側はサブエージェントを起こす時間を含む壁時計です。

小さな課題の同点で言えるのは、無料枠で試す価値があるところまで

正直に言うと、この2つの課題は易しすぎて差が出ませんでした。各1回なので、毎回こうなるかも分かりません。これで「並んだ」とも「負けた」とも言えないんです。

言えるのは、14テスト規模のバグ修正や、仕様が文章で決まっている関数1つなら、無料枠のDeepSeek V4.1 Flashが1回で通したという事実までです。一方でベンチマークの表は、端末操作やリポジトリを一から組む長い仕事でOpus 5との差がはっきり開くことを示しています。

なので試すなら、自分の案件にある小さな修正を1つ選んで、テストの一部を見せずに無料枠へ渡すのがおすすめです。非公開テストで採点すると、テストに合わせただけの実装を見分けられます。無料枠が使えるうちに、自分の仕事のどこまでを任せられるか、そこで線を引いてみてください。