Table of Contents

長いコンテキストを使うHermesの作業なら、16GBのRTX 5060 Tiを2枚使ったQwen3.5 35Bから始めます。検証した経路はLiteLLM経由で239,153個の入力トークンを保持し、ツール、ストリーミング、画像認識、キュー処理、キャンセルを個別に通過しました。1枚で使う代替候補はQwen3.6です。RTX 3060 TiやRTX 3070のシステムではQwen3.5 2Bまたは4Bから始めます。

この選択は、エージェントが使う推論経路でモデルを実行して得たものです。長い入力の保持、ツールの往復、ストリーミング応答、画像への質問、モデルの解放を検証しました。経路に関わるモードとメモリー設定もテストしました。モデルを読み込めても、長いエージェント要求で役立つとは限らないためです。

ツールを使うエージェントには、Hermesは少なくとも64,000個のコンテキストトークンを必要とします。長いコンテキストの合格基準には、実際に処理した65,536個の入力トークンを使いました。サーバーが宣伝するコンテキスト長より、入力トークン数のほうが重要です。( Hermes Agentプロバイダーのドキュメント )

各システムで使ったGPU

結果全体で、システムの文字は以下のハードウェア構成を表します。

システム検証で使用したGPU最初に選ぶモデル
A2 × GeForce RTX 5060 Ti、各16GB2枚のカードでQwen3.5 35B、または1枚でQwen3.6
B1 × RTX 2000E Ada, 16GB長い入力の処理に数分かかってもタスクに合う場合はQwen3.5 9B
C1 × RTX 2000E Ada, 16GBテスト済みの長入力経路にはGemma 3 4B、限定的な想起タスクには思考なしモードのQwen3.5 0.8B
D1 × RTX 2000E Ada, 16GBテスト済みの大型モデル負荷にはQwen3.5 9B、Gemma 4 12B-IT、またはGPT-OSS 20B
E9 × GeForce RTX 3060 Ti、各8GBQwen3.5 2Bまたは4B
F8 × GeForce RTX 3060 Ti、各8GBQwen3.5 2Bまたは4B
G3 × GeForce RTX 3070Qwen3.5 2Bまたは4B

カードの搭載数は、毎回すべてのGPUを使ったという意味ではありません。Qwen3.5 35BとFlash Nextの試験ではシステムAの2枚を使いました。Qwen3.6は1枚で動きました。システムEで成功したQwen3.5 4Bの画像認識再試験では、8枚のプールから1枚を選び、9枚目はAI用途から除外しました。

以下の時間は、検証したモデル、実行環境、システムを組み合わせた結果です。実用可能な構成を比較しており、速度差の原因としてGPUアーキテクチャだけを切り分けたものではありません。

RTX 5060 Tiを2枚使うQwen3.5 35Bを長いコンテキスト用に選ぶ理由

今回の試験ではQwen3.5 35Bが最も多く入力を保持しました。Ollamaの直接実行では、実行時コンテキスト262,144個の中に248,279個の入力トークンを保持しました。別のゲートウェイ経由ストリーミング要求は239,153個を保持し、冒頭マーカーを返し、出力31トークンで148.12秒後に正常終了しました。

要求がブローカーとLiteLLMを通過したため、ゲートウェイの結果はHermesにとって重要です。別々の要求でツールの往復を完了し、赤い画像を認識し、同時送信した2件の要求に正しく回答しました。ブローカーは2件をキューに入れました。ストリーミング要求を閉じるとブローカーが解放され、60.31秒以内にモデルがアンロードされました。

Qwen3.5 35Bの要求入力トークン出力トークン時間結果
Ollama直接接続、最初の段階的ステージ69,4293138.783 s冒頭マーカー一致
Ollama直接接続、共有プレフィックスの継続124,1793128.472 s冒頭マーカー一致
Ollama直接接続、共有プレフィックスの継続182,5793138.974 s冒頭マーカー一致
Ollama直接接続、共有プレフィックスの継続248,2793154.215 s冒頭マーカー一致
ブローカーのストリーミングリクエスト69,4272938.872 s冒頭マーカー一致
LiteLLMのストリーミングリクエスト239,15331148.12 s冒頭マーカー一致, clean unload

段階的な直接要求では、拡張する共通プレフィックスを再利用しました。所要時間はウォーム状態での継続処理です。54.215秒という値は、新しい248Kプロンプトを処理する独立したコールド計測ではありません。

最大の直接実行段階では、2枚のGPU全体で約273億バイトが常駐しているとモデルが報告しました。カードごとのメモリピークは14,964 MiBと12,386 MiBでした。

最高温度は62°Cと63°Cで、OOMやXidの障害は記録されませんでした。設定したコンテキストには継続用として13,865トークンが残り、短いマーカー応答はそのうち31トークンを使いました。

大きな作業セットを保持することが最短の初回応答より重要なら、この経路を選びます。ツールと画像の検証はエージェントに役立つ挙動を確認し、長い入力の試験は保持を確認します。別々のワークロードです。

Qwen3.6は1枚で使う選択肢

Qwen3.6-35B-A3B UD-Q4_K_XLは、RTX 5060 Ti 1枚で131,000個の入力トークンを保持しました。試験中、もう1枚はアイドル状態でした。2枚を1モデルに割り当てたくない場合に有用な代替手段です。

Qwen3.6のゲートウェイ要求入力トークン出力トークン時間結果
初回の長時間リクエスト66,007167.82 s冒頭マーカーを保持
より長いリクエスト90,00011159.92 s冒頭マーカーを保持, zero cached input
より長いリクエスト119,99911250.61 s冒頭マーカーを保持, zero cached input
実行時間の上限近く131,00011287.09 s冒頭マーカーを保持, zero cached input

131,000トークンの要求は、実行時上限131,072に近づきました。エージェント用なら回答と後続のツールメッセージのために、もっと余裕を残します。上限近くでの保持結果は入力処理の証拠にはなりますが、妥当な既定入力予算ではありません。

思考を無効にするとツールを使えました。既定の思考モードはツール呼び出しの前に試験上限512トークンを使い切りました。成功したパイロットでは高速、ストリーミング、画像認識の要求も通過しました。最初の65,845トークンのコンテキスト確認には139.57秒かかりました。

同じ66K入力でQwen3.8 27Bが応答比較に勝つ

システムAで同じ66,007トークンのマーカー課題を実行すると、Qwen3.8 27Bが最速で回答しました。検証した入力サイズ付近ではこの経路を使い、大きな作業セットにはQwen3.5 35Bを併用します。

システムAの経路入力トークン時間結果
Qwen3.8 27B66,00754.64 s冒頭マーカーを保持
Qwen3.6-35B-A3B UD-Q4_K_XL66,007167.82 s冒頭マーカーを保持
Qwen3.8-Flash-Next UD-IQ4_XS66,007164.58 s冒頭マーカーを保持
Flash Next IQ4 compatibility alias66,007213.25 sマーカーを保持

Qwen3.8 27Bの所要時間は、比較したQwen3.6やFlash Nextの約3分の1でした。検証環境で要求全体を実行した観測値であり、ハードウェアのみの比較ではありません。

高速応答、ストリーミング、ツール利用も通過しました。思考なしモードは色の全シーケンスとツール往復を完了し、思考あり試験は512トークン内でシーケンスの一部だけを返しました。

メモリー負荷のため、Flash Nextはこのシステムの既定候補としては魅力が下がります。65,847トークンのパイロットは実行時コンテキスト98,304で201.41秒かかりました。以前のコンテキスト131,072の2プロファイルは、準備完了前にメモリー上限へ達しました。

後の経路はcgroup上限54 GiBに達しました。無人運用ならメモリー余裕の大きい経路を選びます。

flash-iq2という名前の経路はFlash Next IQ4互換バックエンドを使いました。この名前はIQ2の結果を示しません。

RTX 2000E Adaは長い入力を処理するが、モデル選択で待ち時間が変わる

システムCで長い入力に使う検証済み経路として、Gemma 3 4Bを優先します。2つの経路が約88秒で84K超の入力を保持しました。大型モデルも有用な保持試験に通りましたが、要求には数分かかりました。

システムモデルと経路入力トークン時間結果
BQwen3.5 9B、ゲートウェイ72,265263 s両方の目印を保持し、その後のマイニング復旧確認にも成功
CGemma 3 4B、ゲートウェイ84,04488.05 s冒頭マーカーを保持
CGemma 3 4B, Aperture84,04587.68 s冒頭マーカーを保持
CGemma 4 12B-IT、ゲートウェイ67,254263.07 s冒頭マーカーを保持
CGemma 4 12B-IT、Aperture非ストリーミング67,255274.24 s冒頭マーカーを保持
CGemma 4 12B-IT、Apertureストリーミング67,255282.16 s冒頭マーカーを保持
CQwen3.5 9B、ゲートウェイ75,648319.36 s冒頭マーカーを保持し、モデルをメモリからアンロード
CGPT-OSS 20B、ゲートウェイ84,099315.83 s冒頭マーカーを保持し、モデルをメモリからアンロード
DQwen3.5 9B、Aperture81,051324.07 sインストール済みアーティファクトで保持に成功
DGemma 4 12B-IT, Aperture72,057300.67 sインストール済みアーティファクトで保持に成功
DGPT-OSS 20B, Aperture72,104245.94 sインストール済みアーティファクトで保持に成功

システムCでは、ストリーミングでもGemma 4の長いプリフィル待ちは短くなりませんでした。最初のストリーム内容は277.49秒後に届き、非ストリーミングの完全な応答274.24秒より遅くなりました。前の非ストリーミング試行はタイムアウトし、その後の再試験で成功しました。初期処理に数分かかってもよい作業に限って使います。

Gemma 3 4Bは、検証を各システム単位で考える必要も示しています。システムDは65Kの想起試験2回で冒頭マーカーを見失い、そのうち1回は温度ゼロ、入力67,252トークンでの再試験でした。決定的な要求はGPUを完全に使用した状態で62.07秒後に正常終了しました。

すぐ完了し、通常のAPI応答が返っても、回答が正しいとは限りません。システムCの成功経路を使い、システムDの失敗経路はHermesの選択から外します。

思考モードでQwen3.5 0.8Bの有用性が決まる

思考を無効にすると、Qwen3.5 0.8BはシステムCで範囲を絞った想起に使える候補になりました。小型Q8_0モデルはゲートウェイ経由で75,649個の入力トークンを65.92秒で保持しました。この結果は検証したQ8_0アーティファクトと非思考経路に限られ、他の表にある旧16Kコンテキスト構成には当てはまりません。

システムCのQwen3.5 0.8B要求入力トークン出力トークン時間結果
デフォルト思考での短時間診断9,0503,39166.56 s冒頭マーカー一致
思考無効、条件を揃えた診断9,055217.65 s冒頭マーカー一致, no reasoning text
デフォルト思考での長時間試行600秒でタイムアウト回答未完了
思考無効、ネイティブOllama75,6562269.80 s冒頭マーカー一致
非思考型OpenAI互換エンドポイント75,6461269.09 s冒頭マーカー一致
思考なしモードを強制するブローカー75,6471366.83 s冒頭マーカー一致
システムAからシステムCへのLiteLLM75,6491565.92 s冒頭マーカー一致

同条件の診断は66.56秒から7.65秒へ、約8.7倍速くなり、生成出力は3,391トークンから21トークンへ減りました。単純な抽出やルーティングでは推論モードを明示します。既定の推論は不要な出力に処理の大半を費やしました。

短いOpenAI互換プローブはマーカーを見つけられませんでしたが、温度ゼロでの再試験は成功しました。成功した経路は非思考モードと出力上限なしの自然終了を使いました。他の3ゲートウェイも短いマーカー要求を4.22秒、4.37秒、3.85秒で処理しました。これらはルーティングを確認し、75,649トークン要求は長い入力の保持を確認します。

範囲を絞った想起と抽出にはこの経路を試します。自由形式のエージェント推論にはもっと大きいモデルを選びます。合成マーカーを1つ取り出す作業は、計画、コーディング、複数ツールの調整より限定的です。

RTX 3060 TiとRTX 3070ではQwen3.5 2Bと4Bが有力

8GBカードの実用的な開始候補はQwen3.5 2Bと4Bです。システムE、F、Gでテキストコンテキスト要求を実行し、65,579個を保持して30.343秒から93.753秒で完了しました。検証した4B経路はツール、ストリーミング、画像認識も通過しました。

システムEでの4B画像コンテキスト再試験は、65,637個の入力トークンを44.88秒で処理し、両方のマーカーと画像の色順を保持しました。色順を前後反転した要求も通過しました。別のカードがXid 79リンク障害を起こして再起動した後、正常な1枚を使いました。

システムQwen3.5 2BのテキストコンテキストQwen3.5 4BのテキストコンテキストQwen3.5 4Bの画像コンテキスト
E, RTX 3060 Ti pool65,579 tokens, 30.343 s65,579 tokens, 53.787 s65,637 tokens, 44.88 s
F, RTX 3060 Ti pool65,579 tokens, 61.282 s65,579 tokens, 93.753 s65,635 tokens, 84.749 s
G, RTX 3070 pool65,579 tokens, 76.731 s65,579 tokens, 90.807 s65,635 tokens, 87.496 s

各システムで29件の検査に合格しました。2つのRTX 3060 Tiシステム間の時間差も、要求時間だけでカードを順位付けせず、検証済みシステムプロファイルを選ぶ理由になります。

7システムすべてが推論時間後にマイニングへ戻りました。システムBの停止後回復確認は新たに承認されたシェアで成功しました。システムEの故障カードは再起動とPCIeリンク強化の後にマイニングへ復帰しましたが、AIプールからの除外は維持されました。試験時間の終わりにマイニングを戻すことと、1つの推論要求後に自動で引き渡すことは別の結果です。

モデルの読み込みだけでは適格にならない

DeepSeek Coder V2 16Bは、検証したHermes 65K候補から外します。f16キャッシュの実行は50,477個の入力トークンを保持しましたが、65K目標の試験はVRAMガードに達しました。Q4とQ8のキャッシュ案は重みをGPUに読み込んだ後、ホストメモリー上限か長いプロンプトの低スループットにぶつかりました。

DeepSeek Coder V2のキャッシュプロファイル実行時コンテキスト観測結果評価
f1681,92050,477トークンの想起に成功、過大なリクエストは拒否短いコンテキストで有用な結果
f1673,72865K目標のプレフィルをGPU使用量15,802 MiBで停止65Kの要件を満たさない
Q4_098,304制御停止前に長いプレフィルは96.72 token/sまで低下このワークロードには不向き
Q8_077,824制御停止前に長いプレフィルは120.12 token/sまで低下このワークロードには不向き
Q4_0 / Q8_0, より大きなプロファイル163,840 / 98,304ホストメモリ保護により試験は停止したメモリ適合性はシステム全体で判断する必要がある

実務上の教訓は、送信予定の要求をベンチマークすることです。GPU常駐、短い回答、大きく設定したコンテキストだけでは、実用的な遅延で長い入力を保持できる証拠になりません。

システムAで経路別の追試を行うと、Granite 4.2 8BとGPT-OSS 20Bは改善しました。GraniteのQ6_K経路は入力キャッシュなしで66,082個を88.636秒で保持しました。GPT-OSSはブローカー修正後にツール往復を完了し、呼び出しに9.854秒、後続に9.849秒かかりました。成功した確認は以前の未完了試験と分けて扱います。

ベンチマーク全結果

表には59モデル・システム組み合わせの検査295件があります。273件が成功し、想起の失敗1件、未完了・不整合・非互換の結果が7件です。14件は65Kの適格範囲外です。各行に測定結果を示します。

推奨は成功した経路とワークロードに適用します。失敗または未完了の行は、該当する動作の適格性を示しません。

短いコンテキストと埋め込みの成功は各ワークロードに対する結果です。16Kや32Kのコンテキスト合格は、Hermesの65,536入力トークンのワークロードに十分という証拠になりません。モデル名は経路ラベルです。flash-iq2ラベルはIQ4互換バックエンドを使いました。

システムAのQwen3.5 35Bコンテキスト行は、上の共有プレフィックス進行の最終段階です。プラス記号付きのツール時間は呼び出しと後続を個別に示します。

同時実行行はキューに入った2要求の時間を示します。キャンセル行はクライアントがストリームを閉じた後の解放時間を示します。追加のコンテキスト推移とQwen3.5 0.8B経路比較は上の個別表にあります。

システムA

モデル経路のラベル検査結果入力トークン要求時間
bonsai-2-27bcontext成功65,62188.746 s
bonsai-2-27bquick成功576.429 s
bonsai-2-27bstream成功9.371 s
bonsai-2-27btools成功10.478 s
deepseek-coder-v2:16bcontext互換性なし50,477
deepseek-coder-v2:16bquick成功7743.239 s
flash-iq2context成功66,007213.25 s
flash-iq2quick成功56.03 s
flash-iq2stream成功1.35 s
flash-iq2tools成功16.55 s
gemma-4-12b-itcontext成功65,59051.225 s
gemma-4-12b-itquick成功215.166 s
gemma-4-12b-itstream成功4.653 s
gemma-4-12b-ittools成功18.72 s
gemma-4-12b-itvision成功1157.222 s
gemma-4-12b-itvision_context成功65,68556.06 s
gemma-4-12b-itvision_reverse成功1157.467 s
gemma-4-e4b-itcontext成功65,59021.889 s
gemma-4-e4b-itquick成功2117.919 s
gemma-4-e4b-itstream成功4.25 s
gemma-4-e4b-ittools成功8.734 s
gpt-oss-20bcontext成功65,637159.155 s
gpt-oss-20bquick成功7310.548 s
gpt-oss-20bstream成功20.594 s
gpt-oss-20btools成功9.854 + 9.849 s
granite-4.2-3bcontext成功65,58970.968 s
granite-4.2-3bquick成功204.009 s
granite-4.2-3bstream成功5.365 s
granite-4.2-3btools成功6.086 s
granite-4.2-8bcontext成功66,08288.636 s
granite-4.2-8bquick成功205.857 s
granite-4.2-8bstream成功11.826 s
granite-4.2-8btools成功11.852 s
qwen27bcontext成功66,00754.64 s
qwen27bquick成功5731.5 s
qwen27bstream成功0.92 s
qwen27btools成功4.25 s
qwen3-embedding-0.6bcontext成功32,7677.736 s
qwen3-embedding-0.6bquick成功142.125 s
qwen3.5-0.8bcontext成功16,42910.5 s
qwen3.5-0.8bquick成功1714.316 s
qwen3.5-0.8bstream成功2.125 s
qwen3.5-0.8btools成功4.416 s
qwen3.5-2bcontext成功65,58111.175 s
qwen3.5-2bquick成功174.519 s
qwen3.5-2bstream成功3.736 s
qwen3.5-2btools成功5.046 s
qwen3.5-4bcontext成功65,57936.451 s
qwen3.5-4bquick成功1519.935 s
qwen3.5-4bstream成功17.496 s
qwen3.5-4btools成功7.308 s
qwen3.5-4bvision成功707.848 s
qwen3.5-4bvision_context成功65,63528.24 s
qwen3.5-4bvision_reverse成功704.386 s
qwen3.5-9bcontext成功65,58134.139 s
qwen3.5-9bquick成功173.88 s
qwen3.5-9bstream成功3.378 s
qwen3.5-9btools成功10.204 s
qwen3.5-9bvision成功724.441 s
qwen3.5-9bvision_context成功65,63733.745 s
qwen3.5-9bvision_reverse成功723.97 s
qwen3.5:35b-a3b-q4_K_Mcancellation成功60.31 s
qwen3.5:35b-a3b-q4_K_Mconcurrency成功26.23 / 25.33 s
qwen3.5:35b-a3b-q4_K_Mcontext成功248,27954.215 s
qwen3.5:35b-a3b-q4_K_Mgateway成功239,153148.12 s
qwen3.5:35b-a3b-q4_K_Mquick成功7910.08 s
qwen3.5:35b-a3b-q4_K_Mstream成功69,42938.783 s
qwen3.5:35b-a3b-q4_K_Mtools成功15.22 + 14.83 s
qwen3.5:35b-a3b-q4_K_Mvision成功18.39 s
Qwen3.6-35B-A3B UD-Q4_K_XLcontext成功65,845139.57 s
Qwen3.6-35B-A3B UD-Q4_K_XLquick成功153.97 s
Qwen3.6-35B-A3B UD-Q4_K_XLstream成功0.45 s
Qwen3.6-35B-A3B UD-Q4_K_XLtools成功2935.48 s
Qwen3.6-35B-A3B UD-Q4_K_XLvision成功380.59 s
Qwen3.8-Flash-Next UD-IQ4_XScontext成功65,847201.41 s
Qwen3.8-Flash-Next UD-IQ4_XSquick成功1754.62 s
Qwen3.8-Flash-Next UD-IQ4_XSstream成功1.2 s
Qwen3.8-Flash-Next UD-IQ4_XStools成功22.18 s
Qwen3.8-Flash-Next UD-IQ4_XSvision成功3.86 s

システムB

モデル経路のラベル検査結果入力トークン要求時間
gemma-4-12b-itcontext成功65,590299.163 s
gemma-4-12b-itquick成功2115.261 s
gemma-4-12b-itstream成功148.792 s
gemma-4-12b-ittools成功34.124 s
gemma-4-12b-itvision成功12061.455 s
gemma-4-12b-itvision_context成功65,690295.581 s
gemma-4-12b-itvision_reverse成功12032.511 s
gemma3-4bcontext成功65,58467.382 s
gemma3-4bquick成功156.329 s
gemma3-4bstream成功24.138 s
gemma3-4bvision成功3067.018 s
gemma3-4bvision_context成功65,87670.912 s
gemma3-4bvision_reverse成功3065.762 s
gpt-oss-20bcontext成功65,637206.767 s
gpt-oss-20bquick成功7216.583 s
gpt-oss-20bstream成功32.075 s
gpt-oss-20btools成功28.102 s
nomic-embed-textcontext未完了2,048
nomic-embed-textquick成功7.117 s
qwen3-14bcontext未完了1800.09 s
qwen3-14bquick成功1537.199 s
qwen3-14bstream成功35.471 s
qwen3-14btools成功87.554 s
qwen3-8bcontext65K対象外、除外
qwen3-8bquick65K対象外、成功1521.059 s
qwen3-8bstream65K対象外、除外
qwen3-8btools65K対象外、除外
qwen3.5-9bcontext成功65,579282.796 s
qwen3.5-9blitellm_long_route成功72,265263 s
qwen3.5-9bpost_external_stop_mining成功
qwen3.5-9bquick成功1525.881 s
qwen3.5-9bstream成功143.44 s
qwen3.5-9btools成功31.812 s
qwen3.5-9bvision成功7532.015 s
qwen3.5-9bvision_context成功65,640396.288 s
qwen3.5-9bvision_reverse成功7528.626 s

システムC

モデル経路のラベル検査結果入力トークン要求時間
gemma-4-12b-itaperture_context成功67,255274.24 s
gemma-4-12b-itaperture_short成功3539.32 s
gemma-4-12b-itaperture_stream_context成功67,255282.16 s
gemma-4-12b-itcontext成功65,670313.661 s
gemma-4-12b-itgateway_context成功67,254263.07 s
gemma-4-12b-itgateway_short成功2720.98 s
gemma-4-12b-itquick成功2116.447 s
gemma-4-12b-itstream成功15.175 s
gemma-4-12b-ittools成功37.821 s
gemma-4-12b-itvision成功12058.52 s
gemma-4-12b-itvision_context成功65,690308.759 s
gemma-4-12b-itvision_reverse成功12031.25 s
gemma3-4baperture_context成功84,04587.68 s
gemma3-4baperture_after_system_d_route_change成功245.42 s
gemma3-4baperture_short成功225.45 s
gemma3-4baperture_stream成功3.72 s
gemma3-4bcontext成功65,66467.543 s
gemma3-4bgateway_context成功84,04488.05 s
gemma3-4bgateway_short_via_system_a成功3.16 s
gemma3-4bgateway_short_via_system_e成功
gemma3-4bgateway_short_via_system_f成功4.15 s
gemma3-4bgateway_short_via_system_g成功6.06 s
gemma3-4bquick成功155.163 s
gemma3-4bstream成功24.691 s
gemma3-4bvision成功3067.318 s
gemma3-4bvision_context成功65,87672.476 s
gemma3-4bvision_reverse成功3065.831 s
gpt-oss-20bcontext成功65,716216.594 s
gpt-oss-20bgateway_context成功84,099315.83 s
gpt-oss-20bgateway_short不整合
gpt-oss-20bquick成功7221.603 s
gpt-oss-20bstream成功31.957 s
gpt-oss-20btools成功26.096 s
nomic-embed-textcontext65K対象外、未完了2,048
nomic-embed-textquick65K対象外、成功4.178 s
qwen3-14bcontext65K対象外、未完了1800.06 s
qwen3-14bquick65K対象外、成功1535.809 s
qwen3-14bstream65K対象外、成功35.43 s
qwen3-14btools65K対象外、成功87.723 s
qwen3-8bcontext65K対象外、除外
qwen3-8bquick65K対象外、成功1521.293 s
qwen3-8bstream65K対象外、未完了900.01 s
qwen3-8btools65K対象外、除外
qwen3.5-9bcontext成功65,662287.984 s
qwen3.5-9bgateway_context成功75,648319.36 s
qwen3.5-9bgateway_short成功2172.14 s
qwen3.5-9bquick成功1524.635 s
qwen3.5-9bstream成功143.157 s
qwen3.5-9btools成功30.395 s
qwen3.5-9bvision成功7527.756 s
qwen3.5-9bvision_context成功65,640398.797 s
qwen3.5-9bvision_reverse成功7528.645 s

システムD

モデル経路のラベル検査結果入力トークン要求時間
gemma-4-12b-itcontext成功65,590275.395 s
gemma-4-12b-itexact_digest_aperture_65k成功72,057300.67 s
gemma-4-12b-itexact_digest_broker_short成功3430.74 s
gemma-4-12b-itquick成功2115.05 s
gemma-4-12b-itstream成功14.722 s
gemma-4-12b-ittools成功33.869 s
gemma-4-12b-itvision成功12056.315 s
gemma-4-12b-itvision_context成功65,690282.174 s
gemma-4-12b-itvision_reverse成功12029.978 s
gemma3-4bcontext成功65,58463.564 s
gemma3-4bexact_digest_65k_recall失敗67,25262.07 s
gemma3-4bquick成功155.151 s
gemma3-4bstream成功22.552 s
gemma3-4bvision成功3068.276 s
gemma3-4bvision_context成功65,87667.575 s
gemma3-4bvision_reverse成功3065.651 s
gpt-oss-20bcontext成功65,637189.07 s
gpt-oss-20bexact_digest_aperture_65k成功72,104245.94 s
gpt-oss-20bexact_digest_broker_short成功8415.96 s
gpt-oss-20bquick成功7215.431 s
gpt-oss-20bstream成功31.052 s
gpt-oss-20btools成功23.65 s
nomic-embed-textcontext未完了2,048
nomic-embed-textquick成功2.798 s
qwen3-14bcontext未完了40,939872.209 s
qwen3-14bquick成功1536.021 s
qwen3-14bstream成功33.491 s
qwen3-14btools成功82.471 s
qwen3-8bcontext未完了1800.07 s
qwen3-8bquick成功1519.283 s
qwen3-8bstream成功19.401 s
qwen3-8btools成功65.054 s
qwen3.5-9bcontext成功65,579258.048 s
qwen3.5-9bexact_digest_aperture_65k成功81,051324.07 s
qwen3.5-9bexact_digest_broker_short成功2994.48 s
qwen3.5-9bquick成功1527.16 s
qwen3.5-9bstream成功28.62 s
qwen3.5-9btools成功28.129 s
qwen3.5-9bvision成功7525.047 s
qwen3.5-9bvision_context成功65,640369.477 s
qwen3.5-9bvision_reverse成功7527.602 s

システムE

モデル経路のラベル検査結果入力トークン要求時間
gemma-4-e4b-itcontext成功65,59049.086 s
gemma-4-e4b-itquick成功2123.911 s
gemma-4-e4b-itstream成功28.136 s
gemma-4-e4b-ittools成功56.756 s
granite-4.0-h-tinycontext成功65,566
granite-4.0-h-tinyquick成功3510.408 s
granite-4.0-h-tinystream成功27.798 s
granite-4.0-h-tinytools成功43.304 s
granite-4.2-3bcontext成功65,5891014.03 s
granite-4.2-3bquick成功2014.569 s
granite-4.2-3bstream成功6.948 s
granite-4.2-3btools成功56.376 s
qwen3-embedding-0.6bcontext成功32,76720.387 s
qwen3-embedding-0.6bquick成功149.592 s
qwen3.5-0.8bcontext成功16,4299.128 s
qwen3.5-0.8bquick成功17452.417 s
qwen3.5-0.8bstream成功11.163 s
qwen3.5-0.8btools成功39.214 s
qwen3.5-2bcontext成功65,57930.343 s
qwen3.5-2bquick成功1512.509 s
qwen3.5-2bstream成功26.165 s
qwen3.5-2btools成功42.056 s
qwen3.5-4bcontext成功65,57953.787 s
qwen3.5-4bquick成功1526.736 s
qwen3.5-4bstream成功26.02 s
qwen3.5-4btools成功57.293 s
qwen3.5-4bvision成功7210.09 s
qwen3.5-4bvision_context成功65,63744.88 s
qwen3.5-4bvision_reverse成功729.96 s

システムF

モデル経路のラベル検査結果入力トークン要求時間
gemma-4-e4b-itcontext成功65,59098.443 s
gemma-4-e4b-itquick成功2127.51 s
gemma-4-e4b-itstream成功28.042 s
gemma-4-e4b-ittools成功73.891 s
granite-4.0-h-tinycontext成功65,59919.692 s
granite-4.0-h-tinyquick成功3543.818 s
granite-4.0-h-tinystream成功27.296 s
granite-4.0-h-tinytools成功75.377 s
granite-4.2-3bcontext成功65,589145.179 s
granite-4.2-3bquick成功2015.703 s
granite-4.2-3bstream成功35.482 s
granite-4.2-3btools成功52.539 s
qwen3-embedding-0.6bcontext成功32,76720.656 s
qwen3-embedding-0.6bquick成功148.122 s
qwen3.5-0.8bcontext成功16,42913.326 s
qwen3.5-0.8bquick成功17445.22 s
qwen3.5-0.8bstream成功13.266 s
qwen3.5-0.8btools成功40.825 s
qwen3.5-2bcontext成功65,57961.282 s
qwen3.5-2bquick成功1516.738 s
qwen3.5-2bstream成功25.29 s
qwen3.5-2btools成功47.444 s
qwen3.5-4bcontext成功65,57993.753 s
qwen3.5-4bquick成功1533.039 s
qwen3.5-4bstream成功25.658 s
qwen3.5-4btools成功71.731 s
qwen3.5-4bvision成功7043.053 s
qwen3.5-4bvision_context成功65,63584.749 s
qwen3.5-4bvision_reverse成功7027.518 s

システムG

モデル経路のラベル検査結果入力トークン要求時間
gemma-4-e4b-itcontext成功65,59092.696 s
gemma-4-e4b-itquick成功2138.329 s
gemma-4-e4b-itstream成功43.549 s
gemma-4-e4b-ittools成功66.616 s
granite-4.0-h-tinycontext成功65,59969.777 s
granite-4.0-h-tinyquick成功3533.17 s
granite-4.0-h-tinystream成功31.751 s
granite-4.0-h-tinytools成功63.338 s
granite-4.2-3bcontext成功65,589100.849 s
granite-4.2-3bquick成功2023.355 s
granite-4.2-3bstream成功28.75 s
granite-4.2-3btools成功44.226 s
qwen3-embedding-0.6bcontext成功32,76723.055 s
qwen3-embedding-0.6bquick成功148.924 s
qwen3.5-0.8bcontext成功16,42916.74 s
qwen3.5-0.8bquick成功17504.813 s
qwen3.5-0.8bstream成功15.095 s
qwen3.5-0.8btools成功36.672 s
qwen3.5-2bcontext成功65,57976.731 s
qwen3.5-2bquick成功1520.949 s
qwen3.5-2bstream成功25.194 s
qwen3.5-2btools成功37.552 s
qwen3.5-4bcontext成功65,57990.807 s
qwen3.5-4bquick成功1541.84 s
qwen3.5-4bstream成功40.812 s
qwen3.5-4btools成功54.999 s
qwen3.5-4bvision成功7029.619 s
qwen3.5-4bvision_context成功65,63587.496 s
qwen3.5-4bvision_reverse成功7026.283 s

Hermesの実用性を検証した方法

長いプロンプトの冒頭近くに合成マーカーを置き、埋め草の後でマーカーを返すよう求めました。回答には期待した値が必要です。要求サイズはサーバー報告の入力トークン数で決めました。大きな入力後に普通に答えられても、冒頭マーカーを誤れば失敗です。

Qwen3.5 35Bの進行テストでは番号付き埋め草レコード、温度0、3,800、6,800、10,000、13,600レコードの順に使いました。各段階のプロンプトは69,429、124,179、182,579、248,279トークンでした。モデルを段階間で読み込んだままにしてプレフィックスを再利用しました。Qwen3.6の上限付近の個別確認ではキャッシュトークンがゼロでした。

0.8Bの長いプロンプトではriver stone lantern orchard circuit velvet compass marbleを8,400回繰り返し、最初の回答キーと最後の想起質問の間に置きました。ネイティブ実行はthink:false、num_ctx:131072、stream:false、keep_alive:0を使いました。OpenAI互換経路はreasoning_effort:"none"を使いました。ブローカーは非思考モードを強制しました。

ツール、画像、解放の確認

ツールの要求と結果返却後の回答を確認しました。簡単な試験ではadd_numbers(7, 11)を使い18を期待しました。Qwen3.5 35Bではlookup_squareを使い49を期待しました。GPT-OSSには在庫検索をさせ、返された内容を反映させました。

画像確認では赤と青の画像質問、画像順の反転、画像色と冒頭・末尾マーカーを含む長いプロンプトを使いました。Qwen3.5 35B試験では256×256の赤いPNGを使いました。要求が通る前にブローカーの画像コンテンツ変換を修正しました。システムEの4B長文画像試験では両マーカーと色順の保持が必要でした。

長い実行の前後でGPUメモリー、モデル常駐、温度、ホストメモリー負荷、OOMイベント、GPU障害を確認しました。Qwen3.5 35Bのガードは制御した中断後の解放も検査しました。後のクライアントキャンセルとキュー試験ではブローカー経路を確認しました。キュー内の2要求は検証負荷での処理を示し、独立したGPUバックエンド2つの同時稼働を示すものではありません。

性能結果の読み方

要求時間には長い入力の事前処理と返却された回答が含まれます。生成トークン毎秒ではありません。ストリーミングでは最初の内容までの遅延が重要で、キャッシュ済みプレフィックスの進行は別に解釈します。

システムAとCで成功した大型モデルの追試は、マイニング停止中の専用推論時間枠で行いました。要求後にモデルをアンロードしました。7システムのマイニングは試験枠の終わりに復旧しました。これは推論時間中のモデルサービスを示し、マイニングと推論の同時実行を示すものではありません。

試験で使ったバックエンドプロファイル

再現したいワークロードに対応するプロファイルを選びます。量子化、実行時コンテキスト、キャッシュ形式、推論モード、GPU配置が結果に影響します。

システムとモデル検証したバックエンドプロファイル
A, Qwen3.5 35B-A3B Q4_K_MOllama 0.34.2、f16 KVキャッシュ、16GB RTX 5060 Ti 2枚、ホストRAM 64 GiB。長い進行テストではランタイムコンテキスト262,144。ネイティブ要求はthink:false、温度0、ストリーミング、段階間5分のkeep-aliveを使用。ゲートウェイ要求はブローカーとLiteLLMを使用。出力上限なし。
A, Qwen3.8 27BブローカーとLiteLLM経由のオンデマンドllama.cpp、ランタイムコンテキスト262,144、推論スロット1、Q4 K/Vキャッシュ、RTX 5060 Ti 2枚。66,007トークンの要求に出力上限なし。
A, Qwen3.6-35B-A3B UD-Q4_K_XLStrata 0.1.48、コンテキスト131,072、INT8 KVキャッシュ、選択GPU 1基、プロセスグループメモリ上限55 GiB、実行時間上限30分、遅延ロード、60秒アイドルでアンロード。パイロット長文回答は217出力トークン。上限近くのゲートウェイ回答は11トークン、出力上限なし。
A, Qwen3.8-Flash-Next UD-IQ4_XSStrata 0.1.48、コンテキスト98,304、Q4 KVキャッシュ、常駐エキスパートキャッシュ8 GiB、RTX 5060 Ti 2枚。パイロットのメモリ上限52 GiB、後続経路54 GiB。パイロット長文回答は10出力トークン。以前の大きなコンテキスト/キャッシュ構成はメモリ上限で停止。
A, Granite 4.2 8BQ6_K GGUF重み、llama.cppの共有処理プロセス、コンテキスト131,072、Q4_0 K/Vキャッシュ、--n-predict -1。長い要求は温度0、ストリーミング使用量計測、出力上限なし。
A, DeepSeek Coder V2 16BQ4_0 GGUF重み、Ollama 0.34.2、RTX 5060 Ti 2枚、ホストRAM 64 GiB。f16、Q4_0、Q8_0の個別キャッシュ試験は比較表のランタイムコンテキストを使用。出力上限なし。
B, C, D, 監査済みのOllamaサービスOllama 0.34.2、コンテキスト131,072、並列度1、ロード済みモデル1つ、キューサイズ128、keep-alive 0、Flash Attention、Q4_0 KVキャッシュ。
B、Qwen3.5 9Bゲートウェイ試験LiteLLMルートのタイムアウト1,800秒、再試行なし、コンテキストと出力tokenの上限なし。入力72,265 tokenで両方のセンチネルを保持。別個のマイニング復旧チェックに合格。
C, Qwen3.5 0.8B30 W電力プロファイルのRTX 2000E Ada 1基にQ8_0重み。ランタイムコンテキスト131,072。ネイティブthink:false、OpenAI互換reasoning_effort:"none"、出力上限なし。ブローカー別名はコンテキストを固定し、思考なしモードを強制。
C, Gemma 4 12B-IT単一GPUのOllama構成、ランタイムコンテキスト131,072、出力上限なしのApertureストリーミング/非ストリーミング要求。直接Aperture実行は設定30 Wプロファイル下で75 C、30.64 Wに達し、その後アンロード。
D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20BApertureで正確なインストール済み制品をテスト。ランタイムコンテキスト131,072、単一GPUに完全常駐、要求の出力上限なしで自然終了。
E, F, G, llama.cppのチャット処理プロセスBuild 11669、GPU層99、並列度1、Flash Attention、Q4_0 K/Vキャッシュ、--n-predict -1。ランタイムコンテキストはモデル系列で異なる。

記録したサービスプロファイルはそれぞれ固有の実行設定を示します。システムAで別途検証したQwen3.5 35Bのf16キャッシュプロファイルは、小型OllamaシステムのQ4_0設定を引き継ぎません。

入力保持を再検証したモデルの指紋

これらのモデル識別子は、似た名前の別ダウンロードやエイリアスと今回のアーティファクトを区別します。

アーティファクト量子化記録したダイジェストまたはファイルのSHA-256
Qwen3.5 35B-A3B Ollama tagQ4_K_M72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567
Qwen3.5 0.8B base Ollama tagQ8_0de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c
Granite 4.2 8B GGUF fileQ6_K5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21

Ollamaマニフェストのダイジェストと重みファイルのSHA-256は、異なる対象を識別します。識別子を表のアーティファクト種別に対応させてください。

Hermesで使うモデル構成

2枚のRTX 5060 TiがあるシステムではQwen3.5 35Bを高コンテキストの主経路にします。ゲートウェイ経由で239,153トークンを保持し、ツールと画像の個別試験に通り、要求後に解放されたことも確認できました。大きなコンテキストを宣伝するだけのモデルより有力です。66Kで速い応答にはQwen3.8 27B、1枚運用を優先する場合はQwen3.6を残します。

RTX 2000E Adaでは、検証済みのシステムC Gemma 3 4B経路を長文入力の応答作業に選びます。狭い想起・抽出には思考なしのQwen3.5 0.8Bを試します。4~5分の初回応答を許容できる作業なら大型Gemma、Qwen、GPT-OSS経路も候補です。システムDで失敗したGemma 3経路は除外します。

8GBのRTX 3060 TiとRTX 3070ではQwen3.5 2Bか4Bから始めます。65Kのテキスト結果と4Bの画像確認は、16GBカード2枚を毎回使わない実用的な初期構成を支えます。Flash Nextのメモリー負荷とDeepSeek Coder V2の不完全な65K動作は、検証プロファイルでの既定候補として不利です。

このモデルとシステムの選択は特定の作業を対象にしています。入力保持、ツール往復の正しさ、画像認識、確実な解放はHermesの実用性の異なる面を確認します。信頼できる構成にはエージェントが使う動作と、回答やツール通信のための十分なコンテキストが必要です。

出典と関連資料