Hermes向けローカルモデル検証:選びたいGPUとモデルの組み合わせ

Table of Contents
長いコンテキストを使うHermesの作業なら、16GBのRTX 5060 Tiを2枚使ったQwen3.5 35Bから始めます。検証した経路はLiteLLM経由で239,153個の入力トークンを保持し、ツール、ストリーミング、画像認識、キュー処理、キャンセルを個別に通過しました。1枚で使う代替候補はQwen3.6です。RTX 3060 TiやRTX 3070のシステムではQwen3.5 2Bまたは4Bから始めます。
この選択は、エージェントが使う推論経路でモデルを実行して得たものです。長い入力の保持、ツールの往復、ストリーミング応答、画像への質問、モデルの解放を検証しました。経路に関わるモードとメモリー設定もテストしました。モデルを読み込めても、長いエージェント要求で役立つとは限らないためです。
ツールを使うエージェントには、Hermesは少なくとも64,000個のコンテキストトークンを必要とします。長いコンテキストの合格基準には、実際に処理した65,536個の入力トークンを使いました。サーバーが宣伝するコンテキスト長より、入力トークン数のほうが重要です。( Hermes Agentプロバイダーのドキュメント )
各システムで使ったGPU
結果全体で、システムの文字は以下のハードウェア構成を表します。
| システム | 検証で使用したGPU | 最初に選ぶモデル |
|---|---|---|
| A | 2 × GeForce RTX 5060 Ti、各16GB | 2枚のカードでQwen3.5 35B、または1枚でQwen3.6 |
| B | 1 × RTX 2000E Ada, 16GB | 長い入力の処理に数分かかってもタスクに合う場合はQwen3.5 9B |
| C | 1 × RTX 2000E Ada, 16GB | テスト済みの長入力経路にはGemma 3 4B、限定的な想起タスクには思考なしモードのQwen3.5 0.8B |
| D | 1 × RTX 2000E Ada, 16GB | テスト済みの大型モデル負荷にはQwen3.5 9B、Gemma 4 12B-IT、またはGPT-OSS 20B |
| E | 9 × GeForce RTX 3060 Ti、各8GB | Qwen3.5 2Bまたは4B |
| F | 8 × GeForce RTX 3060 Ti、各8GB | Qwen3.5 2Bまたは4B |
| G | 3 × GeForce RTX 3070 | Qwen3.5 2Bまたは4B |
カードの搭載数は、毎回すべてのGPUを使ったという意味ではありません。Qwen3.5 35BとFlash Nextの試験ではシステムAの2枚を使いました。Qwen3.6は1枚で動きました。システムEで成功したQwen3.5 4Bの画像認識再試験では、8枚のプールから1枚を選び、9枚目はAI用途から除外しました。
以下の時間は、検証したモデル、実行環境、システムを組み合わせた結果です。実用可能な構成を比較しており、速度差の原因としてGPUアーキテクチャだけを切り分けたものではありません。
RTX 5060 Tiを2枚使うQwen3.5 35Bを長いコンテキスト用に選ぶ理由
今回の試験ではQwen3.5 35Bが最も多く入力を保持しました。Ollamaの直接実行では、実行時コンテキスト262,144個の中に248,279個の入力トークンを保持しました。別のゲートウェイ経由ストリーミング要求は239,153個を保持し、冒頭マーカーを返し、出力31トークンで148.12秒後に正常終了しました。
要求がブローカーとLiteLLMを通過したため、ゲートウェイの結果はHermesにとって重要です。別々の要求でツールの往復を完了し、赤い画像を認識し、同時送信した2件の要求に正しく回答しました。ブローカーは2件をキューに入れました。ストリーミング要求を閉じるとブローカーが解放され、60.31秒以内にモデルがアンロードされました。
| Qwen3.5 35Bの要求 | 入力トークン | 出力トークン | 時間 | 結果 |
|---|---|---|---|---|
| Ollama直接接続、最初の段階的ステージ | 69,429 | 31 | 38.783 s | 冒頭マーカー一致 |
| Ollama直接接続、共有プレフィックスの継続 | 124,179 | 31 | 28.472 s | 冒頭マーカー一致 |
| Ollama直接接続、共有プレフィックスの継続 | 182,579 | 31 | 38.974 s | 冒頭マーカー一致 |
| Ollama直接接続、共有プレフィックスの継続 | 248,279 | 31 | 54.215 s | 冒頭マーカー一致 |
| ブローカーのストリーミングリクエスト | 69,427 | 29 | 38.872 s | 冒頭マーカー一致 |
| LiteLLMのストリーミングリクエスト | 239,153 | 31 | 148.12 s | 冒頭マーカー一致, clean unload |
段階的な直接要求では、拡張する共通プレフィックスを再利用しました。所要時間はウォーム状態での継続処理です。54.215秒という値は、新しい248Kプロンプトを処理する独立したコールド計測ではありません。
最大の直接実行段階では、2枚のGPU全体で約273億バイトが常駐しているとモデルが報告しました。カードごとのメモリピークは14,964 MiBと12,386 MiBでした。
最高温度は62°Cと63°Cで、OOMやXidの障害は記録されませんでした。設定したコンテキストには継続用として13,865トークンが残り、短いマーカー応答はそのうち31トークンを使いました。
大きな作業セットを保持することが最短の初回応答より重要なら、この経路を選びます。ツールと画像の検証はエージェントに役立つ挙動を確認し、長い入力の試験は保持を確認します。別々のワークロードです。
Qwen3.6は1枚で使う選択肢
Qwen3.6-35B-A3B UD-Q4_K_XLは、RTX 5060 Ti 1枚で131,000個の入力トークンを保持しました。試験中、もう1枚はアイドル状態でした。2枚を1モデルに割り当てたくない場合に有用な代替手段です。
| Qwen3.6のゲートウェイ要求 | 入力トークン | 出力トークン | 時間 | 結果 |
|---|---|---|---|---|
| 初回の長時間リクエスト | 66,007 | 167.82 s | 冒頭マーカーを保持 | |
| より長いリクエスト | 90,000 | 11 | 159.92 s | 冒頭マーカーを保持, zero cached input |
| より長いリクエスト | 119,999 | 11 | 250.61 s | 冒頭マーカーを保持, zero cached input |
| 実行時間の上限近く | 131,000 | 11 | 287.09 s | 冒頭マーカーを保持, zero cached input |
131,000トークンの要求は、実行時上限131,072に近づきました。エージェント用なら回答と後続のツールメッセージのために、もっと余裕を残します。上限近くでの保持結果は入力処理の証拠にはなりますが、妥当な既定入力予算ではありません。
思考を無効にするとツールを使えました。既定の思考モードはツール呼び出しの前に試験上限512トークンを使い切りました。成功したパイロットでは高速、ストリーミング、画像認識の要求も通過しました。最初の65,845トークンのコンテキスト確認には139.57秒かかりました。
同じ66K入力でQwen3.8 27Bが応答比較に勝つ
システムAで同じ66,007トークンのマーカー課題を実行すると、Qwen3.8 27Bが最速で回答しました。検証した入力サイズ付近ではこの経路を使い、大きな作業セットにはQwen3.5 35Bを併用します。
| システムAの経路 | 入力トークン | 時間 | 結果 |
|---|---|---|---|
| Qwen3.8 27B | 66,007 | 54.64 s | 冒頭マーカーを保持 |
| Qwen3.6-35B-A3B UD-Q4_K_XL | 66,007 | 167.82 s | 冒頭マーカーを保持 |
| Qwen3.8-Flash-Next UD-IQ4_XS | 66,007 | 164.58 s | 冒頭マーカーを保持 |
| Flash Next IQ4 compatibility alias | 66,007 | 213.25 s | マーカーを保持 |
Qwen3.8 27Bの所要時間は、比較したQwen3.6やFlash Nextの約3分の1でした。検証環境で要求全体を実行した観測値であり、ハードウェアのみの比較ではありません。
高速応答、ストリーミング、ツール利用も通過しました。思考なしモードは色の全シーケンスとツール往復を完了し、思考あり試験は512トークン内でシーケンスの一部だけを返しました。
メモリー負荷のため、Flash Nextはこのシステムの既定候補としては魅力が下がります。65,847トークンのパイロットは実行時コンテキスト98,304で201.41秒かかりました。以前のコンテキスト131,072の2プロファイルは、準備完了前にメモリー上限へ達しました。
後の経路はcgroup上限54 GiBに達しました。無人運用ならメモリー余裕の大きい経路を選びます。
flash-iq2という名前の経路はFlash Next IQ4互換バックエンドを使いました。この名前はIQ2の結果を示しません。
RTX 2000E Adaは長い入力を処理するが、モデル選択で待ち時間が変わる
システムCで長い入力に使う検証済み経路として、Gemma 3 4Bを優先します。2つの経路が約88秒で84K超の入力を保持しました。大型モデルも有用な保持試験に通りましたが、要求には数分かかりました。
| システム | モデルと経路 | 入力トークン | 時間 | 結果 |
|---|---|---|---|---|
| B | Qwen3.5 9B、ゲートウェイ | 72,265 | 263 s | 両方の目印を保持し、その後のマイニング復旧確認にも成功 |
| C | Gemma 3 4B、ゲートウェイ | 84,044 | 88.05 s | 冒頭マーカーを保持 |
| C | Gemma 3 4B, Aperture | 84,045 | 87.68 s | 冒頭マーカーを保持 |
| C | Gemma 4 12B-IT、ゲートウェイ | 67,254 | 263.07 s | 冒頭マーカーを保持 |
| C | Gemma 4 12B-IT、Aperture非ストリーミング | 67,255 | 274.24 s | 冒頭マーカーを保持 |
| C | Gemma 4 12B-IT、Apertureストリーミング | 67,255 | 282.16 s | 冒頭マーカーを保持 |
| C | Qwen3.5 9B、ゲートウェイ | 75,648 | 319.36 s | 冒頭マーカーを保持し、モデルをメモリからアンロード |
| C | GPT-OSS 20B、ゲートウェイ | 84,099 | 315.83 s | 冒頭マーカーを保持し、モデルをメモリからアンロード |
| D | Qwen3.5 9B、Aperture | 81,051 | 324.07 s | インストール済みアーティファクトで保持に成功 |
| D | Gemma 4 12B-IT, Aperture | 72,057 | 300.67 s | インストール済みアーティファクトで保持に成功 |
| D | GPT-OSS 20B, Aperture | 72,104 | 245.94 s | インストール済みアーティファクトで保持に成功 |
システムCでは、ストリーミングでもGemma 4の長いプリフィル待ちは短くなりませんでした。最初のストリーム内容は277.49秒後に届き、非ストリーミングの完全な応答274.24秒より遅くなりました。前の非ストリーミング試行はタイムアウトし、その後の再試験で成功しました。初期処理に数分かかってもよい作業に限って使います。
Gemma 3 4Bは、検証を各システム単位で考える必要も示しています。システムDは65Kの想起試験2回で冒頭マーカーを見失い、そのうち1回は温度ゼロ、入力67,252トークンでの再試験でした。決定的な要求はGPUを完全に使用した状態で62.07秒後に正常終了しました。
すぐ完了し、通常のAPI応答が返っても、回答が正しいとは限りません。システムCの成功経路を使い、システムDの失敗経路はHermesの選択から外します。
思考モードでQwen3.5 0.8Bの有用性が決まる
思考を無効にすると、Qwen3.5 0.8BはシステムCで範囲を絞った想起に使える候補になりました。小型Q8_0モデルはゲートウェイ経由で75,649個の入力トークンを65.92秒で保持しました。この結果は検証したQ8_0アーティファクトと非思考経路に限られ、他の表にある旧16Kコンテキスト構成には当てはまりません。
| システムCのQwen3.5 0.8B要求 | 入力トークン | 出力トークン | 時間 | 結果 |
|---|---|---|---|---|
| デフォルト思考での短時間診断 | 9,050 | 3,391 | 66.56 s | 冒頭マーカー一致 |
| 思考無効、条件を揃えた診断 | 9,055 | 21 | 7.65 s | 冒頭マーカー一致, no reasoning text |
| デフォルト思考での長時間試行 | 600秒でタイムアウト | 回答未完了 | ||
| 思考無効、ネイティブOllama | 75,656 | 22 | 69.80 s | 冒頭マーカー一致 |
| 非思考型OpenAI互換エンドポイント | 75,646 | 12 | 69.09 s | 冒頭マーカー一致 |
| 思考なしモードを強制するブローカー | 75,647 | 13 | 66.83 s | 冒頭マーカー一致 |
| システムAからシステムCへのLiteLLM | 75,649 | 15 | 65.92 s | 冒頭マーカー一致 |
同条件の診断は66.56秒から7.65秒へ、約8.7倍速くなり、生成出力は3,391トークンから21トークンへ減りました。単純な抽出やルーティングでは推論モードを明示します。既定の推論は不要な出力に処理の大半を費やしました。
短いOpenAI互換プローブはマーカーを見つけられませんでしたが、温度ゼロでの再試験は成功しました。成功した経路は非思考モードと出力上限なしの自然終了を使いました。他の3ゲートウェイも短いマーカー要求を4.22秒、4.37秒、3.85秒で処理しました。これらはルーティングを確認し、75,649トークン要求は長い入力の保持を確認します。
範囲を絞った想起と抽出にはこの経路を試します。自由形式のエージェント推論にはもっと大きいモデルを選びます。合成マーカーを1つ取り出す作業は、計画、コーディング、複数ツールの調整より限定的です。
RTX 3060 TiとRTX 3070ではQwen3.5 2Bと4Bが有力
8GBカードの実用的な開始候補はQwen3.5 2Bと4Bです。システムE、F、Gでテキストコンテキスト要求を実行し、65,579個を保持して30.343秒から93.753秒で完了しました。検証した4B経路はツール、ストリーミング、画像認識も通過しました。
システムEでの4B画像コンテキスト再試験は、65,637個の入力トークンを44.88秒で処理し、両方のマーカーと画像の色順を保持しました。色順を前後反転した要求も通過しました。別のカードがXid 79リンク障害を起こして再起動した後、正常な1枚を使いました。
| システム | Qwen3.5 2Bのテキストコンテキスト | Qwen3.5 4Bのテキストコンテキスト | Qwen3.5 4Bの画像コンテキスト |
|---|---|---|---|
| E, RTX 3060 Ti pool | 65,579 tokens, 30.343 s | 65,579 tokens, 53.787 s | 65,637 tokens, 44.88 s |
| F, RTX 3060 Ti pool | 65,579 tokens, 61.282 s | 65,579 tokens, 93.753 s | 65,635 tokens, 84.749 s |
| G, RTX 3070 pool | 65,579 tokens, 76.731 s | 65,579 tokens, 90.807 s | 65,635 tokens, 87.496 s |
各システムで29件の検査に合格しました。2つのRTX 3060 Tiシステム間の時間差も、要求時間だけでカードを順位付けせず、検証済みシステムプロファイルを選ぶ理由になります。
7システムすべてが推論時間後にマイニングへ戻りました。システムBの停止後回復確認は新たに承認されたシェアで成功しました。システムEの故障カードは再起動とPCIeリンク強化の後にマイニングへ復帰しましたが、AIプールからの除外は維持されました。試験時間の終わりにマイニングを戻すことと、1つの推論要求後に自動で引き渡すことは別の結果です。
モデルの読み込みだけでは適格にならない
DeepSeek Coder V2 16Bは、検証したHermes 65K候補から外します。f16キャッシュの実行は50,477個の入力トークンを保持しましたが、65K目標の試験はVRAMガードに達しました。Q4とQ8のキャッシュ案は重みをGPUに読み込んだ後、ホストメモリー上限か長いプロンプトの低スループットにぶつかりました。
| DeepSeek Coder V2のキャッシュプロファイル | 実行時コンテキスト | 観測結果 | 評価 |
|---|---|---|---|
| f16 | 81,920 | 50,477トークンの想起に成功、過大なリクエストは拒否 | 短いコンテキストで有用な結果 |
| f16 | 73,728 | 65K目標のプレフィルをGPU使用量15,802 MiBで停止 | 65Kの要件を満たさない |
| Q4_0 | 98,304 | 制御停止前に長いプレフィルは96.72 token/sまで低下 | このワークロードには不向き |
| Q8_0 | 77,824 | 制御停止前に長いプレフィルは120.12 token/sまで低下 | このワークロードには不向き |
| Q4_0 / Q8_0, より大きなプロファイル | 163,840 / 98,304 | ホストメモリ保護により試験は停止した | メモリ適合性はシステム全体で判断する必要がある |
実務上の教訓は、送信予定の要求をベンチマークすることです。GPU常駐、短い回答、大きく設定したコンテキストだけでは、実用的な遅延で長い入力を保持できる証拠になりません。
システムAで経路別の追試を行うと、Granite 4.2 8BとGPT-OSS 20Bは改善しました。GraniteのQ6_K経路は入力キャッシュなしで66,082個を88.636秒で保持しました。GPT-OSSはブローカー修正後にツール往復を完了し、呼び出しに9.854秒、後続に9.849秒かかりました。成功した確認は以前の未完了試験と分けて扱います。
ベンチマーク全結果
表には59モデル・システム組み合わせの検査295件があります。273件が成功し、想起の失敗1件、未完了・不整合・非互換の結果が7件です。14件は65Kの適格範囲外です。各行に測定結果を示します。
推奨は成功した経路とワークロードに適用します。失敗または未完了の行は、該当する動作の適格性を示しません。
短いコンテキストと埋め込みの成功は各ワークロードに対する結果です。16Kや32Kのコンテキスト合格は、Hermesの65,536入力トークンのワークロードに十分という証拠になりません。モデル名は経路ラベルです。flash-iq2ラベルはIQ4互換バックエンドを使いました。
システムAのQwen3.5 35Bコンテキスト行は、上の共有プレフィックス進行の最終段階です。プラス記号付きのツール時間は呼び出しと後続を個別に示します。
同時実行行はキューに入った2要求の時間を示します。キャンセル行はクライアントがストリームを閉じた後の解放時間を示します。追加のコンテキスト推移とQwen3.5 0.8B経路比較は上の個別表にあります。
システムA
| モデル経路のラベル | 検査 | 結果 | 入力トークン | 要求時間 |
|---|---|---|---|---|
| bonsai-2-27b | context | 成功 | 65,621 | 88.746 s |
| bonsai-2-27b | quick | 成功 | 57 | 6.429 s |
| bonsai-2-27b | stream | 成功 | 9.371 s | |
| bonsai-2-27b | tools | 成功 | 10.478 s | |
| deepseek-coder-v2:16b | context | 互換性なし | 50,477 | |
| deepseek-coder-v2:16b | quick | 成功 | 77 | 43.239 s |
| flash-iq2 | context | 成功 | 66,007 | 213.25 s |
| flash-iq2 | quick | 成功 | 56.03 s | |
| flash-iq2 | stream | 成功 | 1.35 s | |
| flash-iq2 | tools | 成功 | 16.55 s | |
| gemma-4-12b-it | context | 成功 | 65,590 | 51.225 s |
| gemma-4-12b-it | quick | 成功 | 21 | 5.166 s |
| gemma-4-12b-it | stream | 成功 | 4.653 s | |
| gemma-4-12b-it | tools | 成功 | 18.72 s | |
| gemma-4-12b-it | vision | 成功 | 115 | 7.222 s |
| gemma-4-12b-it | vision_context | 成功 | 65,685 | 56.06 s |
| gemma-4-12b-it | vision_reverse | 成功 | 115 | 7.467 s |
| gemma-4-e4b-it | context | 成功 | 65,590 | 21.889 s |
| gemma-4-e4b-it | quick | 成功 | 21 | 17.919 s |
| gemma-4-e4b-it | stream | 成功 | 4.25 s | |
| gemma-4-e4b-it | tools | 成功 | 8.734 s | |
| gpt-oss-20b | context | 成功 | 65,637 | 159.155 s |
| gpt-oss-20b | quick | 成功 | 73 | 10.548 s |
| gpt-oss-20b | stream | 成功 | 20.594 s | |
| gpt-oss-20b | tools | 成功 | 9.854 + 9.849 s | |
| granite-4.2-3b | context | 成功 | 65,589 | 70.968 s |
| granite-4.2-3b | quick | 成功 | 20 | 4.009 s |
| granite-4.2-3b | stream | 成功 | 5.365 s | |
| granite-4.2-3b | tools | 成功 | 6.086 s | |
| granite-4.2-8b | context | 成功 | 66,082 | 88.636 s |
| granite-4.2-8b | quick | 成功 | 20 | 5.857 s |
| granite-4.2-8b | stream | 成功 | 11.826 s | |
| granite-4.2-8b | tools | 成功 | 11.852 s | |
| qwen27b | context | 成功 | 66,007 | 54.64 s |
| qwen27b | quick | 成功 | 57 | 31.5 s |
| qwen27b | stream | 成功 | 0.92 s | |
| qwen27b | tools | 成功 | 4.25 s | |
| qwen3-embedding-0.6b | context | 成功 | 32,767 | 7.736 s |
| qwen3-embedding-0.6b | quick | 成功 | 14 | 2.125 s |
| qwen3.5-0.8b | context | 成功 | 16,429 | 10.5 s |
| qwen3.5-0.8b | quick | 成功 | 17 | 14.316 s |
| qwen3.5-0.8b | stream | 成功 | 2.125 s | |
| qwen3.5-0.8b | tools | 成功 | 4.416 s | |
| qwen3.5-2b | context | 成功 | 65,581 | 11.175 s |
| qwen3.5-2b | quick | 成功 | 17 | 4.519 s |
| qwen3.5-2b | stream | 成功 | 3.736 s | |
| qwen3.5-2b | tools | 成功 | 5.046 s | |
| qwen3.5-4b | context | 成功 | 65,579 | 36.451 s |
| qwen3.5-4b | quick | 成功 | 15 | 19.935 s |
| qwen3.5-4b | stream | 成功 | 17.496 s | |
| qwen3.5-4b | tools | 成功 | 7.308 s | |
| qwen3.5-4b | vision | 成功 | 70 | 7.848 s |
| qwen3.5-4b | vision_context | 成功 | 65,635 | 28.24 s |
| qwen3.5-4b | vision_reverse | 成功 | 70 | 4.386 s |
| qwen3.5-9b | context | 成功 | 65,581 | 34.139 s |
| qwen3.5-9b | quick | 成功 | 17 | 3.88 s |
| qwen3.5-9b | stream | 成功 | 3.378 s | |
| qwen3.5-9b | tools | 成功 | 10.204 s | |
| qwen3.5-9b | vision | 成功 | 72 | 4.441 s |
| qwen3.5-9b | vision_context | 成功 | 65,637 | 33.745 s |
| qwen3.5-9b | vision_reverse | 成功 | 72 | 3.97 s |
| qwen3.5:35b-a3b-q4_K_M | cancellation | 成功 | 60.31 s | |
| qwen3.5:35b-a3b-q4_K_M | concurrency | 成功 | 26.23 / 25.33 s | |
| qwen3.5:35b-a3b-q4_K_M | context | 成功 | 248,279 | 54.215 s |
| qwen3.5:35b-a3b-q4_K_M | gateway | 成功 | 239,153 | 148.12 s |
| qwen3.5:35b-a3b-q4_K_M | quick | 成功 | 79 | 10.08 s |
| qwen3.5:35b-a3b-q4_K_M | stream | 成功 | 69,429 | 38.783 s |
| qwen3.5:35b-a3b-q4_K_M | tools | 成功 | 15.22 + 14.83 s | |
| qwen3.5:35b-a3b-q4_K_M | vision | 成功 | 18.39 s | |
| Qwen3.6-35B-A3B UD-Q4_K_XL | context | 成功 | 65,845 | 139.57 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | quick | 成功 | 15 | 3.97 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | stream | 成功 | 0.45 s | |
| Qwen3.6-35B-A3B UD-Q4_K_XL | tools | 成功 | 293 | 5.48 s |
| Qwen3.6-35B-A3B UD-Q4_K_XL | vision | 成功 | 38 | 0.59 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | context | 成功 | 65,847 | 201.41 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | quick | 成功 | 17 | 54.62 s |
| Qwen3.8-Flash-Next UD-IQ4_XS | stream | 成功 | 1.2 s | |
| Qwen3.8-Flash-Next UD-IQ4_XS | tools | 成功 | 22.18 s | |
| Qwen3.8-Flash-Next UD-IQ4_XS | vision | 成功 | 3.86 s |
システムB
| モデル経路のラベル | 検査 | 結果 | 入力トークン | 要求時間 |
|---|---|---|---|---|
| gemma-4-12b-it | context | 成功 | 65,590 | 299.163 s |
| gemma-4-12b-it | quick | 成功 | 21 | 15.261 s |
| gemma-4-12b-it | stream | 成功 | 148.792 s | |
| gemma-4-12b-it | tools | 成功 | 34.124 s | |
| gemma-4-12b-it | vision | 成功 | 120 | 61.455 s |
| gemma-4-12b-it | vision_context | 成功 | 65,690 | 295.581 s |
| gemma-4-12b-it | vision_reverse | 成功 | 120 | 32.511 s |
| gemma3-4b | context | 成功 | 65,584 | 67.382 s |
| gemma3-4b | quick | 成功 | 15 | 6.329 s |
| gemma3-4b | stream | 成功 | 24.138 s | |
| gemma3-4b | vision | 成功 | 306 | 7.018 s |
| gemma3-4b | vision_context | 成功 | 65,876 | 70.912 s |
| gemma3-4b | vision_reverse | 成功 | 306 | 5.762 s |
| gpt-oss-20b | context | 成功 | 65,637 | 206.767 s |
| gpt-oss-20b | quick | 成功 | 72 | 16.583 s |
| gpt-oss-20b | stream | 成功 | 32.075 s | |
| gpt-oss-20b | tools | 成功 | 28.102 s | |
| nomic-embed-text | context | 未完了 | 2,048 | |
| nomic-embed-text | quick | 成功 | 7.117 s | |
| qwen3-14b | context | 未完了 | 1800.09 s | |
| qwen3-14b | quick | 成功 | 15 | 37.199 s |
| qwen3-14b | stream | 成功 | 35.471 s | |
| qwen3-14b | tools | 成功 | 87.554 s | |
| qwen3-8b | context | 65K対象外、除外 | ||
| qwen3-8b | quick | 65K対象外、成功 | 15 | 21.059 s |
| qwen3-8b | stream | 65K対象外、除外 | ||
| qwen3-8b | tools | 65K対象外、除外 | ||
| qwen3.5-9b | context | 成功 | 65,579 | 282.796 s |
| qwen3.5-9b | litellm_long_route | 成功 | 72,265 | 263 s |
| qwen3.5-9b | post_external_stop_mining | 成功 | ||
| qwen3.5-9b | quick | 成功 | 15 | 25.881 s |
| qwen3.5-9b | stream | 成功 | 143.44 s | |
| qwen3.5-9b | tools | 成功 | 31.812 s | |
| qwen3.5-9b | vision | 成功 | 75 | 32.015 s |
| qwen3.5-9b | vision_context | 成功 | 65,640 | 396.288 s |
| qwen3.5-9b | vision_reverse | 成功 | 75 | 28.626 s |
システムC
| モデル経路のラベル | 検査 | 結果 | 入力トークン | 要求時間 |
|---|---|---|---|---|
| gemma-4-12b-it | aperture_context | 成功 | 67,255 | 274.24 s |
| gemma-4-12b-it | aperture_short | 成功 | 35 | 39.32 s |
| gemma-4-12b-it | aperture_stream_context | 成功 | 67,255 | 282.16 s |
| gemma-4-12b-it | context | 成功 | 65,670 | 313.661 s |
| gemma-4-12b-it | gateway_context | 成功 | 67,254 | 263.07 s |
| gemma-4-12b-it | gateway_short | 成功 | 27 | 20.98 s |
| gemma-4-12b-it | quick | 成功 | 21 | 16.447 s |
| gemma-4-12b-it | stream | 成功 | 15.175 s | |
| gemma-4-12b-it | tools | 成功 | 37.821 s | |
| gemma-4-12b-it | vision | 成功 | 120 | 58.52 s |
| gemma-4-12b-it | vision_context | 成功 | 65,690 | 308.759 s |
| gemma-4-12b-it | vision_reverse | 成功 | 120 | 31.25 s |
| gemma3-4b | aperture_context | 成功 | 84,045 | 87.68 s |
| gemma3-4b | aperture_after_system_d_route_change | 成功 | 24 | 5.42 s |
| gemma3-4b | aperture_short | 成功 | 22 | 5.45 s |
| gemma3-4b | aperture_stream | 成功 | 3.72 s | |
| gemma3-4b | context | 成功 | 65,664 | 67.543 s |
| gemma3-4b | gateway_context | 成功 | 84,044 | 88.05 s |
| gemma3-4b | gateway_short_via_system_a | 成功 | 3.16 s | |
| gemma3-4b | gateway_short_via_system_e | 成功 | ||
| gemma3-4b | gateway_short_via_system_f | 成功 | 4.15 s | |
| gemma3-4b | gateway_short_via_system_g | 成功 | 6.06 s | |
| gemma3-4b | quick | 成功 | 15 | 5.163 s |
| gemma3-4b | stream | 成功 | 24.691 s | |
| gemma3-4b | vision | 成功 | 306 | 7.318 s |
| gemma3-4b | vision_context | 成功 | 65,876 | 72.476 s |
| gemma3-4b | vision_reverse | 成功 | 306 | 5.831 s |
| gpt-oss-20b | context | 成功 | 65,716 | 216.594 s |
| gpt-oss-20b | gateway_context | 成功 | 84,099 | 315.83 s |
| gpt-oss-20b | gateway_short | 不整合 | ||
| gpt-oss-20b | quick | 成功 | 72 | 21.603 s |
| gpt-oss-20b | stream | 成功 | 31.957 s | |
| gpt-oss-20b | tools | 成功 | 26.096 s | |
| nomic-embed-text | context | 65K対象外、未完了 | 2,048 | |
| nomic-embed-text | quick | 65K対象外、成功 | 4.178 s | |
| qwen3-14b | context | 65K対象外、未完了 | 1800.06 s | |
| qwen3-14b | quick | 65K対象外、成功 | 15 | 35.809 s |
| qwen3-14b | stream | 65K対象外、成功 | 35.43 s | |
| qwen3-14b | tools | 65K対象外、成功 | 87.723 s | |
| qwen3-8b | context | 65K対象外、除外 | ||
| qwen3-8b | quick | 65K対象外、成功 | 15 | 21.293 s |
| qwen3-8b | stream | 65K対象外、未完了 | 900.01 s | |
| qwen3-8b | tools | 65K対象外、除外 | ||
| qwen3.5-9b | context | 成功 | 65,662 | 287.984 s |
| qwen3.5-9b | gateway_context | 成功 | 75,648 | 319.36 s |
| qwen3.5-9b | gateway_short | 成功 | 21 | 72.14 s |
| qwen3.5-9b | quick | 成功 | 15 | 24.635 s |
| qwen3.5-9b | stream | 成功 | 143.157 s | |
| qwen3.5-9b | tools | 成功 | 30.395 s | |
| qwen3.5-9b | vision | 成功 | 75 | 27.756 s |
| qwen3.5-9b | vision_context | 成功 | 65,640 | 398.797 s |
| qwen3.5-9b | vision_reverse | 成功 | 75 | 28.645 s |
システムD
| モデル経路のラベル | 検査 | 結果 | 入力トークン | 要求時間 |
|---|---|---|---|---|
| gemma-4-12b-it | context | 成功 | 65,590 | 275.395 s |
| gemma-4-12b-it | exact_digest_aperture_65k | 成功 | 72,057 | 300.67 s |
| gemma-4-12b-it | exact_digest_broker_short | 成功 | 34 | 30.74 s |
| gemma-4-12b-it | quick | 成功 | 21 | 15.05 s |
| gemma-4-12b-it | stream | 成功 | 14.722 s | |
| gemma-4-12b-it | tools | 成功 | 33.869 s | |
| gemma-4-12b-it | vision | 成功 | 120 | 56.315 s |
| gemma-4-12b-it | vision_context | 成功 | 65,690 | 282.174 s |
| gemma-4-12b-it | vision_reverse | 成功 | 120 | 29.978 s |
| gemma3-4b | context | 成功 | 65,584 | 63.564 s |
| gemma3-4b | exact_digest_65k_recall | 失敗 | 67,252 | 62.07 s |
| gemma3-4b | quick | 成功 | 15 | 5.151 s |
| gemma3-4b | stream | 成功 | 22.552 s | |
| gemma3-4b | vision | 成功 | 306 | 8.276 s |
| gemma3-4b | vision_context | 成功 | 65,876 | 67.575 s |
| gemma3-4b | vision_reverse | 成功 | 306 | 5.651 s |
| gpt-oss-20b | context | 成功 | 65,637 | 189.07 s |
| gpt-oss-20b | exact_digest_aperture_65k | 成功 | 72,104 | 245.94 s |
| gpt-oss-20b | exact_digest_broker_short | 成功 | 84 | 15.96 s |
| gpt-oss-20b | quick | 成功 | 72 | 15.431 s |
| gpt-oss-20b | stream | 成功 | 31.052 s | |
| gpt-oss-20b | tools | 成功 | 23.65 s | |
| nomic-embed-text | context | 未完了 | 2,048 | |
| nomic-embed-text | quick | 成功 | 2.798 s | |
| qwen3-14b | context | 未完了 | 40,939 | 872.209 s |
| qwen3-14b | quick | 成功 | 15 | 36.021 s |
| qwen3-14b | stream | 成功 | 33.491 s | |
| qwen3-14b | tools | 成功 | 82.471 s | |
| qwen3-8b | context | 未完了 | 1800.07 s | |
| qwen3-8b | quick | 成功 | 15 | 19.283 s |
| qwen3-8b | stream | 成功 | 19.401 s | |
| qwen3-8b | tools | 成功 | 65.054 s | |
| qwen3.5-9b | context | 成功 | 65,579 | 258.048 s |
| qwen3.5-9b | exact_digest_aperture_65k | 成功 | 81,051 | 324.07 s |
| qwen3.5-9b | exact_digest_broker_short | 成功 | 29 | 94.48 s |
| qwen3.5-9b | quick | 成功 | 15 | 27.16 s |
| qwen3.5-9b | stream | 成功 | 28.62 s | |
| qwen3.5-9b | tools | 成功 | 28.129 s | |
| qwen3.5-9b | vision | 成功 | 75 | 25.047 s |
| qwen3.5-9b | vision_context | 成功 | 65,640 | 369.477 s |
| qwen3.5-9b | vision_reverse | 成功 | 75 | 27.602 s |
システムE
| モデル経路のラベル | 検査 | 結果 | 入力トークン | 要求時間 |
|---|---|---|---|---|
| gemma-4-e4b-it | context | 成功 | 65,590 | 49.086 s |
| gemma-4-e4b-it | quick | 成功 | 21 | 23.911 s |
| gemma-4-e4b-it | stream | 成功 | 28.136 s | |
| gemma-4-e4b-it | tools | 成功 | 56.756 s | |
| granite-4.0-h-tiny | context | 成功 | 65,566 | |
| granite-4.0-h-tiny | quick | 成功 | 35 | 10.408 s |
| granite-4.0-h-tiny | stream | 成功 | 27.798 s | |
| granite-4.0-h-tiny | tools | 成功 | 43.304 s | |
| granite-4.2-3b | context | 成功 | 65,589 | 1014.03 s |
| granite-4.2-3b | quick | 成功 | 20 | 14.569 s |
| granite-4.2-3b | stream | 成功 | 6.948 s | |
| granite-4.2-3b | tools | 成功 | 56.376 s | |
| qwen3-embedding-0.6b | context | 成功 | 32,767 | 20.387 s |
| qwen3-embedding-0.6b | quick | 成功 | 14 | 9.592 s |
| qwen3.5-0.8b | context | 成功 | 16,429 | 9.128 s |
| qwen3.5-0.8b | quick | 成功 | 17 | 452.417 s |
| qwen3.5-0.8b | stream | 成功 | 11.163 s | |
| qwen3.5-0.8b | tools | 成功 | 39.214 s | |
| qwen3.5-2b | context | 成功 | 65,579 | 30.343 s |
| qwen3.5-2b | quick | 成功 | 15 | 12.509 s |
| qwen3.5-2b | stream | 成功 | 26.165 s | |
| qwen3.5-2b | tools | 成功 | 42.056 s | |
| qwen3.5-4b | context | 成功 | 65,579 | 53.787 s |
| qwen3.5-4b | quick | 成功 | 15 | 26.736 s |
| qwen3.5-4b | stream | 成功 | 26.02 s | |
| qwen3.5-4b | tools | 成功 | 57.293 s | |
| qwen3.5-4b | vision | 成功 | 72 | 10.09 s |
| qwen3.5-4b | vision_context | 成功 | 65,637 | 44.88 s |
| qwen3.5-4b | vision_reverse | 成功 | 72 | 9.96 s |
システムF
| モデル経路のラベル | 検査 | 結果 | 入力トークン | 要求時間 |
|---|---|---|---|---|
| gemma-4-e4b-it | context | 成功 | 65,590 | 98.443 s |
| gemma-4-e4b-it | quick | 成功 | 21 | 27.51 s |
| gemma-4-e4b-it | stream | 成功 | 28.042 s | |
| gemma-4-e4b-it | tools | 成功 | 73.891 s | |
| granite-4.0-h-tiny | context | 成功 | 65,599 | 19.692 s |
| granite-4.0-h-tiny | quick | 成功 | 35 | 43.818 s |
| granite-4.0-h-tiny | stream | 成功 | 27.296 s | |
| granite-4.0-h-tiny | tools | 成功 | 75.377 s | |
| granite-4.2-3b | context | 成功 | 65,589 | 145.179 s |
| granite-4.2-3b | quick | 成功 | 20 | 15.703 s |
| granite-4.2-3b | stream | 成功 | 35.482 s | |
| granite-4.2-3b | tools | 成功 | 52.539 s | |
| qwen3-embedding-0.6b | context | 成功 | 32,767 | 20.656 s |
| qwen3-embedding-0.6b | quick | 成功 | 14 | 8.122 s |
| qwen3.5-0.8b | context | 成功 | 16,429 | 13.326 s |
| qwen3.5-0.8b | quick | 成功 | 17 | 445.22 s |
| qwen3.5-0.8b | stream | 成功 | 13.266 s | |
| qwen3.5-0.8b | tools | 成功 | 40.825 s | |
| qwen3.5-2b | context | 成功 | 65,579 | 61.282 s |
| qwen3.5-2b | quick | 成功 | 15 | 16.738 s |
| qwen3.5-2b | stream | 成功 | 25.29 s | |
| qwen3.5-2b | tools | 成功 | 47.444 s | |
| qwen3.5-4b | context | 成功 | 65,579 | 93.753 s |
| qwen3.5-4b | quick | 成功 | 15 | 33.039 s |
| qwen3.5-4b | stream | 成功 | 25.658 s | |
| qwen3.5-4b | tools | 成功 | 71.731 s | |
| qwen3.5-4b | vision | 成功 | 70 | 43.053 s |
| qwen3.5-4b | vision_context | 成功 | 65,635 | 84.749 s |
| qwen3.5-4b | vision_reverse | 成功 | 70 | 27.518 s |
システムG
| モデル経路のラベル | 検査 | 結果 | 入力トークン | 要求時間 |
|---|---|---|---|---|
| gemma-4-e4b-it | context | 成功 | 65,590 | 92.696 s |
| gemma-4-e4b-it | quick | 成功 | 21 | 38.329 s |
| gemma-4-e4b-it | stream | 成功 | 43.549 s | |
| gemma-4-e4b-it | tools | 成功 | 66.616 s | |
| granite-4.0-h-tiny | context | 成功 | 65,599 | 69.777 s |
| granite-4.0-h-tiny | quick | 成功 | 35 | 33.17 s |
| granite-4.0-h-tiny | stream | 成功 | 31.751 s | |
| granite-4.0-h-tiny | tools | 成功 | 63.338 s | |
| granite-4.2-3b | context | 成功 | 65,589 | 100.849 s |
| granite-4.2-3b | quick | 成功 | 20 | 23.355 s |
| granite-4.2-3b | stream | 成功 | 28.75 s | |
| granite-4.2-3b | tools | 成功 | 44.226 s | |
| qwen3-embedding-0.6b | context | 成功 | 32,767 | 23.055 s |
| qwen3-embedding-0.6b | quick | 成功 | 14 | 8.924 s |
| qwen3.5-0.8b | context | 成功 | 16,429 | 16.74 s |
| qwen3.5-0.8b | quick | 成功 | 17 | 504.813 s |
| qwen3.5-0.8b | stream | 成功 | 15.095 s | |
| qwen3.5-0.8b | tools | 成功 | 36.672 s | |
| qwen3.5-2b | context | 成功 | 65,579 | 76.731 s |
| qwen3.5-2b | quick | 成功 | 15 | 20.949 s |
| qwen3.5-2b | stream | 成功 | 25.194 s | |
| qwen3.5-2b | tools | 成功 | 37.552 s | |
| qwen3.5-4b | context | 成功 | 65,579 | 90.807 s |
| qwen3.5-4b | quick | 成功 | 15 | 41.84 s |
| qwen3.5-4b | stream | 成功 | 40.812 s | |
| qwen3.5-4b | tools | 成功 | 54.999 s | |
| qwen3.5-4b | vision | 成功 | 70 | 29.619 s |
| qwen3.5-4b | vision_context | 成功 | 65,635 | 87.496 s |
| qwen3.5-4b | vision_reverse | 成功 | 70 | 26.283 s |
Hermesの実用性を検証した方法
長いプロンプトの冒頭近くに合成マーカーを置き、埋め草の後でマーカーを返すよう求めました。回答には期待した値が必要です。要求サイズはサーバー報告の入力トークン数で決めました。大きな入力後に普通に答えられても、冒頭マーカーを誤れば失敗です。
Qwen3.5 35Bの進行テストでは番号付き埋め草レコード、温度0、3,800、6,800、10,000、13,600レコードの順に使いました。各段階のプロンプトは69,429、124,179、182,579、248,279トークンでした。モデルを段階間で読み込んだままにしてプレフィックスを再利用しました。Qwen3.6の上限付近の個別確認ではキャッシュトークンがゼロでした。
0.8Bの長いプロンプトではriver stone lantern orchard circuit velvet compass marbleを8,400回繰り返し、最初の回答キーと最後の想起質問の間に置きました。ネイティブ実行はthink:false、num_ctx:131072、stream:false、keep_alive:0を使いました。OpenAI互換経路はreasoning_effort:"none"を使いました。ブローカーは非思考モードを強制しました。
ツール、画像、解放の確認
ツールの要求と結果返却後の回答を確認しました。簡単な試験ではadd_numbers(7, 11)を使い18を期待しました。Qwen3.5 35Bではlookup_squareを使い49を期待しました。GPT-OSSには在庫検索をさせ、返された内容を反映させました。
画像確認では赤と青の画像質問、画像順の反転、画像色と冒頭・末尾マーカーを含む長いプロンプトを使いました。Qwen3.5 35B試験では256×256の赤いPNGを使いました。要求が通る前にブローカーの画像コンテンツ変換を修正しました。システムEの4B長文画像試験では両マーカーと色順の保持が必要でした。
長い実行の前後でGPUメモリー、モデル常駐、温度、ホストメモリー負荷、OOMイベント、GPU障害を確認しました。Qwen3.5 35Bのガードは制御した中断後の解放も検査しました。後のクライアントキャンセルとキュー試験ではブローカー経路を確認しました。キュー内の2要求は検証負荷での処理を示し、独立したGPUバックエンド2つの同時稼働を示すものではありません。
性能結果の読み方
要求時間には長い入力の事前処理と返却された回答が含まれます。生成トークン毎秒ではありません。ストリーミングでは最初の内容までの遅延が重要で、キャッシュ済みプレフィックスの進行は別に解釈します。
システムAとCで成功した大型モデルの追試は、マイニング停止中の専用推論時間枠で行いました。要求後にモデルをアンロードしました。7システムのマイニングは試験枠の終わりに復旧しました。これは推論時間中のモデルサービスを示し、マイニングと推論の同時実行を示すものではありません。
試験で使ったバックエンドプロファイル
再現したいワークロードに対応するプロファイルを選びます。量子化、実行時コンテキスト、キャッシュ形式、推論モード、GPU配置が結果に影響します。
| システムとモデル | 検証したバックエンドプロファイル |
|---|---|
| A, Qwen3.5 35B-A3B Q4_K_M | Ollama 0.34.2、f16 KVキャッシュ、16GB RTX 5060 Ti 2枚、ホストRAM 64 GiB。長い進行テストではランタイムコンテキスト262,144。ネイティブ要求はthink:false、温度0、ストリーミング、段階間5分のkeep-aliveを使用。ゲートウェイ要求はブローカーとLiteLLMを使用。出力上限なし。 |
| A, Qwen3.8 27B | ブローカーとLiteLLM経由のオンデマンドllama.cpp、ランタイムコンテキスト262,144、推論スロット1、Q4 K/Vキャッシュ、RTX 5060 Ti 2枚。66,007トークンの要求に出力上限なし。 |
| A, Qwen3.6-35B-A3B UD-Q4_K_XL | Strata 0.1.48、コンテキスト131,072、INT8 KVキャッシュ、選択GPU 1基、プロセスグループメモリ上限55 GiB、実行時間上限30分、遅延ロード、60秒アイドルでアンロード。パイロット長文回答は217出力トークン。上限近くのゲートウェイ回答は11トークン、出力上限なし。 |
| A, Qwen3.8-Flash-Next UD-IQ4_XS | Strata 0.1.48、コンテキスト98,304、Q4 KVキャッシュ、常駐エキスパートキャッシュ8 GiB、RTX 5060 Ti 2枚。パイロットのメモリ上限52 GiB、後続経路54 GiB。パイロット長文回答は10出力トークン。以前の大きなコンテキスト/キャッシュ構成はメモリ上限で停止。 |
| A, Granite 4.2 8B | Q6_K GGUF重み、llama.cppの共有処理プロセス、コンテキスト131,072、Q4_0 K/Vキャッシュ、--n-predict -1。長い要求は温度0、ストリーミング使用量計測、出力上限なし。 |
| A, DeepSeek Coder V2 16B | Q4_0 GGUF重み、Ollama 0.34.2、RTX 5060 Ti 2枚、ホストRAM 64 GiB。f16、Q4_0、Q8_0の個別キャッシュ試験は比較表のランタイムコンテキストを使用。出力上限なし。 |
| B, C, D, 監査済みのOllamaサービス | Ollama 0.34.2、コンテキスト131,072、並列度1、ロード済みモデル1つ、キューサイズ128、keep-alive 0、Flash Attention、Q4_0 KVキャッシュ。 |
| B、Qwen3.5 9Bゲートウェイ試験 | LiteLLMルートのタイムアウト1,800秒、再試行なし、コンテキストと出力tokenの上限なし。入力72,265 tokenで両方のセンチネルを保持。別個のマイニング復旧チェックに合格。 |
| C, Qwen3.5 0.8B | 30 W電力プロファイルのRTX 2000E Ada 1基にQ8_0重み。ランタイムコンテキスト131,072。ネイティブthink:false、OpenAI互換reasoning_effort:"none"、出力上限なし。ブローカー別名はコンテキストを固定し、思考なしモードを強制。 |
| C, Gemma 4 12B-IT | 単一GPUのOllama構成、ランタイムコンテキスト131,072、出力上限なしのApertureストリーミング/非ストリーミング要求。直接Aperture実行は設定30 Wプロファイル下で75 C、30.64 Wに達し、その後アンロード。 |
| D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20B | Apertureで正確なインストール済み制品をテスト。ランタイムコンテキスト131,072、単一GPUに完全常駐、要求の出力上限なしで自然終了。 |
| E, F, G, llama.cppのチャット処理プロセス | Build 11669、GPU層99、並列度1、Flash Attention、Q4_0 K/Vキャッシュ、--n-predict -1。ランタイムコンテキストはモデル系列で異なる。 |
記録したサービスプロファイルはそれぞれ固有の実行設定を示します。システムAで別途検証したQwen3.5 35Bのf16キャッシュプロファイルは、小型OllamaシステムのQ4_0設定を引き継ぎません。
入力保持を再検証したモデルの指紋
これらのモデル識別子は、似た名前の別ダウンロードやエイリアスと今回のアーティファクトを区別します。
| アーティファクト | 量子化 | 記録したダイジェストまたはファイルのSHA-256 |
|---|---|---|
| Qwen3.5 35B-A3B Ollama tag | Q4_K_M | 72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567 |
| Qwen3.5 0.8B base Ollama tag | Q8_0 | de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c |
| Granite 4.2 8B GGUF file | Q6_K | 5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21 |
Ollamaマニフェストのダイジェストと重みファイルのSHA-256は、異なる対象を識別します。識別子を表のアーティファクト種別に対応させてください。
Hermesで使うモデル構成
2枚のRTX 5060 TiがあるシステムではQwen3.5 35Bを高コンテキストの主経路にします。ゲートウェイ経由で239,153トークンを保持し、ツールと画像の個別試験に通り、要求後に解放されたことも確認できました。大きなコンテキストを宣伝するだけのモデルより有力です。66Kで速い応答にはQwen3.8 27B、1枚運用を優先する場合はQwen3.6を残します。
RTX 2000E Adaでは、検証済みのシステムC Gemma 3 4B経路を長文入力の応答作業に選びます。狭い想起・抽出には思考なしのQwen3.5 0.8Bを試します。4~5分の初回応答を許容できる作業なら大型Gemma、Qwen、GPT-OSS経路も候補です。システムDで失敗したGemma 3経路は除外します。
8GBのRTX 3060 TiとRTX 3070ではQwen3.5 2Bか4Bから始めます。65Kのテキスト結果と4Bの画像確認は、16GBカード2枚を毎回使わない実用的な初期構成を支えます。Flash Nextのメモリー負荷とDeepSeek Coder V2の不完全な65K動作は、検証プロファイルでの既定候補として不利です。
このモデルとシステムの選択は特定の作業を対象にしています。入力保持、ツール往復の正しさ、画像認識、確実な解放はHermesの実用性の異なる面を確認します。信頼できる構成にはエージェントが使う動作と、回答やツール通信のための十分なコンテキストが必要です。
出典と関連資料
- Hermes Agentのプロバイダー設定とコンテキスト要件
- NVIDIA GeForce RTX 3060 Tiの仕様
- NVIDIA GeForce RTX 5060 Tiの仕様
- Hermes Agentの概要
- ローカルモデルのバックエンド選択







