Table of Contents

16 GBのRTX 5060 Tiを2枚使うと、VRAMは合計32 GBです。 NVIDIA GB10システムは128 GBのコヒーレントなユニファイドメモリを備えます。新しい5モデルのベンチマークでは、以前のQwenのみのテストよりバランスの取れた結果が出ました。

256K設定では、2枚構成が5モデル中4モデルの生成速度で上回ります。Qwen3.8 27BではGB10が明確に速く、モデル、コンテキスト、ランタイムの割り当て用に大きなメモリ余裕を保ちます。最適な選択はモデルとワークロードによって異なります。

別の同一ホスト試験では、Strata上のQwen3.8-Flash-Next IQ2_XSと、Ollama上のDense Qwen3.8 27B Q4_K_Mを比較しました。ウォームアップ後のFlash-Next生成速度の中央値は、プロンプト260,446トークンで毎秒92.8トークンでした。Dense Qwen3.8はプロンプト260,444トークンで毎秒0.939トークンでした。

NVIDIA GB10は128 GBのコヒーレントなユニファイドメモリを使用します。NVIDIAはGB10プラットフォームに128 GBのLPDDR5xユニファイドメモリと、チップTDP 140 Wを掲載しています。RTX 5060 Tiはカードごとに16 GBのGDDR7、128ビットのメモリインターフェース、総グラフィックス電力180 Wを備えます。ハードウェアの違いは NVIDIA RTX 5060 Tiの仕様 と NVIDIA GB10の仕様 で確認できます。

2つのシステムはメモリの扱いが異なります。 2枚のカードは、それぞれ独立した16 GBのプールを作ります。GB10ではモデル、コンテキストデータ、ランタイムバッファ、OSの割り当てが1つの共有アドレス空間に置かれます。

メモリの比較

システムメモリメモリ構成公称電力
RTX 5060 Ti 16 GB x2合計32 GBGPUごとに独立した2つのメモリプールGPU合計360 W
GB10システム128 GBコヒーレントなユニファイドシステムメモリGB10のTDP 140 W

LPDDR5xの帯域幅はディスクリートGPUに及ばないため、GB10がすべてのスループットテストで勝つわけではありません。強みは容量と配置にあります。CPUとGPUが同じアドレス空間を共有するため、ワーキングセットを独立した16 GBのデバイス2台に分割して収める必要がありません。

2枚構成ではデータ配置が課題になります。モデルを両方のカードに分割し、ランタイムがカード間でデータを移動させます。PCIe通信は遅延を増やし、帯域幅を消費します。NVIDIAの仕様によると、RTX 5060 TiはNVLinkにも対応していません。

5モデルのベンチマーク

更新した試験では、両システムに同じリクエスト行列を使用しました。5つのOllamaモデルを対象に、コンテキスト設定4K、16K、32K、64K、128K、256Kで測定しました。各リクエストはtemperature 0で128トークンを生成しました。

テスト対象のモデルタグ:

  • Qwen3.8 27B: qwen3.8:27b
  • GPT-OSS 20B: gpt-oss:20b
  • Qwen3.6 35B-A3B: qwen3.6:35b
  • Qwen3.5 35B-A3B: qwen3.5:35b-a3b-q4_K_M
  • Nemotron 3.5 Lightning 30B-A3B: nemotron-3.5-lightning:30b-a3b-q4_K_M

2枚構成は16 GBのRTX 5060 Tiを2枚使用しました。GB10システムは128 GBのユニファイドメモリを使用しました。Ollamaのバージョンは、2枚構成で0.34.2、GB10で0.40.2でした。

生成速度

生成速度は、プロンプト処理後に出力されるトークン数を測ります。対話型の利用では特に重要な指標です。

RTX 5060 Ti 2枚構成:

コンテキストGPT-OSS 20BNemotron 3.5Qwen3.5 35BQwen3.6 35BQwen3.8 27B
4K91.518162.027117.547156.10455.654
16K87.176161.377112.903140.59651.656
32K82.372157.055106.455144.83347.369
64K74.661135.10695.979125.00838.863
128K62.767130.92479.572115.35226.399
256K67.853106.22158.94767.1591.079

GB10:

コンテキストGPT-OSS 20BNemotron 3.5Qwen3.5 35BQwen3.6 35BQwen3.8 27B
4K62.19998.64872.405100.90632.985
16K56.76494.36669.78295.44832.939
32K53.25798.17564.05595.02529.772
64K49.20196.13258.42884.52825.625
128K40.63780.23848.10874.57922.294
256K43.68868.04336.64962.11522.371

256Kでは、2枚構成がGPT-OSS、Nemotron、Qwen3.5、Qwen3.6の生成で上回りました。Qwen3.8ではGB10が大きく上回り、2枚構成が毎秒1.079トークンに低下する一方、GB10は毎秒22.371トークンを出しました。

Qwen3.6の結果は僅差です。2枚構成は毎秒67.159トークン、GB10は毎秒62.115トークンでした。ユニファイドメモリが常に勝つ、またはディスクリートGPU 2枚が常に勝つという一般論を裏付ける結果ではありません。

プロンプト処理速度

プロンプト処理速度は、生成前にランタイムが入力コンテキストを読み込む速さです。長い文書やコンテキストの再読み込みで重要になります。

RTX 5060 Ti 2枚構成:

コンテキストGPT-OSS 20BNemotron 3.5Qwen3.5 35BQwen3.6 35BQwen3.8 27B
4K4745.92409.02701.7464.3783.9
16K7617.03031.84175.32654.0840.1
32K8099.53074.24335.82623.2811.2
64K6809.52893.04129.92400.4727.8
128K5089.92362.73084.01723.6546.1
256K5838.31813.22229.11011.0251.3

GB10:

コンテキストGPT-OSS 20BNemotron 3.5Qwen3.5 35BQwen3.6 35BQwen3.8 27B
4K3295.5576.02067.9628.8756.9
16K4675.53006.72691.22556.3812.6
32K4571.43077.92691.72563.9794.1
64K3704.73066.92585.32444.9714.0
128K2857.02802.92360.42229.9655.5
256K3243.42325.41938.51817.6535.1

256Kでは、GPT-OSSとQwen3.5のプロンプト処理で2枚構成が上回りました。Nemotron、Qwen3.6、Qwen3.8ではGB10が上回りました。モデルアーキテクチャとランタイムの挙動は、メモリインターフェースと同じくらい重要です。

Qwen3.8 Flash-Nextの追加ベンチマーク

追加の3回の試験では、RTX 5060 Ti 2枚構成でQwen3.8 Flash-Next GGUFパッケージを測定しました。コンテキスト設定は4Kと16Kです。各行にHugging Face上の正確なモデル参照と量子化方式を示します。

正確なモデル量子化4Kでの生成16Kでの生成
hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ2_XSIQ2_XS31.77 tok/s28.20 tok/s
hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_SIQ3_S24.54 tok/s22.60 tok/s
hf.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF:Q4_K_MQ4_K_M17.91 tok/s17.02 tok/s

このグループではIQ2_XSパッケージのスループットが最も高く、4Kで毎秒31.77トークンでした。IQ3_Sは24.54、Q4_K_Mは17.91でした。16Kでも同じ順序で、毎秒28.20、22.60、17.02トークンでした。

Ollamaで同じモデル参照を実行します:

ollama run hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ2_XS
ollama run hf.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_S
ollama run hf.co/orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF:Q4_K_M

これらの追加結果は、以前の2 GPU環境での測定値です。上記のRTX 5060 TiとGB10の条件を揃えたリクエスト行列とは別の測定です。提供された記録には、正確なモデル参照、量子化、要求コンテキスト、生成速度があります。一方、解決済みマニフェストダイジェスト、処理したプロンプトトークン数、出力長、ウォーム状態、デバイス分割、CPU、システムRAM、冷却構成、測定日は記載されていません。

256KでStrataとOllamaのDenseモデルを比較

2026年10月14日の2つ目のベンチマークでは、同じRTX 5060 Ti 2枚搭載ホスト上で2種類のモデルとランタイムの組み合わせを比較しました。 Denseの基準モデルはQ4_K_MのQwen35、 qwen3.8:27b です。Flash構成は、Strataの統合ネイティブパックで動くQwen4Exp mixture-of-expertsモデル、 Qwen3.8-Flash-Next IQ2_XS を使用しました。

これはスタック全体の比較です。モデルアーキテクチャ、量子化、パッケージ、エキスパートルーティング、推論エンジンが同時に変わっています。FlashのIQ3_SとQ4_K_Mは今回の測定対象外です。

テストシステムと方法

コンポーネント記録された構成
GPUNVIDIA GeForce RTX 5060 Ti x2、各16 GiB、Compute Capability 12.0
GPU接続各カードPCIe 4.0 x4、PHBトポロジー、NVLinkなし
CPUAMD Ryzen 9 5900XT、32スレッド
ホストメモリRAM 62 GiB、スワップ15 GiB
NVIDIAドライバー595.99.02

ハーネスは番号付きの合成レコードを生成しました。各行はRecord 00001: alpha beta gamma delta epsilon zeta eta theta iota kappa.という形式でした。指示では最初にBENCHMARK_OKを出し、続けて出力上限まで簡潔な技術要約を作成します。6つのプロンプトには180、720、1,500、3,100、6,200、12,400件のレコードが含まれていました。

各試験はtemperature 0、seed 42、最大出力長128トークンで実行しました。各コンテキストで1回ウォームアップした後、5件のリクエストを測定しました。Ollamaのテストは/api/generate、Strataのテストは/v1/chat/completionsを使用しました。測定したリクエストにAPIエラーはありませんでした。

デコード制御の条件は一致していません。Strataはreasoning_effortを明示的にnoneへ設定し、チャットテンプレートでthinkingを無効にしました。DenseのOllamaリクエストではthink: falseを送っておらず、追加確認ではthinkingとresponseの両フィールドに出力がありました。生成結果はこれらのデコードモードに固有のものとして扱ってください。

コンテキスト設定DenseのプロンプトトークンFlashのプロンプトトークン
4K3,8243,826
16K15,16415,166
32K31,54431,546
64K65,14465,146
128K130,244130,246
256K260,444260,446

両モデルのヘッダーは最大コンテキストを262,144トークンと宣言していました。比較したプロンプトは各チェックポイントで2トークンずつ異なります。

ウォームアップ後の生成速度中央値

各中央値は、ウォームアップ1回後の測定リクエスト5件に基づきます。Denseの各リクエストではプロンプトトークン4個以外が再利用され、Flashでは7個以外が再利用されました。この表はウォーム状態でプレフィックスキャッシュを使ったデコード速度を示し、コールド状態のエンドツーエンド遅延は示しません。

コンテキストStrata上のFlash IQ2_XSOllama上のDense Q4_K_MFlashの優位性
4K98.4 tok/s65.0 tok/s1.51x
16K96.8 tok/s60.6 tok/s1.60x
32K95.3 tok/s64.4 tok/s1.48x
64K89.6 tok/s51.2 tok/s1.75x
128K92.9 tok/s31.5 tok/s2.95x
256K92.8 tok/s0.939 tok/s98.9x

Flashスタックは64Kから256Kまで毎秒約90トークンを維持しました。Dense Qwen3.8は64K以降に大きく低下し、256Kで毎秒0.939トークンになりました。256KのFlash応答は67トークンで正常に終了し、Denseは出力上限の128トークンに達しました。

初回リクエストのプロンプト処理

コンテキストFlashの初回リクエストDenseの初回リクエスト
4K1,134 tok/s832 tok/s
16K2,013 tok/s856 tok/s
32K2,386 tok/s799 tok/s
64K2,509 tok/s690 tok/s
128K2,538 tok/s489 tok/s
256K2,399 tok/s214 tok/s

Denseの初回リクエストは、各チェックポイントでプロンプト全体を処理しました。Strataは64Kで16,384、128Kで49,152、256Kで114,688のプレフィックストークンを再利用したと報告しています。64Kから256KのFlash速度は初回リクエストの続きの処理速度であり、キャッシュなしの完全なprefillではありません。

256KではStrataが初回リクエストを60.8秒で処理し、Ollamaは約1,215.4秒かかりました。プレフィックスが再利用されたため、このチェックポイントではコールドprefillを直接比較できません。

ランタイムの配置が長文脈時の差を説明する

Ollama 0.34.2はllama-server 0.4.1-dev、CUDAレイヤーオフロード、ChatMLテンプレート、最大ドラフト幅4のMTP speculative decodingを使用しました。batchとmicrobatchのサイズは32Kで1,024、64Kから256Kで512でした。32Kと64KではDenseの66レイヤーすべてがGPU上に残りました。128Kでは66レイヤー中63レイヤーがGPU上に残り、1,404 MiBがCPUマップメモリへ移動しました。256Kでは42レイヤーがGPU上に残り、6,002 MiBがCPUマップメモリへ移動しました。256KでのMTP受け入れ率は約69.4%でした。

CUDA 13.0.3を使うStrata 0.1.44.1は、48レイヤーを2つのGPUに分割しました。4Kと16Kの構成では、レイヤー0~23を1枚目、24~47を2枚目に配置しました。この試験ではVRAMを自動で700 MiB確保し、16,047個のエキスパートスロットを常駐させました。

32Kから256Kの構成では、レイヤー0~24を1枚目、25~47を2枚目に配置しました。この試験では自動prefill、投機的最小確率0.5、INT8 KVストレージ、QSAレイヤーごとに32,768個のKVセル、VRAM予約832 MiB、15,318スロット・21,024 MiBのエキスパートキャッシュ、最大ドラフト幅4のMTP speculative decodingを使用しました。

StrataネイティブおよびPLE blobのダイジェストはsha256:1473e0664c2017095f9164b6d617d7a71893452c1180c83002c4f28fc8c2b0daでした。この試験は、変更不能なダイジェストが公開されていないエキスパートプロファイルとMTPドラフトパックにも依存していました。

Strataは既定のroute-tail skipモードで実行しました。この設定はモデル出力をわずかに変えるため、結果は記録されたランタイム構成に固有です。Flashの応答にはBENCHMARK_OKマーカーがありました。DenseのリクエストでAPIエラーはありませんでしたが、主ハーネスはマーカーを取得できず、raw行の応答文字数は0でした。追加確認ではresponseとthinkingの各フィールドに出力が見つかり、responseでBENCHMARK_OKを確認しました。

4Kと16Kの構成では、空きメモリ409 MiBで1件のリクエストが記録され、832 MiBの予約が推奨されました。長文脈構成では、空きメモリ481 MiBで1件が記録され、896 MiBの予約が推奨されました。どちらもエンジンのドライバーページングしきい値512 MiBを下回ります。リクエストは失敗しませんでしたが、この低メモリ状態は再現性に影響します。

98.9倍という値は、長文脈でのスタック全体の結果です。エンジン単体が98.9倍優れている証明ではありません。 このテストで切り分けたのはホストであり、モデル、量子化、ランタイムではありません。

実際のプロンプト長が重要

要求したコンテキスト設定と、処理されたプロンプトトークン数は同じではありません。256K設定では、Qwen3.5、Qwen3.6、Nemotron、Qwen3.8の各試験で、両システムとも実際に約171,359~171,365トークンを処理しました。

GPT-OSSは256K設定で、両システムとも実際には65,538トークンを処理しました。したがって、その256Kの行は他のモデルと同じ入力長を表していません。

256KのQwen3.8が最も大きな差を示します。2枚構成は171,359トークンを毎秒251.3トークンで処理し、生成速度は毎秒1.079トークンでした。GB10は同じトークン数を毎秒535.1トークンで処理し、毎秒22.371トークンで生成しました。

コンテキスト設定は要求した上限を示します。 実際のプロンプトトークン数は、ランタイムが完了したワークロードを示します。

合計VRAMが重要な理由

1. モデルからは32 GBのカード1枚に見えない

2つのGPUのメモリが1つのローカルアドレス空間に統合されるわけではありません。model-parallelランタイムはレイヤーやテンソルをデバイス間で分割します。各デバイスには割り当てられた重み、一時バッファ、コンテキスト状態の一部を置く領域が必要です。

利用可能な容量は単純な合計より小さくなります。正確なオーバーヘッドはモデル形式、量子化、推論バックエンド、テンソル分割、コンテキスト長によって異なります。

2. 生成中にコンテキストメモリが増える

モデルの重みはメモリ予算の一部にすぎません。Key-Valueキャッシュ(KV cache)は以前のトークンのattentionデータを保存します。コンテキストが長いほど、より多くのキャッシュメモリが必要です。4Kのテストから128Kや256K環境の結果は予測できません。

新しい結果では、モデルごとに限界が異なります。256Kでは2枚構成のQwen3.8の生成速度が大幅に低下します。他の4モデルは両システムで実用的な生成速度を保ちます。ランタイムの割り当て領域も含めてモデルとコンテキストの組み合わせが収まるかを決めるため、メモリ容量は引き続き重要です。

3. PCIe転送のコストが加わる

ランタイムがGPU間で活性値やテンソルを移動すると、ホストのインターコネクトを通過します。同期ポイントが生じ、各ステップに遅延が加わります。影響はテンソル配置、モデルアーキテクチャ、量子化、コンテキスト長によって異なります。

だからといって2 GPUシステムが無用になるわけではありません。結果を左右するのはランタイム構成とモデルです。4Kのプロンプト処理だけを示すベンチマークでは、このコストを把握できません。

4. 電力効率はシステム全体の強み

GB10はメモリ容量が大きく、公称チップまたはGPU電力は低くなります。RTX 5060 Tiを2枚使うと、システム全体を除いてもGPU電力は合計360 Wです。NVIDIAはGB10のTDPを140 Wとしています。

GB10は複数モデルでのピークスループットを抑える代わりに、容量、共有ワーキングセット、公称GPU電力の低さを得ています。 2枚構成は複数の新しいMoEモデルで、より高い実測スループットを示します。

5060ti-x2システムは大幅に安価

RTX 5060 Ti 16 GBを2枚搭載したワークステーションは、2026年10月10日時点で**$3,479**でした。構成にはIntel Ultra 7 265K、Z890マザーボード、32 GB DDR5、1 TBストレージ、1,000 W電源、2枚のGPUが含まれます。 2 GPUワークステーションの全構成を見る 。

NVIDIAの米国マーケットプレイスでは、128 GBのDGX Sparkを**$6,950**で掲載しています。128 GBのコヒーレントなユニファイドメモリと4 TBのNVMeストレージを含みますが、在庫切れです。 NVIDIAのDGX Spark掲載情報を確認 。

AMD Ryzen AI Halo Developer Platformも比較対象になります。Micro Centerでは、このStrix Haloシステムを**$3,999.99**で掲載しており、128 GBのLPDDR5xユニファイドメモリと2 TBストレージを備えます。Strix Haloは実用上GB10と同じローカルAI向けのクラスに入ることが多いものの、独立したテストではGB10のスループットとソフトウェア成熟度が上回る場合があります。 Micro CenterのLinux版掲載情報を確認 、 Strix HaloとGB10の比較レビューを読む 。

システム一式2026年10月10日の掲載価格価格差
5060ti-x2ワークステーション$3,479基準
AMD Ryzen AI Halo、Strix Halo$3,999.99$520.99高い
128 GB GB10 DGX Spark$6,950$3,471高い

GB10はユニファイドメモリのプールが大きく、公称GPU電力が低くなります。AMDシステムも同じ128 GBクラスのメモリを約$4,000で提供します。税金と送料を除くと、5060ti-x2ワークステーションはGB10の掲載価格の約**50%**です。

これらは異なる販売元の掲載価格であり、同じ条件の小売価格比較ではありません。5060ti-x2システムはシステムメモリとストレージも少なめです。現在、RTX 5060 Ti 16 GBは1枚**$789~$830**で掲載され、発売時の希望小売価格$429を大きく上回っています。そのため、GPU価格が高騰する中でも2枚構成の価格優位性は残ります。 RTX 5060 Tiの現在価格を確認 。

ローカルAIのワークロードにとっての意味

16 GBカード2枚の構成では、量子化した27B~35Bモデルを長いコンテキストで複数実行できます。このベンチマークは、すべてのモデルに共通する勝者を示していません。

次を重視するなら、2枚構成を選びます:

  • このテストでのGPT-OSS、Nemotron、Qwen3.5、Qwen3.6の生成速度。
  • 5モデル全体での短いコンテキストでの高いスループット。
  • 掲載されているGB10システムより低い購入価格。
  • NVIDIAディスクリートGPUとのソフトウェア互換性と今後のモデル実験。

次を重視するなら、GB10を選びます:

  • 256KでのQwen3.8 27B。GB10の生成速度は20倍以上です。
  • モデルの重み、KVキャッシュ、ランタイムバッファに余裕のある単一の128 GBメモリプール。
  • ディスクリートカード2枚より低い公称GPUまたはチップ電力。
  • 2枚構成に負荷をかけるモデルでの複数デバイス配置の制約が少ないこと。

これは、重み、コンテキスト、ランタイム割り当てを1つの予算として扱う 本格的なローカルLLMに16 GB VRAMは十分か の構成指針と一致します。 Qwen 27B向け32 GB VRAMガイド も2枚構成で同じ結論に達しています。合計容量がそのまま使用可能な余裕になるわけではありません。

長いコンテキストで運用する場合、ハードウェア購入前に4つの点を確認します:

  • **指定した量子化がランタイムバッファと一緒に収まるか。**モデルの重みだけでは必要なメモリ量は決まりません。
  • **KVキャッシュを圧迫せずにコンテキストが収まるか。**長いプロンプトは結果を変えます。
  • **ランタイムがデバイス間で効率よく分割するか。**PCIe転送とテンソル配置は生成するすべてのトークンに影響します。
  • **システムが目標のコンテキストを最後まで処理できるか。**4Kの速い結果でも、256Kの失敗は補えません。

**新しいベンチマークはモデルごとにこれらの問いへ答えます。**256KではQwen3.8がGB10を明確に支持します。この構成では、他の4モデルの生成速度は2枚構成が上回ります。測定スループットが最高でなくても、より大きなユニファイドメモリは容量の余裕をもたらします。

同じ2 GPUハードウェアでは、Strata上のFlash-Next IQ2_XSが256Kでウォームアップ後の中央値毎秒92.8トークンも記録しました。この別結果によって、Dense Qwen3.8とGB10の結果が覆るわけではありません。Flash-Nextは異なるmixture-of-expertsアーキテクチャ、量子化、パッケージ、ランタイム、デコードモードを使います。このデータセットにはGB10で条件を揃えたFlash-Nextの結果はありません。

結論

**RTX 5060 Ti 2枚構成は、256Kでテストした5モデル中4モデルの生成速度が上回ります。**掲載されているGB10システムのおよそ半額でもあります。256KでのQwen3.8 27B、メモリ容量の余裕、単一のコヒーレントなメモリプールを活用するワークロードには、GB10が適しています。

以前のQwenのみの結果は、GB10の単純な勝利を示唆していました。更新した5モデルの試験は、その結論が広すぎた理由を示します。モデルアーキテクチャ、ランタイムのバージョン、テンソル配置、コンテキスト時の挙動が結果に影響します。

GPT-OSS、Nemotron 3.5 Lightning、Qwen3.5、Qwen3.6を使う場合、このベンチマークでは2枚構成の生成速度が上回りました。256KでQwen3.8 27Bを使う場合、GB10は実用的な生成速度を保ちましたが、2枚構成はほぼ停止しました。

**メモリ容量とスループットは別の購入基準です。**GB10は合計4倍のメモリと、より単純な共有ワーキングセットを提供します。2枚構成は、掲載価格が大幅に低く、テストした多くのモデルで高い実測スループットを示します。

Strataの結果からは別の教訓も得られます。同じ2枚構成のホストでも、ランタイム配置、モデルアーキテクチャ、デコードモードが256Kの結果を変えました。Flash-Next IQ2_XSはウォームアップ後に毎秒約93トークンの中央値を保つ一方、Dense Qwen3.8は24レイヤーをオフロードし、毎秒1トークン未満まで低下しました。

ベンチマークの限界

このベンチマークではモデルタグ、要求したコンテキスト、実際のプロンプトトークン数、プロンプト処理速度、生成速度、Ollamaのバージョン、128トークンの生成目標を記録しています。解決済みマニフェストダイジェスト、CPU電力、コンセント側電力、ファン速度、冷却構成は記録していません。

GPT-OSSの256K行では、両システムとも実際に65,538トークンを処理しました。他モデルの256K行では約171Kトークンを処理しました。数値は今回観測したシステムの比較として扱い、すべてのRTX 5060 Ti 2枚構成やGB10実装に通用する順位と見なさないでください。

StrataとDenseの試験では、正確なプロンプト数、各コンテキストでの5回の測定リクエスト、ランタイムのバージョン、デバイス配置、キャッシュ設定、リクエスト状態を記録しました。モデルアーキテクチャ、量子化、パッケージ、ランタイム、デコードモードが同時に変わっています。Strataは32Kを超える設定でプロンプトプレフィックスも再利用しました。両スタックの生成測定では、プロンプトのほぼ全体が再利用されました。

この記事からテストを正確に再現することはできません。ベンチマークハーネス、Strataパックの構成、エキスパートプロファイル、MTPドラフトパックは、変更不能なダイジェスト付きで公開されていません。低VRAMの警告も実行ごとの変動要因です。このテストで切り分けているのはホストであり、推論エンジンではありません。

上記のハードウェア仕様はNVIDIAから取得しました。性能値はこの記事のために行った管理されたベンチマーク試験の結果です。

参考資料