Table of Contents

モデルの選び方: 各派生版について、役立つ回答をどれだけ完了できるか、品質をどれだけ維持するか、ワークロードにどれだけのメモリが必要かを評価します。拒否が少ないことや人気のモデルカードだけでは、そうした結果を確認できません。

無検閲というラベルには、標準化された性能指標がありません。モデルの公開者は、異なる重みの編集、ファインチューニング、チャットテンプレートにこの言葉を使います。各候補を元のモデルと比べ、実際に行う予定のタスクでテストしてください。

ラベルが示すこと

アブリテーションを施したモデルは、拒否動作の一部を変えるために重みを編集しています。2024年の拒否方向に関する論文では、13個のオープンなチャットモデルに対する手法が示されました。新しいツールには別の方法もあります。たとえばHeretic 2は、任意ランクのアブレーションと方向性アブレーションの両方を説明しています。モデルカードのラベルだけでは、どの動作が変わり、編集が何に影響したのか分かりません。

モデルを比較するときは、次の4つの特性を分けて確認します。

特性確認すること
拒否動作どの依頼に対して拒否、一部だけの回答、または回答全体が返されますか。
能力の維持事実、推論、コーディング、書式設定のタスクは元のモデルと比べてどうですか。
回答の完了トークン数または時間の上限に達する前に、生成がどれくらいの頻度で完了しますか。
実行環境への適合正確な量子化済みファイルが、必要なコンテキストを扱う十分なメモリで動作しますか。

編集済みモデルも確率的に動作します。品質の確認項目は分けてください。 正確性、信頼性、安全な利用を個別に評価します。保護機能が重要な作業には、通常のアライメントを保ったモデルも使える状態にします。

拒否数だけではランキングとして不十分な理由

拒否スコアは、1つの依頼セットで1つの結果を測ります。事実の正確性、回答の長さ、生成予算が尽きる前に最終回答を返すかどうかは、ほとんど分かりません。

Sapwellが2026年9月に行ったQwen3.8-27Bの比較では、ベースモデルと8つの派生版を同じサービング環境でテストしました。13タスクの能力テストでは、知識、数学、コーディング、真実性を測定しました。別のHarmBenchセットには有害な依頼が400件含まれ、LLM審査員が回答全体を評価しました。この結果は、1つのモデルファミリー、1つのGPU、1つの評価設計に限られます。

調査対象のQwen3.8-27B派生版400件中の明示的な拒否推論が未完了の回答
ベースモデル3810%
OrcaRouter238%
Trohrbaugh12215%

ベースモデルは拒否数が多く、未完了の出力は少ない傾向でした。OrcaRouterは拒否数が少ない一方、未完了の回答の割合が高くなりました。Trohrbaughはより多くの拒否を維持し、未完了の回答は少なめでした。自分のタスクと許容できるトレードオフに合わせて選びます。

Gemma 4 E4Bの23派生版を調べた研究では、最もダウンロードされた派生版において、一部の能力指標が大きく低下しました。変更の少ない派生版は、テスト上でベースモデルに近い結果を保ちました。人気やダウンロード数は利用状況を示します。品質を測るものではありません。

これらの測定値を1つのスコアにまとめないでください。指標を分けます。 拒否、完了、正確性、遅延を個別に記録します。依頼セット、モデルのリビジョン、チャットテンプレート、実行環境、コンテキスト、出力上限も記録してください。どれかの設定を変えると、比較の意味も変わります。

モデルを置き換える前に空の回答を調べる

推論トークンは、表示テキストが出る前に出力上限を消費します。内部推論の途中で上限に達すると、一部の実行環境は空または途中で切れた回答を返します。これは拒否や、回答は完了したが誤っている場合とは異なります。

SapwellのQwen3.6-27Bベンチマークは、この問題が主要スコアに与える影響を示しました。実行によっては最終回答まで到達せず、数学の生スコアに大きなばらつきがありました。完了した回答だけを見ると、測定された正確性はかなり近い値でした。このベンチマークは、回答能力と推論予算の枯渇を分けて評価しました。

回答が空なら、実行環境の停止理由とログを確認します。 入力の長さ、コンテキストの割り当て、出力トークン上限、経過時間、最終回答のマーカーが出たかを記録します。その後、ハードウェアに余裕があれば、より大きな出力上限で同じ依頼を再実行します。

結果調査する可能性のある分類
拒否の文言モデルが依頼を拒否しました。
トークン上限で空の出力最終回答を出す前に生成予算を使い切りました。
途中で切れた出力生成上限によって未完了の回答が停止しました。
実行環境のエラーサーバー、モデルファイル、またはメモリ割り当てに失敗しました。
完了したが誤った回答モデルは文章を返しましたが、正確性の確認に失敗しました。

空の出力: 各ケースをモデルの欠陥と判断する前に、実行環境の結果を確認します。コンテキストウィンドウを広げても、小さい出力上限、不正なテンプレート、アプリケーションのタイムアウトは自動的に解決しません。

重みとコンテキスト用のVRAMを確保する

モデルファイルはメモリ使用者の1つにすぎません。実行環境には、実行中の入力と回答に関するアテンション状態を保存するKVキャッシュのほか、計算バッファーや別の読み込み済みプロセス用の領域も必要です。コンテキストを長くするとメモリ使用量が増えます。

Ollamaの現在のドキュメントでは、VRAMが24 GiB未満の場合は4K、24~48 GiBの場合は32K、48 GiB以上の場合は256Kが既定のコンテキスト長です。これは実行環境の既定動作です。割り当てられたコンテキストとプロセッサの配置はollama psで確認します。

Linuxの例: このコマンドは、新しいOllamaサーバーセッションの既定値を16Kに設定します。

OLLAMA_CONTEXT_LENGTH=16384 ollama serve

読み込み済みモデルで割り当てられたコンテキストを、通常の入力と回答のサイズに照らして確認します。

ollama ps

CONTEXT列とPROCESSOR列には、割り当てと、モデルがGPU上で動作するか一部がオフロードされるかが表示されます。コンテキスト割り当て: 表示された上限全体がVRAMに収まるとは限りません。

GPUメモリ別の出発点

最初に試す候補: 以下のモデルファミリーは、2026年の派生版比較に登場しました。ファイルサイズは特定の量子化済みリポジトリに基づきます。候補が適合すると判断する前に、正確なファイル、実行環境の対応、実測メモリを確認します。

GPUメモリ最初に試す候補主な制約
8 GBGemma 4 E4B、たとえばcoder3101派生版重みファイルを小さく抑えます。コンテキストと実行バッファー用のメモリを残してください。
12 GBGemma 4 12B、たとえば7.4 GBのTrevorJS GGUF Q4ファイルモデルの能力は高まりますが、小型派生版より長いコンテキストに使えるメモリが減ります。
16 GB小型モデル、またはQwen3.8-27B Q3ファイルQwenリポジトリではQ3_K_Sを13.72 GBとしています。公開者はこのファイルの品質を低いと評価しています。コンテキスト用の余裕も限られます。
24 GBQwen3.8-27B Q4_K_SまたはQ4_K_M現在のリポジトリでは16.71 GBと17.77 GBのファイルがあります。キャッシュとバッファー用の領域を確保してください。
32 GBQwen3.8-27B Q6_K現在のリポジトリでは23.46 GBのファイルがあります。ファイルが大きいほど、小さい量子化よりコンテキスト用のメモリが減ります。

これらは出発点として使います。リポジトリやバージョンは変わり、ファイルサイズだけでは実行時のメモリ割り当てや回答品質は分かりません。

GGUFの量子化ラベルは、エンコード方法の概要です。リポジトリ間の違い: 公称ビット深度が同じでも、ファイルの品質が等しいとは限りません。あるQwenリポジトリではQ3_K_Sを低品質、Q4_K_Mを既定の選択肢としています。ダウンロード前に、正確なファイルサイズ、モデルカード、入力形式、テスト結果を確認します。

キャッシュ容量とローカルGPUへの適合性については、サイトの ローカルモデル、GPU、コンテキストのガイド を参照します。こちらの推奨事項はコーディング作業が中心です。このページでは、拒否動作の編集と評価を扱います。

チャットテンプレートとモデルの出所を調べる

チャットテンプレートは、モデルが期待するトークンと指示でメッセージを包みます。モデルパッケージには、カスタムテンプレートやシステム依頼が含まれる場合があります。基礎となる重みが同じでも、こうした変更は測定される動作に影響します。

テンプレートの影響: Sapwellは、モデルに決して拒否や警告をしないよう指示するペルソナがパッケージに含まれたQwen3.8派生版を見つけました。拒否が少ないという主張は、そのテンプレートに依存していました。彼の比較ではテンプレートを統一し、重みの違いに焦点を当てました。この統制から、付属のテンプレートが悪意あるもの、または使用できないものだとは判断できません。

インストール前に: 公開者、ベースモデル、ライセンス、変換手順、量子化ツール、テンプレート、リビジョン履歴を確認します。同じテンプレートと実行環境で元のモデルと比較します。モデルカードに手法やテスト設定がなければ、出所は不明と記録します。

自分のワークロード向けに小規模な評価を行う

繰り返し使える依頼セットを、自分が所有する、またはテスト許可のある通常のタスクから作ります。モデルが行う作業、正解が分かっている事実質問、合格条件が明確な書式指定を含めます。拒否動作も判断材料にするため、安全な境界ケースをいくつか加えます。

元のモデルと編集版でテスト設定を固定します。 システム依頼、テンプレート、量子化、実行環境のバージョン、コンテキスト、出力上限、サンプリング設定を同じにします。結果とともにモデルのリビジョンまたはファイルのハッシュを保存します。

各結果は別々に記録します。

  • 完了: 最終回答、拒否、空の出力、途中終了、実行環境エラー。
  • 正確性: 期待する回答または評価基準に対して合格か不合格か。
  • 有用性: 回答がタスクの要件を満たすか。
  • 遅延: 最初のトークンまでの時間と生成全体の時間。
  • メモリ: 割り当てられたコンテキスト、GPUへの配置、ピークVRAM。
  • 安全動作: 各境界ケースで適切に拒否するか、続行するか。

一度に1つだけ変数を変えてテストを繰り返します。出力上限を増やした後に回答が完了したなら、最初の失敗は予算によるものです。回答が未完了のままなら、モデルテンプレート、推論モード、実行環境、リビジョンを確認します。正確性や安全性を許容できないほど損なわず、対象タスクを改善する場合に限り、その派生版を使います。

デプロイ範囲を限定する

プライバシー: ローカル推論はスタック全体に左右されます。フロントエンド、ログ、拡張機能、テレメトリ、ネットワーク経路を確認します。信頼できない重みやカスタムテンプレートは、第三者のコードと設定として扱います。

公開アクセス: モデルのエンドポイントをパブリックインターネットに直接公開してはいけません。ツールへのアクセスを分離し、編集済みの派生版は許可された作業にのみ使います。リモートアクセスでは、認証、レート制限、ネットワーク分離を備えたプライベートゲートウェイの背後にエンドポイントを置きます。拒否方向に関する元の論文は、拒否を取り除く編集が持つ安全上の影響に触れています。

まとめ

選択基準: 自分のタスクセットで、検証済みの結果が最も優れているモデルを選びます。拒否数を1つの指標とし、回答の完了、正確性、テンプレートの動作、VRAMの余裕も確認します。GPUに合うファイルから始め、ワークロードに応じてコンテキストを設定し、同じ条件で元のモデルと比較します。

GPUの容量を決めるには、 これらの結果をサイトの Qwen 27B GPUレンタルベンチマーク と比較します。正確なモデルファイルや目標のコンテキスト長が不明なら、購入前にハードウェアを借りるかレンタルします。

参考資料