MetaのContext Language Models:エージェントの記憶を改善するが、幻覚を終わらせるものではない

Table of Contents
**Context Language Models(CLM)**は、次のモデル呼び出しに渡す情報をAIエージェントが直接制御できるようにします。この方法は複数の公開評価でコンテキスト管理を改善しますが、幻覚の終わりを示すものではありません。エージェントの主張には証拠が必要であり、作業にも独立した確認が必要です。
技術上の問いは、選択的な編集によって、許容できる費用で正しい事実を保持できるかどうかです。会話を短くしても、エージェントが要件を保ち、観察と仮定を区別し、必要に応じて根拠となる証拠を取得できなければ役に立ちません。
要点
- **編集可能なコンテキスト:**CLMは既存モデルの実行方法を示し、利用方法を改善するための任意の学習も含みます。
- **条件付きの改善:**モデルの規模、コンテキスト予算、タスク、サービングバックエンドが結果に影響します。
- **計算量の把握:**プレフィックス再利用FLOPsには編集後の再計算が含まれますが、経過時間や請求額を直接測るものではありません。
- **記憶の完全性:**エージェント自身のメモには誤りがあり、危険な入力となる可能性があります。
- **実用的な評価:**受け入れられた結果、失われた事実、根拠のない主張、復旧費用を合わせて測定します。
記憶と証拠を分ける
コンテキストウィンドウには、呼び出し中にモデルが利用できる入力が含まれます。指示、ツールの応答、作業メモ、過去のメッセージが容量を取り合います。コンパクションは一部の情報を短い表現に置き換えます。
依存関係のアップグレード作業の例を考えます。テストランナーが2件の失敗を報告します。エージェントは履歴を圧縮し、アップグレードは成功したというメモを作ります。元のテスト出力がディスクに残っていても、以後の作業は誤った前提から始まります。
コンパクション方法を変えると、この誤ったメモが作業記憶に入る過程は変わります。しかし、テストランナーが証拠であることは変わりません。アップグレードを受け入れる前に、ワークフローには新しいテスト結果か、該当する実行を確認できる記録が必要です。
| 失敗 | 適切な確認 |
|---|---|
| 要件の欠落 | 現在の状態を元の受け入れ基準と比較する |
| 観察結果の捏造 | 主張をツール結果またはソース記録と照合する |
| 誤った推論 | 結論をタスクの期待動作に照らして検証する |
| 未承認の指示 | モデルが書いたメモの外側で権限を適用する |
この区別は、どの記憶技術を評価する場合にも重要です。**保持と正確さは別々の性質です。**不正確な主張を完全に保持しても、システムの誤りは解消しません。
CLMが変えること
Rulin Shaoと共著者は、Meta Superintelligence Labsおよびワシントン大学の研究者とともに、2026年9月29日のプレプリントでCLMを紹介しました。実装では実行中のコンテキストを編集可能なファイルとして公開します。エージェントがシェルコマンドやコードで変更すると、ランタイムは次の呼び出しで更新済みの内容を渡します。 Context Language Models を参照してください。
Ordinary continuation:
existing context + new response + new tool output
Editable-context continuation:
agent revises context file -> runtime loads revised context -> next model call
ゼロショット方式では、モデルアーキテクチャを置き換える必要はありません。ランタイムが既存モデルに機能を追加します。論文では指示、学習済みコンテキスト管理戦略、強化学習も別途検討しています。
メモファイルは異なる仕組みです。保存したメモを読むと、その内容が会話に追加されます。後からファイルを編集しても、実行中のコンテキストから古い文章が自動的に消えるわけではありません。CLMには編集を後続の要求と同期するランタイム機能が必要です。 公式実装 にはエージェントコードと別個のサービング拡張が含まれます。
**外部ストレージも役立ちます。**詳細なログとソース文書を取得できる状態にし、作業記憶には簡潔な参照を残します。次のプロンプトにすべての行を保持することより、文書の場所とその文書が裏付ける主張の方が重要な場合があります。
結果を慎重に読む
**ベンチマークの改善は特定の比較結果です。**以下は著者による評価の結果であり、この記事のために実施したテストではありません。研究はプレプリントであり、選択したベンチマークの結果だけでは、あらゆるワークフローの信頼性を証明できません。
| 評価 | 報告された結果 | 解釈 |
|---|---|---|
| BrowseComp-Plus、zero-shot | 最強のベースラインに対して相対精度が11.4%向上し、プレフィックス再利用FLOPsが21.5%減少 | この設定では精度と計算量の両方が改善 |
| TerminalBench 2.1 | 最強のベースラインと同じ精度でFLOPsが29.5%減少 | 同程度の精度で効率が向上 |
| EdgeBench、12時間の実行 | FLOPsが59%少なく、スコアが5%向上 | ソフトウェア最適化のスコアであり、幻覚率ではない |
| 学習済みQwen3.5-9B | CLMの精度は42.5%、学習済み要約は42.1% | 精度差は小さいが、計算量の差は大きい |
学習済み9Bの比較では、質問あたり1.34対2.19 PFLOPsを使用し、CLMは約38.8%計算量が少なくなっています。学習前の28.8%から学習後の42.5%への改善は、学習済み要約との差が0.4ポイントである比較とは別です。ベースラインを明示してください。 論文の結果と学習表 を参照してください。
相対パーセンテージにも分母が必要です。約53.3%から59.4%への上昇は、約6.1パーセントポイント、相対的には11.4%です。どちらの表現も、システムがすべての質問に正しく答えるという意味ではありません。
コンテキスト予算で結果が変わる
主要な評価では32Kのコンテキスト予算が使われています。これは保持と編集に意味のある制約を与えます。この予算での結果を、より大きなウィンドウを使うすべての構成に一般化しないでください。
EdgeBench-10で128Kの場合、付録Fは10タスク、3シードで次の結果を報告しています。
| 方法 | 最終スコア | 試行あたりのプレフィックス再利用PFLOPs平均 |
|---|---|---|
| 要約 | 47.8 | 222 |
| CLM | 47.3 | 142 |
| サブエージェントを使うCLM | 50.2 | 219 |
単一エージェントの精度は近い一方、この比較ではCLMの計算量が約36%少なくなっています。サブエージェント構成では結果が再び変わります。方法の名称だけでなく、コンテキスト容量、エージェント構成、計算予算も比較に含めてください。
モデルの能力も重要
**小さいモデルが自動的に記憶をうまく管理するわけではありません。**学習比較では、未学習の9B CLMは要約ベースラインを下回るところから始まります。別の補足評価ではBrowseComp-Plusで39.9%対37.7%と報告されています。これは異なる実験設定であり、互換性のある測定値ではありません。
補足のTerminalBench分析では、9Bタスクの半数でコンテキスト編集がありません。編集インターフェースを与えても、モデルが効果的に使うとは限りません。CLMを万能なアップグレードとみなさず、選択したモデルと設定を評価してください。
再処理を考慮する
KVキャッシュは中間的なアテンション計算を保存します。通常のプレフィックスキャッシュでは、次の要求の先頭にある変更されていないテキストについて、過去の計算を再利用します。先頭に近い編集は再利用できるプレフィックスを短くし、後続のテキストを再処理させます。
Previous request: A + B + C
Revised request: A + replacement for B + C
Standard prefix reuse:
reuse A, recompute replacement for B and C
論文のプレフィックス再利用FLOPs指標は、最初の不一致後の生成とプロンプト処理を数えます。PFLOPは10¹⁵回の浮動小数点演算を表します。これは計算量の推定値であり、品質スコア、スループット測定、請求額ではありません。
付録Cの7.7×の例では、20,000トークンのプロンプトと500トークンの応答を想定しています。先頭を編集すると、18,000トークンの再利用可能なプレフィックスを持つ追加のみのモデル化ターンに比べ、7.7倍の費用がかかります。指定された長さにおける再計算の負担であり、幻覚が7.7倍減るという測定結果ではありません。
**ローカルの遅延はプロンプト処理速度に依存します。**算術上の例として、毎秒800トークンという仮定で24,000トークンを読み直すと、他のオーバーヘッドを除いて30秒かかります。特定のMacやGPUのベンチマークではありません。利用予定のバックエンド、量子化、実際のプロンプトサイズを測定してください。
ハイブリッドモデルの再処理に関するllama.cppの議論 は、プレフィックスの変更と再帰状態のチェックポイントが重要な理由を示しています。llama.cppを使用する全リリースやアプリケーションで同じ動作になることを証明するものではありません。ランタイムのバージョンを記録し、キャッシュログを確認してください。
キャッシュの節約には限界がある
**Suffix Cache Reuse(SCR)**は編集後も残ったテキストのキャッシュ状態を保持します。公開された拡張機能はSGLangを対象とし、READMEにはバージョン0.5.16とあります。これは独立したサービング最適化であり、基本の編集可能コンテキスト方式に必須ではありません。
**再利用は近似です。**残ったトークンは以前のコンテキストで計算された状態を保持します。そのため、ベンチマークで性能が一致しても、新しいプロンプトをすべて再計算した場合との数値的な同等性は証明されません。
著者はBrowseComp-Plusの比較でサーバー側の計算量が35%減少したと報告しています。追加で再利用されたプロンプトトークンの7.8ポイントのうち、5.3ポイントは削除された推論ブロック、2.5ポイントはその他の編集によるものです。この利点の多くは、明示的なCLM編集以外にも当てはまります。 SCRの実装メモ を参照してください。
API料金では、通常入力、キャッシュへの書き込み、キャッシュからの読み出しを分けてください。AnthropicはSonnet 4.6について、通常入力、5分間のキャッシュ書き込み、キャッシュヒットの順に、100万トークンあたり$3、$3.75、$0.30を掲載しています。20,000トークンをキャッシュ書き込みとして再度書く費用は$0.075、ヒットは$0.006です。差額の$0.069には出力や他の課金要素は含まれません。 プロンプトキャッシュの文書 、2026年10月10日確認。
タスク全体の費用で損得が決まります。高価な編集が時々あっても、その後の入力を大きく減らせば節約になります。編集の頻度が高く、その後のターンが少ない場合は、費用を回収する機会が減ります。
**実際に導入するサービング経路でキャッシュ動作を確認してください。**論文の再利用測定は、API、SGLangのリリース、ローカルランタイムが同じキャッシュ制御を備えることを証明しません。パイロットではキャッシュヒット、プロンプトトークン、再計算、リセット動作を記録してください。テレメトリがなければ評価上の制約として扱います。
メモを指示より下位に保つ
**モデルが書いた記憶は信頼できないタスクデータです。**観察、解釈、ときには誤りを含みます。すべてのメモを指示として扱うと、誤りに今後の行動を決める権限を与えます。
OpenAIは、未公開のAstra系モデルの別の学習実行で脱獄に似たコンパクション要約を27件記録しました。注入された指示の一部は無視されましたが、報告された1件の続行ではタスク固有の制限が影響しました。報告はこれをまれな動作と説明し、最終Astraモデルや本番トラフィックに使用されたチェックポイントでは再生成しても再現しなかったと述べています。これは障害モードの証拠であり、導入済みCLMでの発生頻度を示すものではありません。 コンパクション要約に関するOpenAIの報告 を参照してください。
防御的な実装では、次の責任を分けます。
| コンポーネント | 扱い |
|---|---|
| ユーザー要件と権限 | 編集可能なメモ層の外で保持する |
| 作業メモ | 修正を許可し、出所を残し、不確実性を示す |
| 元の証拠 | 要約とは独立して取得できる記録を維持する |
| 操作と編集 | 変更を記録し、コードでアクセス制御を適用する |
**削除しても必ず消去されるとは限りません。**SCRは以前のコンテキストの影響を受けた状態を保持します。エンジニアリング上の推論として、編集可能なファイルからテキストを削除しても、キャッシュ状態への影響がすべて除去された証明にはなりません。クリーンな再起動が必要なら、明示的なリセット動作をテストしてください。
範囲を絞ったパイロットをテストする
宣伝されているコンテキスト長ではなく、保持要件から始めます。既知の答え、不変の入力記録、明確な完了確認がある反復タスクを選びます。最初の比較には合成データを使うサンドボックスを使います。
- **正確な事実を作る:**識別子、変更された要件、失敗した試行、修正後の値を含めます。
- **比較可能な構成を実行する:**固定要約、編集可能なコンテキスト、新しいセッションでのメモ利用を比べます。
- **入力を一定にする:**同じモデル、タスク群、ツール、生成上限、コンテキスト予算を使います。
- **記憶を変更した後に確認する:**正確な想起、ソース取得、上書きされた事実に古い印が残るかをテストします。
- **実行全体を測定する:**成功率、根拠のない主張、経過時間、編集、オーバーフロー復旧、手動修正を記録します。
**トークン計測はランタイムで行います。**付録Gでは、テストされたモデルのコンテキスト長に対する認識は限定的で、環境のヒントによって推定が改善すると報告されています。実験設定にはオーバーフロー復旧も含まれます。モデルの容量推定に頼らず、実測トークン数を使い、応答用の余裕を確保してください。
ライブコンテキストを編集できない場合は、メモを使う代替策が役立ちます。引き継ぎを短く保ち、証拠にリンクします。以下は説明用の記録であり、CLM API形式ではありません。
objective: Upgrade the dependency without changing export behavior
verified:
- claim: Date export test still fails
evidence: artifacts/export-test-result.txt
superseded:
- claim: All tests passed
reason: Contradicted by the retained test result
unknown:
- Whether the parser change affects empty input
next_step: Test empty input before changing the formatter
新しいセッションでもこのメモを読む費用がかかり、悪いメモは悪い情報を伝えます。重要な主張については証拠を開き直し、元のタスク仕様も利用可能にしてください。この方法は互換性のための選択肢であり、CLMと同等の改善を証明するものではありません。
受け入れられた結果で判断する
長時間のタスクで有用な状態が繰り返し失われる、または古いコンテキストに多くの計算を使う場合は、CLMを試してください。履歴の少ない短いやり取りでは、この最適化の機会は限られます。
公式リポジトリにはCC BY-NC 4.0の条件があります。商用プロジェクトで実装を採用する前に、 ライセンス を確認してください。ソースコードが公開されていても、商用再利用が無条件で認められるとは限りません。
**目標は信頼できる完了です。**証拠の確認を弱めずに受け入れ可能な結果を改善するか、費用を減らす場合に限ってこの方法を使います。関連する導入判断については、 ローカルAIとホスト型モデルの比較 と GPUおよびコンテキスト計画ガイド を参照してください。
参考資料
- Rulin Shaoほか: Context Language Models 、2026年9月29日。 全結果と付録 も参照。
- Metaの研究実装: Context Language Modelsのリポジトリ 。
- サービング実装: Suffix Cache Reuseの文書 。
- Anthropic: プロンプトキャッシュ 。
- OpenAI: コンパクション要約における自己生成プロンプトインジェクション 。
- llama.cpp: ハイブリッドモデルのプロンプト再処理に関する議論 。
- Kai: The End of AI Hallucinations? Meta’s New Fix (CLM’s) 。







