Table of Contents

Raspberry Piでは実用的な言語モデルをローカルで動かせます。ただし、モデルがボードのメモリに収まり、アプリが許容できる応答時間で動く必要があります。2 GBのRaspberry Pi 4には、パラメーター数が約10億未満のモデルが適しています。8 GBのRaspberry Pi 5なら、コンパクトな1B~3Bモデルを快適に動かせます。さらに大きな量子化モデルも読み込めますが、大きな妥協が必要です。

microSDを使った2 GB Pi 4Bと8 GB Pi 5で、Ollama経由のモデルを自分たちで測定しました。表の測定では、同じ5つの短いアシスタント用プロンプト、システムプロンプト、固定seed、140トークンの出力上限を使いました。各テスト前に他のモデルをアンロードし、コールドロード時間、最初の可視トークンまでの時間、応答全体の時間、出力速度、ピーク常駐メモリを記録しました。短い応答を想定した単一パスのテストです。結果は容量選定の参考であり、あらゆる用途に当てはまる速度や回答品質の順位ではありません。Pi 5の Cortex-A76 CPUとメモリ構成 は、Pi 4の Cortex-A72プラットフォーム とも大きく異なります。

適したモデルの種類

モデルの種類測定対象の例実用用途
約230M~600Mパラメーターの小型テキストモデルLFM2.5-230M、LFM2.5-350M、Qwen2.5-0.5B短いローカルコマンド、要約、制約付き質問応答。2 GB Pi 4の最初の候補
約1B~2BのコンパクトなテキストモデルLFM2.5-1.2B、Qwen2.5-1.5B、Gemma 3 1B、MiniCPM5-1BPi 5やメモリの多いPi 4で、より細かな指示に対応。最小モデルより応答は遅い
量子化された3B~4BのテキストモデルQwen2.5-3B、Llama 3.2 3B、Gemma 3 4B1回の応答に数秒かかってもよい場合の8 GB Pi 5向け候補
大型の疎またはハイブリッドモデルLFM2.5 8Bテスト済みの8 GB Pi 5で技術的には動くが、メモリ使用量とコールドロード時間が大きい

これはテキスト生成の測定結果です。画像生成、音声認識、画像理解、学習の性能は示しません。「動く」にはモデルファイルがカードに入るだけでなく、ランタイム、コンテキストキャッシュ、OS、他のサービスに使うRAMも必要です。量子化で重みファイルは小さくなりますが、特に1ビット重みのような極端な設定では回答品質が落ちることがあります。

測定値の内容

ベンチマークでは、事実確認、安全手順、検索コンテキスト、天気、ヘルプに関する短いプロンプトをOllamaのチャットAPIに送りました。各モデルに同じプロンプトセットとseedを使いました。計測前にモデルをアンロードし、次のリクエストでコールドロードを含めました。wall timeはリクエスト全体の時間、tokens per secondは出力生成の速度です。回答前にモデルが推論する場合に重要な、最初の可視トークンも記録しました。

メモリ測定では、各リクエストの間、Piの使用可能RAMとswapに加えて、Ollamaと推論プロセスの常駐メモリを記録しました。以下のRSSはプロセス常駐メモリであり、ホスト全体の必要メモリではありません。ファイルキャッシュ、OS、ブラウザー、別のローカルサービスによって、名目上収まるモデルでもswapが発生します。表は最初の5プロンプト、単一パスの測定です。後からニュース用プロンプトと回答ルールの検査も追加しましたが、これらの検査によって先の速度測定が6プロンプトの遵守結果に変わるわけではありません。

tokens per secondもパラメーター数も品質スコアではありません。モデルは高速に文章を出しても、指定された出典を省き、語数を超え、文を途中で終えることがあります。実際に送る予定のプロンプトで比較し、アプリに採用する前に回答を確認してください。

Raspberry Pi 4: 最小モデルを優先

テストした2 GB Pi 4の余裕は限られていました。最小のLFM2.5モデルとqwen2.5:0.5bは、5つのプロンプトすべてに回答しました。短いオフライン応答や小型のローカルアシスタントに適しています。

モデルモデルファイル出力速度平均応答時間メモリまたは結果
LFM2.5-230M、GGUFをインポート0.25 GB12.8 tokens/s7.2 sピーク常駐メモリ383 MB、5/5プロンプト
LFM2.5-350M、GGUFをインポート0.38 GB8.6 tokens/s8.6 sピーク常駐メモリ516 MB、5/5プロンプト
qwen2.5:0.5b0.40 GB8.0 tokens/s9.7 s5/5プロンプト、Ollamaから直接取得可能
MiniCPM5-1B、GGUFをインポート、推論オフ0.69 GB5.9 tokens/s12.2 sピーク常駐メモリ883 MB、5/5プロンプト
MiniCPM5-1B、GGUFをインポート、既定の推論設定0.69 GB5.7 tokens/s33.3 s有用な可視回答は5問中1問のみ
qwen3:0.6b、既定の推論設定0.52 GB6.4 tokens/s40.4 s空の回答が1件。ボードが再起動
granite4:350m0.71 GB4.6 tokens/s15.5 s913 MB RSS、swapも再起動もなし。遅いが安定
gemma3:1b0.82 GB4.0 tokens/s30.7 sswapが多発し、テスト中にボードが再起動
qwen3.5:0.8b1.04 GB——完了せず、ボードが再起動

Pi 4の結果は、システムの他の負荷に大きく左右されます。大型モデルのテストではボードのリセットが発生し、qwen3.5:0.8bの実行は完了しませんでした。これは2 GB構成での測定結果であり、すべてのPi 4や1Bモデルが再起動するという意味ではありません。4 GBや8 GBのPi 4はメモリに余裕がありますが、CPUはテスト済みPi 5より推論が遅くなります。これらのPi 4構成は直接測定していません。

初期のPi 4測定の一つは最終測定より大幅に悪い結果でした。RAM上の/tmpに約625 MBのGGUFファイルを置いたため、空き容量は約500~600 MBとなり、数百MBがswapに移動しました。ファイルを永続ストレージに移してから、小型モデルの結果で推論メモリをより正確に見られました。2 GBボードでは、ダウンロードの保存先もベンチマークを歪めます。

推奨: この2 GBボードの既定モデルには、インポートしたLFM2.5-350Mを選びます。RSS 516 MBで安定し、約1 GBのRAMを空け、Pi 4の回答ルール検査で5/6に合格しました。Pi 5の反復テストでは出典名を省略することがあったため、出典が必須のアプリでは確認してください。レイテンシーとメモリ余裕を最優先する場合はLFM2.5-230Mを選びます。より高速で軽量ですが、医療情報の回答で「nausea or vomiting」を「nausea/ventilator use」と誤って出力しました。この内容の誤りがあるため、反復メカニカル検査のスコアが高くても、健康や安全の回答には既定候補として不向きです。 Ollamaのモデルレジストリ から取得する場合はqwen2.5:0.5bを選べますが、指示遵守の弱さを考慮してください。granite4:350mは安定していましたが、遅くメモリも多く使いました。MiniCPM5-1Bはクライアントで推論を無効化する場合に限り実用的です。この特定の2 GB構成では、テスト中にリセットが起きたGemma 3 1BとQwen3.5 0.8Bを避けてください。

Raspberry Pi 5: 選択肢は増えるが速度とのトレードオフ

8 GB Pi 5では、速度とメモリのベンチマーク対象25モデルすべてを動かせました。短い応答の用途に推奨しないモデルも含め、全測定を表に載せています。†はインポートしたGGUFです。「think off」は速度測定で使った設定です。別の遵守検査で同じ設定を使ったとは限りません。

モデルファイルGB出力tok/s応答秒ピークRSS MB短文応答の評価
lfm2.5-230m †0.2545.01.8446最低レイテンシー、反復遵守率78%
bonsai-1.7b †、Q1_00.2515.38.2871非推奨。1ビット重み、単一パス遵守検査3/6
lfm2.5-350m †0.3830.02.1581高速だが18回の反復中5回で出典を欠落
qwen2.5:0.5b0.4028.43.6675レジストリから簡単に導入、反復遵守率61%
qwen3:0.6b、推論オフ0.5223.04.31,069条件付き。遵守検査4/6、推論設定が重要
bonsai-4b †、Q1_00.576.818.11,343実験的な1ビットモデル。単一パス6/6は未確認
minicpm5-1b †、推論オフ0.6918.45.1869条件付き。既定の推論設定では空の回答
granite4:350m0.7112.16.6892動くが、小型LFM2.5より遅く大きい
lfm2.5-1.2b †0.7315.54.7967今回の用途に最適。反復遵守率89%
llama3.2:1b-instruct-q4_K_M0.8113.07.51,244レジストリの代替候補、遵守検査5/6
gemma3:1b0.8211.210.91,262レジストリ限定で最良、反復遵守率83%
qwen2.5:1.5b-instruct-q4_K_M0.9910.39.41,361遵守検査4/6。Gemma 3 1Bの方が規則を遵守
qwen3.5:0.8b、推論オフ1.048.812.21,592既定の推論設定で0/6。推論制御なしでは非推奨
spark-x2.5-1.7b †、推論オフ1.119.79.41,542既定の推論設定で0/6。推論制御なしでは非推奨
qwen3:1.7b、推論オフ1.368.112.41,867条件付き。小型候補よりメモリと遅延が大きい
minicpm5-2b †、推論オフ1.567.710.91,787条件付き。単一パス5/6、箇条書きが多すぎる
qwen2.5:3b-instruct-q4_K_M1.935.214.72,366試用できる3B候補、単一パス5/6
granite4:micro-h1.943.923.72,486対話用途には非推奨。生成が遅い
llama3.2:3b-instruct-q4_K_M2.025.518.62,8313Bの代替候補。遵守検査の報告なし
granite4:micro2.105.317.92,679動くが、小型候補より応答が遅い
qwen3.5:2b、推論オフ2.745.016.13,627メモリと遅延が大きい。遵守検査の報告なし
gemma3:4b3.343.930.34,267すばやい応答には非推奨。最初のトークンまで14.3秒
ling-3.0-tiny †、推論オフ4.829.919.45,071大きなメモリ使用、単一パス5/6だが根拠付けに失敗
lfm2.5:8b、推論オフ5.168.754.65,317ぎりぎり動く。コールドロード34.4秒、回答が長すぎる
gemma3n:e2b5.626.125.95,261非推奨。他のPiサービスと並行するとswapが発生

† インポートしたGGUF。応答時間とメモリ値はPi 5で5プロンプトを使った速度テストの結果です。遵守率は別の6プロンプト検査から得ています。遵守率がないモデルは回答ルールの遵守が確認されていません。

小型LFM2.5モデルは、この短文応答用途で最速でした。1.2B版はテストしたPi 5で実用的なバランスです。Gemma 3 1Bはレジストリだけで導入できる代替候補で、後のテストではQwen2.5 1.5Bより回答ルールを繰り返し守りました。より多くの能力が必要なプロンプトでは3Bモデルを試す価値がありますが、この速度測定だけでは最良の回答を出すモデルは判断できません。

コールドロードと最初のトークンまでの遅延は使い勝手を左右します。Pi 5でLFM2.5-230Mは約0.21秒でロードし、0.37秒で可視トークンを出しました。Qwen2.5 1.5Bはロードに2.59秒、最初の可視トークンに3.66秒かかりました。Qwen2.5 3Bではそれぞれ5.60秒と7.97秒でした。たまに質問する場合、生成開始後の出力速度よりこの遅延が重要になることがあります。モデルを常時ロードすれば起動遅延は小さくなりますが、リクエスト間もメモリを占有します。

他の測定候補からも、パラメーター数だけでは順位を決められないことが分かります。推論を無効にしたqwen3:0.6bはPi 5で1,069 MB RSS、23.0 tokens/sを達成しました。インポートしたMiniCPM5-1Bは869 MB RSS、18.4 tokens/sでした。granite4:350mは名称が350Mでも、0.71 GBのダウンロードが必要で、速度は12.1 tokens/sでした。モデルのパッケージと構造によって、名前、ファイルサイズ、メモリ、速度の関係は変わります。

クライアントから確実にthink: falseを送れる場合、Qwen3 0.6BとMiniCPM5-1BはLFM2.5の代替として試す価値があります。MiniCPM5-2B、Qwen3 1.7B、Spark-X2.5 1.7BもPi 5で動きましたが、主な候補より速度とメモリの明確な利点はありませんでした。MiniCPM5-1BとSpark-X2.5の遵守検査では既定の推論設定を使いました。空の回答を、推論オフの速度テスト結果として示してはいけません。逆に、推論オフで速度が速くても、そのフラグを送らないブリッジで使える回答が得られるとは限りません。

生の速度より簡単な導入を重視するなら、8 GB Pi 5ではGemma 3 1BとLlama 3.2 1Bがレジストリから導入できる候補です。Gemma 3 1Bは、反復テストで15/18の回答がルールを守りました。Llama 3.2 1Bは単一パスで5/6だったため、遵守率の確度は低めです。Qwen2.5 1.5BはGemma 3 1Bより速度テストでロードも応答も速かったものの、単一の遵守検査では4/6でした。自分のプロンプトで重要な要件に基づいて選んでください。

時々、長文や難しいテキストプロンプトを使う場合、量子化Qwen2.5 3BとLlama 3.2 3Bは、8 GB Pi 5でメモリ使用量が比較的抑えられる3B候補です。速度とメモリを測定し、Qwen2.5 3Bは単一の遵守検査で5/6でした。Llama 3.2 3Bの同等検査は報告していません。パラメーター数の多さは、小型モデルが苦手なタスクでテストする理由にはなりますが、よりよく答える証拠ではありません。Granite 4 MicroとMicro-H、Qwen3.5 2B、Gemma 3 4B、Ling-3.0-tiny、Gemma 3n E2BはいずれもPi 5で読み込めましたが、短い応答用途では遅延、メモリ余裕、応答の信頼性が劣ります。

2つのBonsaiモデルは極端な量子化の代償を示します。Q1_0ファイルは1.7Bと4Bという名前に対して非常に小さい一方、1.7Bモデルが回答ルール検査に合格したのは3/6だけでした。4Bモデルは6プロンプトの単一検査には合格しましたが、回答に18.1秒かかり、遵守の反復確認もありません。回答品質が重要な用途では、どちらも既定の推奨候補ではなく実験用と考えてください。

LFM2.5-8Bの結果には背景が必要です。ハイブリッド構造はトークンごとの有効パラメーターが少ないため、測定した密な3Bモデルよりデコード速度が高くなりました。それでもmicroSDからのコールドロードに34.4秒かかり、常駐メモリは5.3 GB超でした。動く範囲を示す結果であり、他のサービスも動くPiの既定モデルには向きません。測定したgemma3n:e2bも約5.3 GBの常駐メモリを使い、テストホストの他サービスと並行してswapを発生させました。

LFM2.5 8Bは回答を短く保たず、上限の140トークンまで生成しました。Gemma 3 4Bは最初のトークンまで14.3秒、回答全体に30.3秒かかりました。どちらもPi 5にロードできますが、テストでは応答性の高い小型アシスタントのようには動きませんでした。適切に短く答える小型モデルは、紙面上のデコード速度が高い大型モデルより、無線やコマンド用インターフェースに向くことがあります。

メモリ、推論、モデル形式

測定結果からの初期見積もりでは、推論時の常駐メモリはモデルのダウンロードサイズ × 1.4です。これは経験則にすぎません。コンテキスト長、ランタイム設定、モデル構造、他のプロセスで必要量が変わります。生成中に空きメモリを確認し、小型ホストでは一度に1モデルだけロードし、OS用の余裕を残してください。4 GBボードでは小型やコンパクトなモデルから始められますが、4 GB向けの推奨は推定であり、4 GB構成を直接測定した結果ではありません。

たとえばPi 5で、0.73 GBのLFM2.5-1.2Bファイルは約967 MB RSSに相当し、0.99 GBのQwen2.5 1.5Bファイルは1,361 MB RSSに達しました。このモデル群では経験則はおおむね使えますが、厳密な上限ではありません。Piでインターフェース、検索インデックス、ローカルライブラリ、バックグラウンドサービスも動かすなら、実測したモデルプロセスより多くのメモリを見込んでください。実際のリクエストでswapを監視します。技術的にはロードできても、swapを使い続けるモデルは実用的ではありません。

一部のモデルは可視回答の前に内部推論ブロックを生成します。テストでは2 GB Pi 4のqwen3:0.6bは可視テキストを出すまで大幅に長くかかり、MiniCPM5-1Bは既定の推論設定で5問中1問、推論を無効にすると5問中5問に有用な回答を返しました。短い応答上限を使う場合、互換性のあるOllama APIリクエストでthink: falseを指定するか、既定で推論しないモデルを選んでください。この設定は対応モデルとクライアントで有効ですが、万能な速度スイッチではありません。

トークン上限には、ユーザーに回答が見えなくても推論用トークンが含まれることがあります。Pi 4では、既定で推論するqwen3:0.6bはリクエストあたり平均40.4秒かかり、1件で可視回答が空でした。MiniCPM5-1Bは既定で平均33.3秒、推論を無効にすると12.2秒でした。記録にあるPi 5のQwen3、Qwen3.5、MiniCPM5、Ling-3.0、Spark-X2.5の速度測定では推論を無効にしました。クライアントが使う設定と同じ条件でモデルを比較してください。

回答が使えるか確認する

短いメッシュアシスタント用途では、速度と同じくらい回答仕様が重要です。上限は90語、箇条書きは3項目まで、プレーンテキスト、完結した文、提供された検索コンテキストの使用と出典名の提示です。ブリッジはテキストを180文字のチャンクに分割します。モデルが速く生成しても、長い回答は無線の占有時間を増やします。

後期版ベンチマークでは、空の回答、プロンプトごとの語数上限、過剰な箇条書き、Markdown表やコードフェンス、文末の未完了、提供コンテキスト用語の欠落、出典名の欠落を検査します。実運用アシスタントのシステムプロンプトに照らすと、小型モデルはこれらのルールに頻繁に違反しました。特に重大なのは、推論がトークン上限を消費した場合の空の回答で、次に検索コンテキストを無視する回答や出典の欠落が続きました。語数や箇条書き上限を超えても文章は見えますが、無線時間を浪費します。これは機械的検査であり、回答を読む代わりにはなりません。事実の正しさや安全助言の妥当性は証明できません。

Pi 5の反復遵守結果

各モデルに、運用中のシステムプロンプトと220トークン上限を使い、まず6つのプロンプトを1回ずつ送りました。有望なモデルはseedを変えてさらに2回テストし、1モデルにつき18回答を評価しました。単一パスで完璧でも、反復成功は保証されません。以下の反復結果は、テストした短いメッシュ回答の比較により適しています。

モデル検査した全ルールを守った回答主なエラー
インポート版LFM2.5-1.2B16/18 (89%)未完了の回答が2件
gemma3:1b15/18 (83%)未完了の回答が3件
インポート版LFM2.5-230M14/18 (78%)未完了の回答、出典名の欠落
インポート版LFM2.5-350M13/18 (72%)出典名の欠落
qwen2.5:0.5b11/18 (61%)箇条書きと語数が多すぎる、出典名の欠落

2 GB Pi 4の別の6プロンプト遵守検査では、LFM2.5-350Mが5/6、LFM2.5-230Mが4/6、Qwen2.5-0.5Bが2/6でした。MiniCPM5-1Bは既定の推論設定で1/6、推論を無効にして5/6に改善しました。Pi 4の値は単一パスです。指示遵守の一般的な傾向には反復したPi 5結果をより重視し、Pi 4結果はボード上の安定性と速度の判断に使います。

失敗の影響は異なります。空の回答ではユーザーに何も届かず、提供情報を無視した回答は誤解を招くおそれがあります。出典名がないと読者は情報源を確認できません。箇条書きや語数の超過は主に180文字のパケットを余計に消費します。未完了の文は出力切り捨てを示す場合があります。LFM2.5-230Mの医療用語の誤りが示すように、メカニカル検査を通過しても間違った回答は出ます。反復テストした5モデルのうち、18回答すべてで全ルールを守ったものはありません。厳格な長さや形式が必要なアプリでは生成後に追加検査を行い、重要な内容は別途確認してください。

検索したWikiMedコンテキストを用いて、実際のブリッジエンドポイントであるOllamaのOpenAI互換/v1/chat/completionsも確認しました。Pi 5ではLFM2.5-1.2Bが提供用語を6つ使った28語の回答を返し、Qwen2.5-0.5Bは7つの用語を使った38語の回答を返しました。どちらも180文字パケット2つに収まりました。このエンドポイント確認で、インポートしたLFM2.5モデルがブリッジのリクエスト経路で動作することは分かりましたが、1回の成功は信頼性を保証しません。

Ollamaには、 Qwen2.5の0.5B、1.5B、3B版 を含む、すぐ取得できるモデルが多数あります。小型LFM2.5は Liquid AIのGGUFリリース からOllamaにインポートしました。モデルレジストリやリポジトリは変わるため、ダウンロード前に正確なタグまたはGGUFファイル名を確認してください。GGUFは永続ストレージに保存してください。テストではRAM上の/tmpに置いたファイルがPi 4の貴重なメモリを消費しました。

レジストリタグとGGUFのインポート

Ollamaのタグは最短で初回テストを始める方法です。正確なタグを取得して実行します。表にある小型LFM2.5はGGUFのインポートであり、Ollama公開ライブラリのlfm2.5-230m、lfm2.5-350m、lfm2.5-1.2bというタグではありません。GGUFはモデルファイル形式です。Q8_0やQ4_K_Mなどは量子化方式を示します。使用したLFM2.5の230M版と350M版はQ8_0、1.2B版はQ4_K_Mでした。同じパラメーター数でも別の量子化では、ファイルサイズ、メモリ使用量、品質が同じとは限りません。

テストした350M版をインポートするには、GGUFを永続ストレージのディレクトリにダウンロードし、ファイルパスを示すModelfileを作って、Ollamaにモデルストアへコピーさせます。

mkdir -p "$HOME/gguf"
cd "$HOME/gguf"
curl -fL -C - --retry 5 --retry-all-errors -O \
  https://huggingface.co/LiquidAI/LFM2.5-350M-GGUF/resolve/main/LFM2.5-350M-Q8_0.gguf
printf 'FROM %s/LFM2.5-350M-Q8_0.gguf\n' "$PWD" > Modelfile-lfm2.5-350m
ollama create lfm2.5-350m -f Modelfile-lfm2.5-350m
ollama run lfm2.5-350m

インポート時には、ダウンロードしたファイルとOllamaストアのコピーの両方を置く空き容量が一時的に必要です。長時間のGGUF転送が途中で切れることがあったため、再開可能なダウンロードを使いました。インポート前に、ダウンロードしたGGUFのSHA-256と配布元が公開するハッシュを照合してください。未完了の転送がモデルの問題に見える場合があります。今回のPiでは/tmpはRAM上にあったため、GGUFを置くと推論に使えるメモリが減りました。

実用的な開始候補

ハードウェアと目的最初に試すモデル理由
2 GB Pi 4、標準候補インポート版LFM2.5-350MRSS 516 MBで安定し、約1 GBを利用可能。230Mの医療用語誤りを受けて選定
2 GB Pi 4、最低レイテンシーインポート版LFM2.5-230MRSS 383 MB、平均応答7.2秒。健康や安全の質問は特に内容を慎重に確認
2 GB Pi 4、レジストリのみqwen2.5:0.5bOllamaから直接取得でき、Pi 4の5プロンプトテストでは安定。Pi 5の反復遵守率61%
4 GB Pi 4またはPi 5インポート版LFM2.5-1.2Bを試してからローカル検証8 GB Pi 5でRSS 967 MB、反復遵守率89%。4 GB版は直接測定していない
8 GB Pi 5、応答性の高いアシスタントインポート版LFM2.5-1.2B15.5 tokens/s、応答全体4.7秒、今回の最高反復遵守率
8 GB Pi 5、レジストリだけで導入gemma3:1b11.2 tokens/s、RSS 1,262 MB、反復遵守率83%
8 GB Pi 5、大型テキストモデルを試す量子化Qwen2.5 3BまたはLlama 3.2 3B両方とも約5 tokens/s、RSS 2.4~2.8 GB。Qwen2.5 3Bは単一検査で5/6

これらは、他のサービスも動かす可能性のあるPiで短く役立つ回答を優先した候補です。どのタスクにも最適なモデルという主張ではなく、出発点です。Pi 5の単一パス遵守検査では、既定の推論設定のqwen3.5:0.8bとSpark-X2.5は適合回答がなく、MiniCPM5-1Bは1/6でした。クライアントで推論を無効にできない場合、短文用途では避けてください。導入する最終モデルは、実際のプロンプト、コンテキスト長、並列実行数、回答上限で試してください。

レジストリモデルを使う場合は、 Linux版Ollamaをインストール してから次を実行します。

ollama pull qwen2.5:0.5b
ollama run qwen2.5:0.5b

自分のプロンプト、希望する回答の長さ、他のサービスを動かした状態でテストしてください。応答全体の時間とメモリ使用量を記録します。パラメーター数だけを見るより、Piに適するかよく分かります。

メモリが限られるノードでは、テスト中のswapに注意してください。大型モデルでボードの反応が悪くなったら小型モデルに替え、Ollamaサービスに適切なメモリ上限を設定し、過大なロードをホストのメモリ枯渇前に失敗させます。サービス上限は保護策であり、大きすぎるモデルを収める方法ではありません。Pi 4の再起動結果は、tokens per secondに加えて応答性とメモリ余裕も選定基準にすべきことを示しています。

ベンチマークを導入判断に活用する

モデルを日常利用する前に、4つの上限を決めてください。最大応答時間、最大常駐メモリ、応答形式、失敗時の動作です。同じボードを共有するサービスと一緒にテストしてください。単独なら動いても、無線ブリッジやダッシュボードと併用するとswapを起こすモデルは導入要件を満たしません。

小型のフォールバックモデルを1つインストールしておきます。主モデルがメモリ上限を超える、空の回答を返す、応答仕様に違反する場合に切り替えます。比較ごとにモデルタグ、量子化、Ollamaバージョン、プロンプト、コンテキスト長、seedを記録してください。後のモデル更新をハードウェア改善と取り違えずに済みます。