Ornith 1.5は自分のPCで動く？9Bの容量とメモリー、選ぶ前に見る数字

まず初めに

「巨大AIに勝った」と聞いてダウンロードを押す。その後で、わが家のPCが駐車場に戦艦を入れようとしていることに気づく。順番が逆だ。IT Postでは、ローカルAI選びの第一関門はランキングではなく、手元で無理なく扱える大きさかどうかだと考えます。勝利宣言を読む前に、まず荷札を見よう。※個人の感想です

397Bの成績を9Bの実力だと思わない

Ornithの公式発表には397B、35B、9Bという異なる規模のモデルが掲載され、それぞれに評価表があります。「B」は10億を表し、モデル名にある数字はパラメータ数の規模を示しています。パラメータは、学習によって調整された内部の数値です。数字が大きいほど、必ず自分の用途でよい回答になるという単純な関係ではありません。

ここで区別したいのが、シリーズ名と個別モデルです。397Bについて示された結果を、そのまま9Bや量子化した配布ファイルの成績として扱うことはできません。公式の9Bモデルカードにも独自の評価結果があり、実行環境や設定に関する説明が添えられています。

発表時の全体像はOrnith 1.5の初報で確認できます。この記事では、そのニュースを読んだ後の「では、自分はどのファイルを選ぶのか」に絞って考えます。

9Bでもファイルは1種類ではない

公式のHugging Face配布ページには、次のGGUFファイルが掲載されています。GGUFはモデルの情報や重みを収めるファイル形式です。同じ9Bでも、数値の保存方法が違えばファイルの大きさは変わります。

公式ファイルの末尾	配布ページ上の容量
BF16.gguf	18.4GB
Q4_K_M.gguf	5.78GB
Q5_K_M.gguf	6.64GB
Q6_K.gguf	7.56GB
Q8_0.gguf	9.79GB

容量は2026年9月7日の表示値です。配布元には画像入力に関係する別ファイルもありますが、上の表は列挙した各モデルファイル単体の値です。ダウンロード画面に出るリポジトリ全体の合計容量と、選んだ1ファイルの容量も区別してください。

量子化りょうしかは、モデル内部の数値を少ないビット数で表すなどして、保存や計算の負担を小さくする方法です。小さくした結果、回答の傾向や精度が変わることがあります。「軽いファイルを選べば元のモデルと全く同じ」という保証はありません。

IT Postでは、最初の候補を決める際、容量に余裕のある形式から検討し、同じ質問で用途への適合を確かめる進め方を勧めます。Q4_K_Mを候補にする場合も、それを全員にとっての最適解と決めつけず、比較の出発点にします。

5.78GBならメモリー6GBで動く、とは限らない

ダウンロードしたファイルを保存する場所はストレージです。一方、モデルを読み込んで回答を作るときにはメモリーを使用します。OSやほかのアプリにも必要なので、搭載容量のすべてをAIに渡せるわけではありません。

LM Studioの公式文書では、メモリーの見積もりに会話の長さや画像対応などの条件を反映すると説明しています。モデルの重みだけでなく、処理に使う領域も必要になるためです。長い資料をまとめて扱う設定と、短い質問に答える設定では、同じモデルでも条件が異なります。

コンテキストウィンドウは、一度の処理で参照できる情報の範囲です。大きく設定できるモデルでも、その最大値を最初から使う必要はありません。IT Postでは、短い入力を扱うところから確認し、必要なときに長くする方が、動作不良の原因を切り分けやすいと考えます。

また、LM Studio自体の動作条件と、個別モデルの必要条件も別です。公式のシステム要件にPCが適合していても、すべてのモデルを快適に動かせるという意味ではありません。GPUの専用メモリーを使うPCと、CPUとGPUでメモリーを共有する機種でも、確認する欄が異なります。

ダウンロード後に、読み込む前の見積もりを使う

LM StudioのCLIであるlmsが使える環境では、公式にメモリーの見積もり機能が用意されています。すでにダウンロードしたモデルをlms lsで確認し、そのモデルキーを指定します。

lms ls
lms load --estimate-only <model_key> --context-length 4096

<model_key>は、そのまま入力する文字ではなく、一覧に出た対象モデルの識別名に置き換える部分です。--estimate-onlyは実際にモデルを読み込まずに見積もりを表示する指定です。4096はここで試す設定例であり、Ornith全般の推奨値や動作保証ではありません。

見積もりが出たら、利用可能なメモリーや、同時に使うアプリの負担と照らし合わせます。余裕が小さい場合は、量子化形式、会話の長さ、同時起動するアプリを一つずつ変えます。複数の条件を一度に変更すると、何が効いたのか分からなくなります。

このコマンドは公式機能の紹介です。本記事ではOrnithを読み込んだ実測値や、このPCでの見積もり出力は掲載していません。実行アプリの対応状況も更新されるため、モデルカードと実行アプリ双方の文書を確認してください。

自分の用途で比べるための小さな評価表

IT Postでは、導入時には次のような比較を提案します。これは編集部が考えた確認方法で、性能試験の結果ではありません。

試すこと	見るところ
自分で正解を確認できる短文の要約	元の文章にない事実を足していないか
数字を含む文章からの項目抽出	桁・単位・抜け落ちに問題がないか
普段使う長さの日本語の説明	指示に沿うか、読みにくい表現がないか
同じ条件での繰り返し	待ち時間や回答のばらつきが許容範囲か

モデル名、量子化形式、アプリのバージョン、会話長の設定をメモし、同じ入力を使います。最初は機密情報のない、自分で作った文章で十分です。比較するたびに質問を変えると、モデルの差と質問の差が混ざってしまいます。

IT Postの見方

IT Postでは、ローカルAIの価値は「最大のモデルを動かした」という記念写真より、毎日の小さな用事が片づくことにあると考えます。短い文章の整理に使うだけなのに、巨大モデルのためにPCの買い替えまで始めたら、買い物袋を運ぶために大型トラックを注文するようなものだ。

まず容量を確認する。無理のない設定を選ぶ。自分の題材で試す。そこで困ってから次のモデルを考える。この順番なら、ランキングの興奮が冷めた後にも道具が残る。外部通信も気になるなら、次はLM Studioがオフラインでできることと、通信が必要になる場面を確認してほしい。