Edge0-145B、145Bを1台のGPUで動かすと喧伝。ただしモデルカードの実測は合計約61GiBで、話はそう単純ではない

まず初めに

「145BがノートPCで動く」。この一文の破壊力は認める。だが、メモリの話は合計で語るのが礼儀というものだ。財布の中身を聞かれて「小銭入れには29枚しか入っていない」と答えるようなもので、札入れのほうにまだ38枚残っている。嘘ではない。ただ、全部ではない。こういう数字の出し方をする発表ほど、一次資料を最後まで読む価値がある。 ※個人の感想です

モデルの仕様（モデルカードの記載）

Hugging Faceのモデルカードによると、Edge0-145Bは潜在型のスパースMoE（混合専門家）モデルです。総パラメータは145Bで、1トークンの処理で活性化するのは10.12Bです。構成は48層、各層に512のエキスパートを持ち、1トークンあたり10個のルーティング先エキスパートと1個の共有エキスパートが動きます。コンテキスト長は256Kで、学習は最初から4ビットで行われたとされています。

配布形式は2種類あります。Q3_K版はディスク上で40.81GiB、NVFP4版は47.79GiBです。実行には同社の推論エンジン「edge0-infer」を使い、コマンドラインかデスクトップアプリから動かします。ビルド手順が用意されているのは、CUDA 13を使うLinuxとWindows（x64とARM64）で、Q3_K版についてはApple SiliconのMetal向け手順もあります。

性能の公表値もモデルカードにあります。NVFP4版をRTX 5090 D 24GBで測った場合、エージェント用途のデコードで98.3トークン／秒、16Kトークンのプリフィルで3,165.7トークン／秒とされています。ベンチマークのスコア（terminal-bench 2.1で86.5など）も同社の評価としてモデルカードに掲載されていますが、いずれもEdge0自身の測定であり、第三者による再現はまだ確認されていません。

「29GB」の読み方

発表側のブログは「ピークメモリ29GB」を前面に出し、MacBook Proのような対応ノートPCでのローカル利用をうたっています。これに対してモデルカードは、常駐（residency）を有効にした場合の実測として、NVFP4版でVRAM 23.25GiBとホストRAM 38.27GiB、Q3_K版でVRAM 23.14GiBとホストRAM 31.28GiBという内訳を示しています。

つまり、GPU側だけを見れば20GB台で収まる一方、機械全体では合計で約54〜61GiBのメモリを使う設計です。これに加えて、51.2Bパラメータ分のn-gram埋め込み表がディスクからメモリマップされて使われます。「1台のGPUで動く」こと自体はモデルカードの実測が裏づけていますが、「29GBで足りる」と読むと足りなくなります。手元の機械で試す場合は、VRAMだけでなくシステムメモリとディスク容量まで含めて見積もってください。

ライセンスと土台モデルの開示

重みのライセンスは、Edge0 Community Model License 1.0です。個人利用、研究、改変、非商用の共有、社内利用、生成物の商用利用は認められています。一方で、重みそのものの販売・貸与・ライセンス供与、利用者が推論入力を制御する有償のモデルサービスの運営、独立したAIコーディング／事務支援製品の提供については、Edge0の書面ライセンスが別途必要だと定められています。「オープンウェイト」ではありますが、条件なしのオープンソースとは扱いが異なります。

もう1点、土台モデルの開示にも発表とカードで温度差があります。発表側は「オンデバイス向けのアーキテクチャで最初から学習した」と説明しますが、モデルカードのメタデータはbase_modelとしてQwen/Qwen3.8-Flash-Next（Alibaba）を示しています。派生モデルであること自体は悪いことではありませんが、評価や再現を考える利用者は、カード側の記載を前提に読むのが正確です。セットアップと再現手順を含む技術レポートは、二次報道によるとまだ公開されていません。

試す前に見積もるべきもの

手元の機械で試す場合の見積もりは、3つの数字を足し算することから始まります。第1に重みそのものの大きさで、Q3_K版で40.81GiB、NVFP4版で47.79GiBのディスク容量が要ります。第2に実行時の常駐分で、モデルカードの実測ではVRAMとホストRAMを合わせて約54〜61GiBです。第3に、51.2Bパラメータ分のn-gram埋め込み表がディスクから読み込まれる分で、作業領域としての空きも見ておく必要があります。

「GPUのVRAMが24GBあるから動くはず」という見積もりは、このモデルでは半分しか正しくありません。設計自体が、重みとキャッシュをGPUとホストRAMに分散して置く前提で組まれているためです。逆に言えば、VRAMが潤沢でなくてもシステムメモリ側で受け止める余地がある、というのがこのアーキテクチャの売りでもあります。二次報道によると、同時に小さい120B版も公開されています。145Bで見積もりが合わない場合は、そちらから試す選択肢もあります。

IT Postの見方

IT Postでは、Edge0-145Bの技術的な中身と、数字の売り方を分けて評価すべきだと考えます。中身のほうは本物だ。総パラメータを大きく取りながら活性を10B程度に抑え、4ビットで最初から学習し、コンシューマーGPU1台に収める。ローカル実行の選択肢として、llama.cpp v1.0.0の到達と同じ土俵で語れるだけの材料はある。

売り方のほうはいただけない。見出しの29GBと、カードの合計約61GiB。この差は誤差ではなく、読む場所を指定しないと生まれない差だ。しかも土台モデルの名はブログではなくカードにしかない。一次資料を全部読む読者は少数派で、見出しだけが一人歩きすることを発表側はよく知っているはずだ。実力が本物なら、なおさら数字は合計で出すべきだった。惜しい、というより、もったいない。

今後どうなりそうか

今後の焦点は2つあります。1つは技術レポートの公開で、学習と評価の再現条件がどこまで開示されるかです。もう1つは第三者による実測で、特にノートPC級の環境で公表値に近い速度とメモリ使用量が再現できるかどうかです。独立した検証が出るまでは、ベンチマークと「29GB」の双方を同社の主張として扱い、手元での小規模な試行から始めるのが無難です。