GoogleとMetaが育てた「TorchTPU」オープンソース化は何をもたらすのか。llm-d連携の推論4倍・学習8192基という数字を整理する

まず初めに

GoogleのTPUといえば、長らく「Googleの社内でしか気持ちよく動かない、よそ者には不親切なマシン」という扱いだった。それが今回、開発者が普段から使っている道具箱の中心「PyTorch」に、正式な選択肢としてすんなり迎え入れられた格好だ。しかも相手は、長年ライバル関係にあったはずのMeta。GPUの争奪戦に全員が頭を抱えている今、普段は殴り合っている会社同士も、同じ船に乗った方が得だと気づいたらしい。

※個人の感想です

何が起きているのか

Google(著者:Mark Lohmeyer氏、Bill Jia氏)は2026年10月20日、米国で開催されたPyTorch Conference 2026において、Meta社のPyTorchチームと共同開発したTPU向けのネイティブPyTorchスタック「TorchTPU」を、GitHub上でオープンソースとして公開したと発表しました。発表文では「With TorchTPU, TPUs join GPUs and CPUs as a native option for PyTorch(TorchTPUにより、TPUはGPU・CPUと並ぶPyTorchのネイティブな選択肢に加わる)」と説明されています。開発者は、既存のPyTorchのコードをほとんど書き換えず、使い慣れたAPIのまま、まずeagerモード(1行ずつ実行するモード)でモデルの動作を確認し、torch.compileを使って本番向けの性能に移行できるとしています。

オープンソース化によって、TPU上での学習・提供・デプロイを、vLLM、SGLang、llm-d、TorchTitan、Ray、TorchRec、Hugging Face、LiteRTといった既存のツールチェーンのまま行えるようになりました。Hugging FaceのJeff Boudier氏(プロダクト担当VP)は、主要ライブラリ(Transformersなど)へのネイティブなTorchTPU対応を、Googleとの協業で実現したとコメントしています。発表によれば、Transformers v5ではdevice_map="tpu"という指定だけでTPUへのデプロイができるようになり、Diffusersもeagerモード・torch.compile・テンソル並列化に対応してTPU上でネイティブに動作するとされています。

推論エンジンとの連携では、vLLMが継続的バッチ処理・量子化・マルチチップ並列化に対応し、既存の推論スタックを変更せずに利用できるとしています。vLLMを開発するInferactのSimon Mo氏(CEO兼共同創業者)は、TorchTPUの立ち上げに協業し、vLLMをTPU上で第一級にサポートできることを喜んでいるとコメントしています。SGLangを開発するRadixArkのBanghua Zhu氏(CTO兼共同創業者)も、多様なシリコン向けにSGLangのサポートを展開する中で、TorchTPUが開発速度を大きく高めたとしています。インドのAI企業Zenteiq.aiのSashikumaar Ganesan氏(創業者)は、llm-dを使うGKE Inference Gatewayで、負荷状況とプレフィックスキャッシュを考慮したルーティングにより、集計した推論スループットを4倍以上に高め、1,000基のTPU v6eあたりの1日あたりの生成トークン数が14.7億から59.7億に増えたと報告しています。これは同社のシステム全体の事例であり、TorchTPUだけを導入すれば4倍になるという測定ではありません。

学習の大規模化では、PyTorchネイティブの分散学習リファレンス実装「TorchTitan」が、Llama 3 70B/405B、Qwen 3 8B/32B、Qwen 3 235B(MoE、複数の専門家モデルを切り替えて使う仕組み)、FLUX.1 12Bといったモデルのレシピに対応し、最大8,192基のTPU(Ironwood、第7世代)でほぼ線形のスケーリングと安定性を示したとされています。MetaのPyTorchエンジニアリング担当ディレクターであるJana van Greunen氏は、TorchTPUによって、中核の機械学習システムチームとハードウェアを柔軟に共同開発しながら、LLM・広告・レコメンデーションといった主要な本番ワークロードを支えられるようになったと述べています。デプロイ面では、旧TensorFlow Liteである「LiteRT」がPyTorchエコシステムに参加し、litert_torch.convert()という1回の呼び出しでPyTorchモデルを変換し、Android・iOS・macOS・Windows・Linux・Web・IoT機器上で動作させられるとしています。発表には、TPUとGPUの直接的な性能比較データは記載されていません。

なぜ重要なのか

この発表が重要な理由は、AIモデルの学習・運用に欠かせないGPUの調達競争が激しくなる中、開発者がPyTorchという使い慣れたツールのまま、GoogleのTPUという別の選択肢に乗り換えられるようになった点です。これまでTPUを使うには専用の知識やツールへの対応が必要でしたが、TorchTPUによってその障壁が下がり、GPU不足やコストに悩む企業にとって、計算資源の選択肢が実質的に広がります。

もう一つの重要な点は、競合関係にあるGoogleとMetaが、AIモデルそのものの開発競争とは別に、それを動かすための基盤技術では協業している点です。加えて、Hugging Face・vLLM・SGLangといったオープンソースコミュニティの主要なプレイヤーが、立ち上げ段階からそろって対応を表明しており、特定の1社に閉じた技術ではなく、業界標準の一部として扱われつつあることがうかがえます。

私たちへの影響

今回の発表で直接の対応が必要になるのは、PyTorchを使ってAIモデルの学習・運用を行っている企業の開発者・インフラ担当者です。既存のツールチェーンをほぼそのまま使えるとされているため、比較的小さな変更でTPUを試せる形になっています。

一般の消費者が直接何かの対応を取る必要はありません。ただし、普段利用しているAIサービスの裏側で、開発企業がGPUとTPUを使い分けられるようになることで、サービスの提供コストや安定性が変わっていく可能性があります。

初心者が知っておくべきこと

TPU(Tensor Processing Unit)とは、Googleが自社開発しているAI処理専用のチップのことです。AIの学習・推論処理に特化して設計されており、汎用的な処理ができるCPUや、画像処理から転用されることが多いGPUとは異なる位置づけの計算資源です。

推論とは、学習済みのAIモデルに実際の入力を与えて、結果を出力させる処理のことです。私たちが普段チャットAIを使うときに裏側で行われているのは、基本的にこの推論処理であり、今回の発表ではこの推論処理を複数のTPU・GPUにまたがって効率よく実行するための連携が強化されています。

Q. TorchTPUは、今すぐ誰でも試せるものですか。 A. TorchTPU本体やvLLM・SGLang向けの対応コードはGitHub上で公開されています。ただし、VeRL(強化学習向け)やTPU agent suiteなど、一部の機能はこの発表時点ではまだプレビュー(試験提供)の段階とされています。

IT Postの見方——ライバル同士の協業が映す、計算資源争奪戦の本気度

IT Postは、特定のクラウド事業者・ハードウェアに閉じていた技術が、PyTorchという共通言語を介して開発者に開かれたことは、計算資源の選択肢を広げる前向きな動きだと考えます。GPU不足によるコスト上昇に悩む企業にとって、使い慣れたツールのまま別の選択肢を試せることには実質的な価値があります。

一方で、IT Postでは、今回の4倍以上という数字が、llm-dを使うGKE Inference Gatewayを運用するZenteiq.aiという、相応の技術力を持つAI企業の事例であることには留意が必要だと考えます。TPUへの移行自体の障壁は下がったとはいえ、実際に大規模な分散学習・推論基盤を使いこなし、その効果を具体的な数字で示せるかどうかは、依然として専門的な知識と計算資源を持つ企業が中心になりやすいとIT Postは見ています。

※個人の感想です

今後どうなりそうか

発表では、VeRL(強化学習向けTPUバックエンド)とTPU agent suiteが、この発表時点ではまだプレビュー(試験提供)の段階にあるとされています。これらが正式な提供段階に進んだ際、どの程度の企業・開発者がTPUへの移行を実際に進めるのかは、現時点では明らかになっていません。IT Postでは、TorchTPUの採用が広がり、GPUとの具体的な性能・コスト比較が明らかになった時点で、あらためて取り上げます。