もう少し詳しく

MoEえむおーいー(Mixture of Experts、専門家混合)とは、AIモデルの内部を「エキスパート」と呼ばれる複数の小さな処理ブロックに分割しておき、入力された内容に応じて、そのつど一部のエキスパートだけを選んで計算させる仕組みです。モデル全体としては膨大な数のパラメータ(重みおもみ、AIが学習した知識を数値化したもの)を持ちながら、実際の計算では一部のパラメータしか使わないため、性能を保ちながら計算コストを抑えられるという特徴があります。

どこで使われるか

近年公開されている大規模な生成AIモデルの多くが、このMoEという設計を採用しています。膨大なパラメータを持つモデルを、現実的な計算資源とコストで動かすための工夫として、AI開発企業の間で広く使われています。

身近な例

私たちが日常的に使うAIチャットサービスの裏側で動いているモデルの中にも、MoE方式を採用しているものが少なくありません。利用者から見た使い勝手は通常のAIモデルと変わりませんが、開発企業にとっては同じ性能をより安いコストで提供できる技術的な工夫にあたります。

注意点

MoEは「総パラメータ数」と「実際に計算に使われるパラメータ数(アクティブパラメータ数)」が大きく異なるため、モデルの規模を比較する際にどちらの数値が示されているかを確認しないと、性能や計算コストの実態を見誤ることがあります。