もう少し詳しく

モデル蒸留じょうりゅうとは、大規模で高性能だが計算コストの大きい「教師モデル」の判断や出力を、より小さく軽量な「生徒モデル」に学習させることで、教師モデルに近い性能を、少ない計算資源で再現しようとする技術です。生徒モデルは、教師モデルが出す答えそのものだけでなく、答えに至る際の確率分布(どの選択肢をどれくらい「それらしい」と判断したか)なども手がかりにして学習します。

どこで使われるか

スマートフォンやパソコンなど、データセンターほどの計算資源を持たない機器上でAIを動かす場面で広く使われています。クラウド上の大規模な大規模言語モデルだいきぼげんごモデルをそのまま動かすのは難しくても、蒸留によって軽量化したモデルであれば、手元の機器でも実用的な速度で動かせます。また、AI開発企業にとっては、自社の高性能モデルの出力を無断で使って競合の安価なモデルを作られてしまう「無断蒸留」を防ぐことも、近年の課題の一つになっています。

身近な例

スマートフォンのカメラアプリが写真の被写体を瞬時に認識する機能や、音声アシスタントが機器内だけで完結する簡単な応答を返す機能などには、蒸留によって軽量化されたAIモデルが使われていることがあります。クラウドに接続しなくても一定の処理ができるのは、こうした軽量化の恩恵です。

注意点

生徒モデルは教師モデルの完全な複製ではないため、教師モデルが持っていた能力の一部が失われることがあります。特に、まれにしか出てこない特殊なケースへの対応力は、蒸留の過程で落ちやすいとされています。「軽くて速いが、教師モデルほど万能ではない」という前提で使うのが安全です。