もう少し詳しく

トークンとーくんとは、生成AIが文章を処理する際に扱う最小単位のことです。「私は学校に行きます」という文章であれば、AIの内部では「私」「は」「学校」「に」「行き」「ます」のように、意味のまとまりごとに分割されて処理されます。1つの単語がそのまま1トークンとーくんになるとは限らず、長い単語は複数のトークンとーくんに分かれることもあります。

どこで使われるか

ChatGPTやClaude、Geminiといった対話型AIサービスのほぼすべてで使われている仕組みです。AIに入力する文章(入力トークンとーくん)と、AIが返す文章(出力トークンとーくん)の両方がトークンとーくんとして数えられます。

身近な例

多くのAIサービスでは、利用したトークンとーくん数に応じて料金が発生する仕組みになっています。「1秒あたり何トークンとーくん処理できるか」という数値は、AIの応答速度を示す指標としてもよく使われ、値が大きいほど文章がすばやく生成されることを意味します。

注意点

トークンとーくん数は、文字数や単語数と単純に一致するわけではありません。特に日本語は、英語に比べて同じ文章量でもトークンとーくん数が多くなりやすい傾向があるとされており、料金や処理速度を他言語のサービスと比較する際には注意が必要です。