AIエンジン・技術
トークンとは?Token
結論
トークンとは、AI(LLM)が文章を処理する際の最小単位のこと。単語や文字の断片に相当し、AIは入力も出力もトークン単位で扱う。利用料金や一度に読める文章量もトークン数で決まる。
英語ではおおむね単語や単語の一部が1トークンになるが、日本語では1文字が1トークン以上になることもあり、同じ内容でも言語やモデルによって消費トークン数が変わる。APIの料金は入力・出力のトークン数に応じて課金されるのが一般的である。
AEOの観点では、AIが一度に処理できるトークン数には上限があるため、検索で取得したページの全文ではなく一部だけが回答生成に使われることがある点が重要になる。冗長な前置きを削り、結論や重要な情報をページの前半や各段落の冒頭に置く書き方は、限られたトークンの中で要点を拾ってもらうための工夫でもある。