AIエンジン・技術
チャンキングとは?Chunking
結論
チャンキングとは、長い文章を段落や一定の文字数ごとの小さなかたまり(チャンク)に分割する処理のこと。RAGなどのAI検索で、文書から質問に関係する部分だけを取り出すための前処理として行われる。
AIは長いページの全文を毎回読むのではなく、チャンク単位でエンベディングに変換して検索し、質問に最も関係の深い部分だけを回答の材料にすることが多い。分割の仕方はシステムによって異なり、見出しや段落の区切りを手がかりにすることもある。
このため、ページの一部分だけが切り出されても意味が通じる書き方が有利になる。見出しごとに1つのテーマを扱い、段落の冒頭で結論を述べ、「前述の通り」「それ」のような前後の文脈に依存した表現を減らすことで、どのチャンクが取り出されても自社名と要点が正しく伝わりやすくなる。