基礎概念
学習データとは?Training Data
結論
学習データとは、AIモデルを訓練する際に使用されるデータのこと。LLMの場合は、Webページや書籍、論文、コードなどの大量のテキストが用いられる。
LLMが特定の企業やブランドについて検索なしで答えられるのは、その情報が学習データに含まれていたためである。Web上で多くのサイトに言及されている企業ほど学習データにも繰り返し現れ、モデルが正しく認識している可能性が高くなると考えられている。
Webデータの収集には各AI企業のクローラーや、Common Crawlのような公開データセットが使われることが多い。robots.txtで学習用クローラーを拒否する選択肢もあるが、その場合は自社の情報がモデルの知識として蓄積されにくくなるというトレードオフがある。学習用と検索用でクローラーを分けているAI企業もあるため、目的に応じた個別の設定が求められる。