AIエンジン・技術
Transformerとは?トランスフォーマー
結論
Transformerとは、現在の大規模言語モデル(LLM)のほとんどが採用しているニューラルネットワークの構造のこと。2017年にGoogleの研究者らが論文「Attention Is All You Need」で発表した。
文章中のどの単語がどの単語と強く関係しているかを計算する「アテンション(注意機構)」という仕組みが中核にあり、長い文章の文脈を効率よく捉えられる。GPTの「T」もTransformerを意味しており、ChatGPT、Claude、Geminiなど主要なAIはいずれもこの技術を土台にしている。
マーケティング担当者が仕組みを細部まで理解する必要はないが、AIは「文脈の中で言葉同士の関係を捉えて次の言葉を予測している」と知っておくと、自社名と提供価値・カテゴリ名が一貫して結びついて語られていることの重要性が理解しやすくなる。