基礎概念
マルチモーダル検索とは?Multimodal Search
結論
マルチモーダル検索とは、テキストだけでなく画像・音声・動画など複数の種類の情報を組み合わせて検索できる仕組みのこと。写真を撮って質問するといった使い方がこれにあたる。
Googleレンズのようにカメラで撮影した商品や風景について調べたり、画像に「これと似た色の服は?」と文章で条件を付け加えたりする検索が代表例。GeminiやChatGPTなどの対話型AIも、画像や音声を入力として受け付けるものが増えている。
マルチモーダル検索では、テキスト以外のコンテンツもAIに理解・参照される対象になる。商品画像や図解に適切な代替テキスト(alt属性)やキャプションを付け、画像が何を示しているかをページ本文でも説明しておくことで、画像起点の検索でも自社の情報が結び付けられやすくなる。