マルチモーダルAI
マルチモーダルAIとは
マルチモーダルAIは、テキスト・画像・音声・動画など、複数の種類(モダリティ)のデータをまとめて扱えるAIです。従来のAIはテキストならテキスト、画像なら画像と、1種類のデータに特化していました(ユニモーダル)。
現在の主要な [[生成AI・LLM]] の多くはマルチモーダル化しており、「この画像を見て説明して」「このグラフから傾向を読み取って」といった、種類の異なる情報をまたぐ指示に応えられます。
何ができるのか
| 入力 → 出力 | 例 |
|---|---|
| 画像 → テキスト | 写真の説明、グラフの読み取り、手書きメモの文字起こし |
| テキスト → 画像 | [[画像生成AI]] によるイラスト・図の生成 |
| 音声 → テキスト | 会議の文字起こし([[音声認識と音声合成]]) |
| テキスト → 音声 | 読み上げ、音声アシスタントの応答 |
| 画像+テキスト → テキスト | 「この設計図のこの部分は何?」のような質問応答 |
人間が目と耳で情報を得て言葉で答えるように、複数の感覚を組み合わせられることが実用性を大きく高めています。
仕組みのイメージ
マルチモーダルAIは、画像や音声をテキストと同じ「共通の数値表現」に変換してから処理します。種類の違うデータを同じ土俵(ベクトル空間)に載せることで、「画像の内容」と「言葉の意味」を結びつけられるようになります。この考え方は [[埋め込みとベクトル検索]] の発展形として理解できます。
初学者向けポイント
- スクリーンショットを貼って「このエラーの原因は?」と聞く使い方は、開発現場で最も手軽なマルチモーダル活用です
- 画像の読み取りにも [[ハルシネーション]] は起こります。細かい数値や文字の読み取り結果は検証しましょう
- 画像・音声の入力はテキストよりトークン消費が大きくなりがちで、コストに影響します
関連技術とのつながり
- [[生成AI・LLM]] — 主要な LLM はマルチモーダル対応が標準になりつつある
- [[画像生成AI]] — テキストから画像を作るマルチモーダルの代表例
- [[音声認識と音声合成]] — 音声モダリティを担う技術
- [[コンピュータビジョン]] — 画像を理解する側の基盤技術
Q: マルチモーダルAIの説明として正しいものはどれ?
- [x] テキスト・画像・音声など複数の種類のデータを扱えるAI
- [ ] 複数のサーバーで並列動作するAI
- [ ] 複数の言語に翻訳できるAI
解説: モダリティとはデータの種類のことで、それを複数扱えるのがマルチモーダルAIです。
Q: 従来のユニモーダルなAIとの違いはどれ?
- [ ] マルチモーダルAIは学習が不要
- [x] 種類の異なる情報をまたいだ処理(画像を見て文章で答えるなど)ができる
- [ ] ユニモーダルAIより必ず高速に動く
解説: 1種類のデータ専用だった従来型に対し、マルチモーダルAIはモダリティをまたぐ指示に応えられます。
Q: マルチモーダルAIが種類の違うデータを結びつけられる仕組みのイメージはどれ?
- [ ] データの種類ごとに別々のAIが順番に回答する
- [x] 画像や音声を共通の数値表現に変換して同じ土俵で処理する
- [ ] すべてのデータを一度紙に印刷して処理する
解説: 異なるモダリティを共通のベクトル空間に載せることで、画像の内容と言葉の意味を関連づけられます。