マルチモーダルAIとは:複数の情報を一度に渡すときの注意点
マルチモーダルAIとは、画像・音声・文章など複数の種類の情報を一度に扱えるAIのことです。仕事での使い方、矛盾する情報への対処法、確認手順をまとめます。
マルチモーダルAIとは、文章、画像、音声といった複数の種類の情報を、一つの会話の中でまとめて扱えるAIのことです。写真だけを読み取る機能や、音声だけを文字にする機能は、それぞれ単体でもすでに使われています。マルチモーダルAIが違うのは、その複数の種類の情報を同時に渡して、まとめて一つの結論や下書きを作らせられる点です。
よくある場面を考えます。カスタマーサポートの担当者が、届いた商品の破損を訴える問い合わせに対応するとします。手元にあるのは、顧客が送ってきた破損箇所の写真、電話で聞き取った内容を録音した音声メモ、そして自分が取った簡単なメモの三つです。これらをまとめて渡し、返信メールの下書きを一度に作らせるのが、マルチモーダルAIの典型的な使い方です。
できることと、そのまま信じてはいけないこと
- 画像と文章を一緒に渡し、両方を踏まえた説明を求める:得意な使い方です。グラフの画像と、達成したい数値目標を文章で渡し、両者の差を説明させるような使い方が向いています。
- 写真・音声・文章のように三種類以上の情報を一度に渡す:一つ一つの単体機能より、判断の精度がやや不安定になりやすい部分です。どの情報を根拠に結論を出したのかが、渡された情報の量が増えるほど分かりにくくなります。
- 複数の情報源の内容が食い違っている場合:AIはその矛盾を指摘せず、どちらか一方を勝手に採用して、まとめられた形の答えを返してしまうことがあります。
見落とされがちな点があります。文章だけ、あるいは画像だけを渡す場合は、AIがどの情報を根拠に答えたかは比較的分かりやすいです。ところが写真と音声と文章を同時に渡すと、三つのうちどれを重く見て結論を出したのかが、返ってきた文章からは見えなくなります。この「根拠が見えなくなる」という点が、単一の情報を扱うときにはなかった、複数の情報を同時に扱うときならではの確認の手間です。
確認を組み込む手順
- 渡そうとしている情報の種類(画像・音声・文章)を、頼む前に自分の中で整理する。
- 情報同士が食い違っている可能性がある場合は、その旨を先に伝え、矛盾があれば指摘するよう頼む。
- 結論や下書きの根拠を、どの情報から来たものかを明示するよう求める。
- 結果の中でも重要な事実(金額・日付・固有名詞)は、渡した元の情報と個別に照合する。
具体例:破損商品の問い合わせに返信する
弱い頼み方は、破損箇所の写真、音声メモ、自分のメモの三つをそのまま渡して「これで返信メールを作って」とだけ頼むことです。返ってくる文章は一見きちんとしていますが、音声メモの中で顧客が話していた希望(交換ではなく返金を希望している、など)が反映されず、写真だけから判断した一般的な謝罪文になっていることがあります。
うまくいく頼み方はこうなります。「一枚目は顧客から届いた破損箇所の写真です。二つ目は電話でのやり取りを録音した音声メモで、顧客の希望が含まれています。三つ目は私が取った簡単なメモです。これらの内容が食い違う場合は、まず食い違いを指摘してください。そのうえで、音声メモにある顧客の希望を最優先にした返信メールの下書きを作り、どの部分をどの情報から書いたかも簡単に教えてください。」この頼み方なら、AIが何を根拠に返信文を作ったかが分かり、確認すべき箇所も絞り込めます。
複数の情報をまとめて渡すほど、AIの答えは滑らかになります。滑らかさは、根拠がはっきりしていることの証拠にはなりません。
この確認は、渡す情報が増えるほど省略できなくなります。写真だけを読み取る使い方の確認手順はChatGPTの画像認識で、写っているもの自体の種類を判定する使い方の注意点は画像認識AIとはで扱っています。どちらも単体の情報を扱う場合の話ですが、複数の情報を同時に渡す場合は、そこに「根拠がどれか分からなくなる」という一段階分の確認が追加で必要になります。
なぜ根拠が見えにくくなるのか
こうしたモデルが複数の種類の情報をどこまで正確に組み合わせられるかは、Stanford HAIのAI Indexが毎年、画像・音声・文章を組み合わせた評価の結果として測定しています。精度は年々上がっていますが、複数の情報源が矛盾する場面での判断は、単一の情報を扱う場面よりも評価が難しい領域として扱われています。生成された結果を人が確認する責任は、OECDのAI原則でも明記されています。
顧客の音声や写真をこうしたサービスに渡す場合、そこには個人情報が含まれていることがほとんどです。個人情報保護委員会は、個人情報を含むプロンプトを入力する際は、それが利用目的の達成に必要な範囲内かを十分に確認するよう呼びかけています。写真や音声も、文章と同じくこの確認の対象です。
国内での広がり
国内でのこうした複数の情報を組み合わせるAI機能の使われ方の広がりは、総務省の情報通信白書が毎年、国際比較を含めて公表しています。企業でのデジタル活用の実態についてはIPA(情報処理推進機構)が継続的に調査しており、便利さの広がりと確認の必要性は別の軸で進んでいることが分かります。
月曜日に試すこと
- 手元にある画像と文章、または音声と文章を一つずつ選び、それぞれが何であるかを明示して一緒に渡す。
- 情報同士が食い違う可能性がある場合は、矛盾があれば指摘するよう先に頼む。
- 結論の根拠を、どの情報から来たものかを教えてもらう。
- 重要な事実は、渡した元の情報と一つずつ照合してから使う。
AIが得意な作業と苦手な作業の境目はAIでできることと、できないことで、出力を鵜呑みにしないという同じ原則はAIの使い方で扱っています。会社が把握していないツールに顧客の写真や音声を渡してしまう前に確認しておきたい点はシャドーAIとはにまとめました。声そのものを加工する使い方の注意点はAIボイスチェンジャーの使い方と注意点で扱っています。
複数の情報を整理して渡し、根拠を確認するという力は、Coursiumがスマホの短いレッスンで練習できるようにしています。AIの一歩先へ、実際の仕事に近い練習から始めてみてください。詳しくはCoursiumについて。