AI分析ツール:自由回答を要約する確認手順
AI分析ツールでアンケートの自由回答を分析する手順です。引用の確認と頻度の確認を、入力例と完成例、練習問題つきで示します。
「AI分析ツール」と検索すると、売上や会員データのような数字の分析を思い浮かべる人が多いと思います。もう一つ実用的な使い方があります。アンケートの自由回答やレビューのような文章データの分析です。数字の表と違い、こちらは要約が一見きれいに見えても、根拠が合っているかが分かりにくいという別の難しさがあります。
よくある失敗は、回答をそのまま貼って「傾向を教えて」と聞くことです。AIはそれでも自信を持って答えを返しますが、どの回答を根拠にしたのかが示されないまま、きれいな箇条書きだけが出てきます。
入力する前に準備する3つのこと
- 聞きたいことを先に決めます。「傾向を教えて」ではなく「一番多い不満は何か」のように、答えが一つに絞られる聞き方にします。
- 各回答がどの質問への答えかを伝えます。アンケートの設問文を省略すると、AIが前後の文脈から誤って推測することがあります。
- 根拠となる引用を求めます。言い換えではなく、元の文章そのままの一文を示してもらいます。
具体的な手順
- 聞きたいことを一文で決めます。「全体的にどう思う」ではなく「一番多い不満は何か」のように絞ります。
- 各回答に、どの引用から判断したかを示すよう頼みます。引用がなければ、その判断は確認できません。
- 引用された一文を元の回答リストの中で探します。見つからなければ、その判断は作られたものです。
- 頻度も聞きます。「1件だけの意見」と「40件中15件が同じ意見」では、重みが全く違います。
入力例から完成例まで
弱い頼み方:「この40件のアンケート回答を分析してください」。結果は「使いやすさへの期待」「価格への関心」のような、どの回答を見てもそれなりに当てはまりそうな一般論になりがちです。
具体的な頼み方:「この40件は『サービスの改善点』という設問への回答です。一番多い不満を3つ挙げてください。それぞれ、根拠にした回答の一文をそのまま引用し、似た意見が全体で何件あったかも教えてください」。結果には引用と件数がつくので、元のリストと照らして確認できます。
整った箇条書きは分析が終わった証拠ではありません。引用した一文を元のリストで見つけられたときに、初めて分析と呼べます。
ツールの制約
文章データの分析で特に起きやすい間違いが3つあります。1つめは、存在しない引用、または元の文章を少し変えた引用です。回答数が多いほど起きやすくなります。2つめは、遠回しな書き方の読み違いです。「対応は早かったですが、説明がもう少し詳しいとよかったです」は、形としては褒め言葉から始まりますが、実質は改善要望です。3つめは、1件だけの意見を傾向のように扱うことです。40件中1件の意見も、流れるような文章で説明されると、15件の意見と同じ重みに見えてしまいます。
この3つのどれも、出力の見た目では分かりません。箇条書きが整っていても、中の引用が本当に存在するかどうかとは関係がないからです。ここで前の手順の引用確認が効いてきます。
職場での使われ方の広がり
生成AIを業務で使う企業の広がりは総務省の情報通信白書が国際比較つきで公表しています。どの業務が自動化に向いていて、どこに人の確認が必要かはIPAが調査を続けています。モデルの進化の速さそのものはStanford AI Indexが毎年追跡しており、文章の読み違いのような細かい精度は、流暢さほど速くは改善していません。
こうした確認を飛ばさずにできる力こそ、PwC AI Jobs Barometerが約10億件の求人データから見出した、賃金に差がつくスキルの一つです。経済産業省も、生成AIの業務活用において人による確認を欠かせない工程として位置づけています。
自分で試す練習
- 実際にある自由回答のデータを用意します。デモ用のデータではなく、本当に見る必要があるものにします。
- 聞きたいことを一文で決めてから、AIに渡します。
- 各判断に引用を求め、元のリストでその一文を探します。
- 頻度も聞き、1件の意見を傾向として扱っていないか確認します。
数字の表を集計したい場合は、同じ確認の考え方をChatGPT Excel活用法で扱っています。通話メモの要約や一次回答の下書きであれば、AIコールセンター活用が同じ引用確認の手順を別の場面で示しています。日本語でAIに頼むときの基本的な工夫はChatGPTの使い方(日本語)にまとめています。出力を鵜呑みにせず確認するという原則そのものはAIの使い方で詳しく扱っています。
引用を元データで確認するという、この力こそCoursiumがスマホの短いレッスンで練習できるようにしています。AIの一歩先へ、実際の仕事に近い練習から始めてみてください。詳しくはCoursiumについて。