ChatGPTの仕組み:なぜ自信満々に間違えるのか

ChatGPTに質問すると、まるで答えを「調べて」返しているように見えます。実際に起きているのは検索ではなく、学習データに含まれる大量の文章のパターンから、次にどの単語が来るかを一つずつ確率で予測する作業です。この違いを知らないまま使うと、自信満々に返ってきた誤った数字や日付を、正しい答えだと思い込みやすくなります。

よくある誤解は、「分からないことは分からないと答えるはずだ」という前提です。ChatGPTは、学習データの中で答えが見つからない場合でも、それらしい続きの単語を選んで文章を完成させます。分からないという状態と、もっともらしく埋めるという動作は、出力される文章の見た目ではまったく区別がつきません。

ChatGPTが実際にしていること

• —入力された文章を単語やその一部(トークン)に分解し、次に来るトークンを、学習データの中でよく一緒に使われていたパターンから確率的に選びます。
• —この予測を一語ずつ繰り返して文章全体を作ります。データベースのように「正解」を一件取り出しているわけではありません。
• —学習した時点までのデータに基づいて答えるため、それ以降に起きた出来事や、学習データにほとんど含まれない専門的・社内限定の情報には弱くなります。
• —会話の中で直前までのやり取りは参照しますが、別の会話や、指示されていない外部情報を勝手に覚えているわけではありません。

この仕組みが実際にどう出るか

例として、あまり知られていない地方の制度について尋ねる場面を考えます。弱い聞き方「〇〇市の助成金制度について教えて」に対して、それらしい制度名と金額が返ってくることがあります。学習データにその市の情報が少ない場合、似た規模の他の自治体の制度パターンから、それらしい数字が生成されている可能性があります。文章の自信ありげな調子は、情報の正確さとは無関係です。

より安全な聞き方:「〇〇市の助成金制度について、確実な情報源が分かる場合のみ教えてください。断定できない場合は、その旨を明記してください。」この指定があっても完全ではありませんが、断定を避けるよう促すことで、それらしい数字がそのまま断定的に出てくる可能性は下がります。最終的には、示された内容を自治体の公式サイトなど一次情報と照合する作業が欠かせません。

自信を持って書かれた文章と、正しい文章は別のものです。次の単語を確率で選ぶ仕組みである以上、この二つは元から区別されて生成されていません。

この仕組みを知ると変わること

1. 01固有名詞・数字・日付は、生成AIの回答をそのまま使わず、一次情報と照合してから使う習慣をつけます。
2. 02「分からない場合は分からないと言ってください」と明示的に頼むと、断定を避けた答えが返ってきやすくなりますが、それでも完全に防げるわけではないと理解しておきます。
3. 03学習データに情報が少ないと予想される話題(最近の出来事、社内限定の情報、あまり知られていない地域や制度)ほど、確認の優先度を上げます。
4. 04同じ質問を少し言い方を変えて2回聞いてみて、答えが大きく変わる場合は、どちらも確認が必要な内容だと判断します。

仕組みの進化と、それでも残る確認の必要性

こうしたモデルの精度がどう向上しているかは、Stanford HAIのAI Indexが毎年測定しています。自信ありげに見える度合いと実際に正しい度合いの差は年々縮まっていますが、次の単語を確率で予測するという仕組みそのものが変わらない限り、差がゼロになるわけではありません。生成された結果を人が確認する責任は、OECDのAI原則でも明記されています。

国内でこうした生成AIをすでに使ったことがある人の割合は、総務省の情報通信白書が国際比較とあわせて毎年公表しています。企業のAI活用がどこまで進んでいるかはIPA(情報処理推進機構)のDX動向調査でも追えます。

こうした仕組みを理解した上で確認の手間を引き受けられる力に、労働市場は賃金プレミアムを払っているとPwC AI Jobs Barometerは指摘しています。出力を鵜呑みにせず、どこを確認すべきか判断できることが、その力の中身です。

月曜日に試すこと

1. 01自分がすでに正解を知っている質問を一つ、ChatGPTに聞いてみる。答えが合っているか、どれくらい自信ありげに書かれているかを見比べる。
2. 02次に、正解を知らない専門的な質問を一つ聞いてみて、「断定できない場合はその旨を明記してください」と付け加えた場合と付け加えない場合で、答えの調子がどう変わるか比べる。
3. 03固有名詞や数字が含まれる回答を一つ選び、一次情報と実際に照合してみる。
4. 04照合して間違いが見つかったら、それがどんな種類の話題(最近の出来事か、専門的な内容か、地域限定の情報か)だったかを記録しておく。

この仕組みが会議の議事録要約でどう問題になるかは生成AIの問題点とはで具体的に扱っています。AIが得意な作業と苦手な作業の境目はAIでできることで整理しています。文章がAIによって書かれたかどうかを判定するツールの限界についてはAIチェッカーとはで扱っています。日本語での基本的な使い方はChatGPTの使い方(日本語)、具体的に頼むという基本はAIの使い方にまとめています。

こうした「仕組みを理解した上で確認する」という力は、Coursiumがスマホの短いレッスンで練習できるようにしています。AIの一歩先へ、実際の仕事に近い練習から始めてみてください。詳しくはCoursiumについて。