AIの基本

なぜAIは平気で間違えるのか。AIの仕組み

AIが堂々と嘘をつくのは、バグでも未成熟でもありません。LLMの正体は「次に来そうな言葉を確率で選ぶ装置」。意味を理解しているのではなく、もっともらしい続きを組み立てているだけです。なぜ間違えるのかを仕組みから腹落ちさせ、人間がどこを確認すべきかを導きます。

2026年 6月 29日約6分で読めます

yamaryou0920 AI仕事ラボ編集部

AIの基本

前回、AIの全体像を地図として描きました。今回はその核心——「なぜAIは、もっともらしい顔で平気で間違えるのか」を、仕組みから解き明かします。ここが分かると、AIのどこを信じ、どこを人が確認すべきかが、根拠を持って決められるようになります。

膨大な訓練データで見た言葉の並びを、その組み合わさり方の確率に従って、意味とは無関係に、行き当たりばったりにつなぎ合わせる仕組み——いわば確率的オウムだ。

— Emily M. Bender, Timnit Gebru ほか “…a system for haphazardly stitching together sequences of linguistic forms … without any reference to meaning: a stochastic parrot.” 「On the Dangers of Stochastic Parrots」(FAccT 2021) より

✦ この記事の要点

LLMは意味を理解していない。「次に来そうな言葉を確率で選ぶ装置」である
ハルシネーション（もっともらしい嘘）はバグでなく仕組みに内在する帰結
AIの能力境界はギザギザ（jagged）。万能でも無能でもなく、得意・苦手が読めない

LLMは「意味」でなく「言葉の並び」を確率で組み立てている

まず、最も根深い誤解をほどきます。「AIは内容を理解して答えている」——これは違います。LLM（大規模言語モデル）が本当にやっているのは、もっと地味なことです。スティーブン・ウルフラムはこう説明します。

ChatGPTが根本的にやろうとしているのは、ここまでの文章に対する「もっともらしい続き」を生み出すこと。「もっともらしい」とは、「無数のWebページなどで人々が書いてきたものを見たうえで、人が書きそうな内容」という意味だ。
（Stephen Wolfram「What Is ChatGPT Doing…」2023）

つまりLLMは、「ここまでの文に続く、もっともらしい次の一語は何か」を一語ずつ確率で選び続けているだけ。中身を分かって書いているのではなく、言語の「形」をなぞっています。冒頭の「確率的オウム」という比喩が、この本質を一言で捉えています。意味は分からないまま、聞いた言葉をそれらしく並べ直すオウム、というわけです。

ここから決定的な教訓が出ます。流暢さは、理解の証拠ではありません。AIが取引先名や条文番号を自信たっぷりに断言しても、それは「覚えていた」のではなく「それっぽく並べた」可能性がある。だから固有名詞・数字・法令は、必ず人が原典で確認する運用が必然になります。

ハルシネーションは「バグ」ではなく「仕様」である

AIが事実をでっち上げる現象を「ハルシネーション」と呼びます。多くの人はこれを「未成熟だから」「いずれ直るバグ」だと思っています。違います。仕組みに内在する構造的な帰結です。開発元のOpenAI自身が、こう説明しています。

難しい試験問題に直面した学生のように、大規模言語モデルは自信がないとき当て推量をし、「分かりません」と認める代わりに、もっともらしいが誤った答えを出してしまうことがある。
（OpenAI「Why Language Models Hallucinate」2025）

理由はシンプルです。学習と評価の設計が、「分かりません」と言うより、当て推量で埋めた方が報酬が高くなるようになっているから。試験で空欄にするより、勘で埋めた方が点が取れるのと同じ構造です。開発元自身が「仕組み上避けにくい」と認めている——この事実が、「AIは常に正しい」という誤解を最も強く覆します。

Ted Chiang（SF作家）の比喩も腹落ちします。LLMは「WebのぼやけたJPEG」。Web全体を間引いて圧縮したぼやけたコピーを返すから、全体の雰囲気は合っていても、細部（出典・数値）は近似でしかなく、ときに事実をでっち上げるのです。

AIは「万能」でも「使えない」でもない——境界はギザギザ

ここまで「AIは理解していない」「間違える」と述べましたが、だからといって「使えない」は両極端のもう一方の誤解です。本当のところ、AIの能力の境界線は「ギザギザ（jagged）」——人間の直感と一致せず、予測できません。ウォートン校のイーサン・モリックの観察です。

あるタスクではAIは途方もなく強力で、別のタスクでは完全に、あるいは微妙に失敗する。そして、よほど使い込まない限り、どちらがどちらかは分からない。
（Ethan Mollick, 2023）

難関試験は軽々こなすのに、簡単そうな計算でつまずく。Apple の研究では、最新の「推論モデル」でさえ、問題の複雑さがある閾値を超えると精度がほぼ崩壊する、という実証も報告されました（ただしこの実験設計には反論論文もあり、議論は続いています）。

誠実に付け加えます。「次の語を予測するだけだから知能ではない」という単純化もまた、反論を受けています。ジェフリー・ヒントンは「次の単語を正確に予測するには、文を理解していなければならない」と述べました。専門家の間でも、AIの本質の解釈は割れています。だからこそ、極端な期待にも不信にも振れず、自社の実務で小さく試して見極めるのが、唯一の正解です。

図解：AIが間違える仕組み（3段）

①「次の言葉を確率で選ぶ」逐次予測のイメージ（一語ずつ候補から選ぶ）→ ②「分からない時も当て推量する」評価設計（空欄より勘が得）→ ③「ギザギザの能力境界」（得意・苦手が不規則に入り組む折れ線）。3段で「だから流暢でも間違える」を一望できる図。