「ChatGPTは27%嘘をつく」の元ネタを調べた

発端

Xでこんな投稿が流れてきた。

ChatGPTが27%もの確率で嘘をついているという衝撃的な事実と、その有益な解決策が判明しました。ジョンズ・ホプキンス大学の最新の研究により、たった「2つの単語」を加えるだけで、このハルシネーション（幻覚）を劇的に減らせます。

「According to」という2単語をプロンプトに追加するだけでハルシネーションが20%減少する、という内容。気になったので元ネタを探してみた。

実際の研究

Johns Hopkins大学の研究は実在する。

論文: “According to …”: Prompting Language Models Improves Quoting from Pre-Training Data arXiv: https://arxiv.org/abs/2305.13252 投稿日: 2023年5月（最終改訂2024年2月）

研究者はOrion Weller、Marc Marone、Nathaniel Weir、Dawn Lawrie、Daniel Khashabi、Benjamin Van Durme（全員Johns Hopkins大学）。

内容は「According to [ソース]」というプロンプトを使うことで、LLMの回答がソースに基づく度合い（QUIP-Scoreという指標）が向上するというもの。

問題点

「27%嘘をつく」の出典がない

この論文は「According to」で精度を上げる研究であり、「ChatGPTが27%嘘をつく」という測定をした研究ではない。27%という数字がどこから来たのか不明。

様々なハルシネーション研究では10〜39%程度の虚偽生成率が報告されているが、特定の「27%」をJohns Hopkinsが発表したという元ソースは見つからなかった。

「最新の研究」ではない

2023年5月投稿で、2026年現在「最新」とは言い難い。

複数の研究が混同されている

元ポストでは「Step-Back Promptingで36%向上」という話も出てくるが、これはGoogle DeepMindの別研究（2023年）。Johns Hopkinsの研究とは関係ない。

「According to」は実際に効くのか

使えそうなケース

要約・解説を頼むとき
- 「According to the React 19 release notes, explain the new features.」
- 勝手に補完されると困る場合に「このソースに書いてあることだけ答えて」という制約
専門分野の基礎知識
- 「According to WHO guidelines, what are the recommended daily sodium intake limits?」
比較・整理
- 「According to the official documentation of Python and JavaScript, compare their async/await implementations.」

限界

LLMは「According to」と書いても、実際にそのソースを参照しているわけではない
単に「もっともらしく引用風に書く」だけになりがち
重要な情報は結局自分で確認するしかない

以前流行った対策プロンプト

「According to」の前に流行っていたのは、こういうプロンプト。

あなたは専門家として、事実に基づいた正確で信頼性のある情報のみを提供してください。出典を示す際は、必ず査読済み論文、公的機関、専門書、権威ある報道など信頼性の高い一次情報を明記してください。十分な情報がない場合は「現時点で確認できる信頼性のある情報は存在しません」と明確に伝え、決して推測や憶測による補完をしないでください。

これも「根拠のない回答を抑制する」という目的は同じ。ただし効果は限定的で、LLMは「嘘をつかないで」と言われても嘘をつくことがある。

個人的な対策

自分はプログラミング系の用途がメインなので、コードが動くかどうかで検証できる分まだマシ。それでもGeminiは割と怪しい情報を返してくることがあるので、ClaudeやChatGPTに聞き直して整合性を取ることが多い。

結局のところ、ネットの情報でも人間からでも、まずはソースを疑ったほうがいい。LLMだけの話ではなく、情報リテラシーの基本。