AIに資料を渡したのに、なぜ間違える？
資料を渡したのに、条件が消える。書いていない話まで足される。頼み方のせいだけなのか、AIの仕組みに理由があるのか。研究と比較例から、次の依頼で使える確認の仕方までつなげます。
この記事の目次
資料があるのに違う。そのずれを分けて見る
資料には「一般会員は無料」。ところがAIの説明は「誰でも無料」。締切も18時までのはずが「その日まで」になっている。そんな説明を送ったら、あとで困る人が出そうですよね。資料を渡したのに、どうして条件が変わったのでしょう。
まず比べる相手を決めると、ずれを追いやすくなります。世の中の事実と違うのか、渡した資料と違うのか。Jiらのレビューも、課題ごとに誤りの定義や対策を整理しています。先ほどの案内では、手元の原文と違った箇所を追ってみましょう。[1]
生成型AIは、入力や学習で得たパターンを使って文章を作ります。自然につながる文章でも、資料に書かれた事実から外れることがあります。説明を頼んだら、資料にない支払方法まで自然に続く。そんな例なら、文がつながっているかではなく、どの記述を根拠にしたかを見る必要があります。[1]
FActScoreは、長い回答を小さな事実に分けて調べました。2023年当時のChatGPTが作った人物紹介では、資料に支えられる事実が約58%だったと報告しています。[2]
人物紹介で測った当時の割合なので、今回の案内の正答率とは別です。ただ、一つの回答の中に根拠のある記述と足された記述が混ざる、と考える手掛かりにはなります。[2]
案内なら、対象・料金・締切へ分ける。「誰でも無料」のどこを直すかが、一文ずつなら指せます。ここが分かったら、次は答えを作る前に資料を探す仕組みも見てみましょう。
資料を使わせる工夫は、何を変える？
資料を探してから答える仕組みには、改善した研究もあります。Lewisらは、Wikipediaの検索を組み合わせたRAGというモデルで、検索を使わない比較相手より事実性が改善したと報告しました。必要な情報へたどり着ければ、答えを支える材料が増えるわけです。[4]
研究では、検索と生成を組み合わせる専用の仕組みを使っています。普段のチャットでは、「資料を探す」と「資料を読んで答える」を分けて考えると整理しやすくなります。[4]
検索先が違うのか、資料が古いのか、条件を読み違えたのか。「間違い」を少し細かくすると、直す場所が見えてきますよね。出典を開いたら、その説明と合うかまで照らしてみてください。[4]
要は、「資料がない」と「ある資料を使い違えた」では、直し方が変わります。前者なら必要な資料を探す。後者なら、対象や条件を原文と照らす。まずここを分けてみましょう。
資料を渡すときは、質問と根拠を一組にする
イベントの案内を手元に置いて、もう一度頼んでみましょう。知りたいのは「自分は申し込めるか、いくらか、いつまでか」。この三つが分かれば動けるのに、案内全体のきれいな要約が返ってきても、欲しかった条件が埋もれることがあります。まず、今回の質問を渡すところから変えます。
依頼の例はこうです。「この案内の中だけで、参加対象、料金、締切を答えて。それぞれ根拠になる記述を添えて。書いていない項目は未確認として残して」。質問と資料の対応が読める形にする、記事の提案です。これで誤りをなくす約束より、返ってきた後にどこを比べるかを作ります。
対象の根拠に「一般会員」とあれば、回答にもその条件が残っているか。料金の説明に例外があれば、そこを省いていないか。締切は日付だけでなく18時まで書かれているか。確認する三項目を先に持っておけば、流暢な全体を最初から読み直すより、直す場所を指しやすいでしょう。
原文に支払方法がなければ、そこは未確認のまま受け取ります。必要なら追加の公式案内を探す。AIへ「普通はこうだよね？」と誘導して埋めるより、元の資料に答えがあるかという問いを残すわけです。
長い資料を扱うなら、見つけた根拠が本当に質問へ答えているかも見ます。文脈に十分な答えが含まれるかを分けた研究や、必要な情報の置かれる位置で成績が変わった研究は、「資料を付けた」で終えず、実際に使われた記述を確かめる手掛かりになります。対象は研究ごとの質問応答課題です。[5][6]
たとえば、料金の表は見つかったが対象者が別だったなら、直すのは「もっと丁寧に答えて」という口調の注文より、どの条件に合う案内を読むか。資料が古ければ今年のものへ。資料に答えがなければ追加資料へ。原因が違うと、やり直す一手も変わるんですね。
質問、根拠、未確認を一組にして返してもらえば、次に見る場所が決まります。下の比較例では、対象・料金・締切の条件が残っているか、原文と指で追ってみてください。書かれていない項目を未確認のまま受け取るところまで、一度試せます。
答えだけから、原文へ戻れる形へ
| 項目 | 確認したい出力 |
|---|---|
| 対象 | 誰に当てはまるか＋資料の該当箇所 |
| 料金 | 金額＋無料になる条件 |
| 締切 | 日付＋時刻＋対象の年 |
| 資料にない情報 | 推測で足さず、未確認とする |
同じ資料でも、こんな違いがある。
「資料を渡したから安心」と「どこを確かめればよいか見える」は違います。短い例で比べてみましょう。問題への回答や採点はありません。
以下は、依頼と回答の違いを説明するために編集した固定例です。
地域講座の案内：参加費2,000円（税込）。対象は事前登録済みの一般会員。申込みは11月7日18:00まで。支払方法はこの資料には記載なし。
この案内を分かりやすくまとめて。
それぞれの違いを示すための回答例参加費2,000円で、どなたでも参加できます。11月7日中にお申し込みください。お支払いは当日現金です。
資料の範囲と、保留する条件を決める
関連しそうな資料を全部入れた方が、安心に思えますよね。ただ、Liuらの研究では、複数資料の質問応答などで、必要な情報が入力の中央にあると成績が下がる条件がありました。読める長さと、必要な情報を使い切れることは別、という問題です。測ったのは論文に記載されたモデルと課題です。使うサービスが変われば、同じ確認を自分の資料でも行う必要があります。[6]
短くするときも、例外まで切らないようにしたいところ。たとえば「無料」の一行だけを渡すより、会員条件が書かれた前後も残す。日付と対象を添え、使ってほしい原文の範囲を示してみましょう。
長い資料なら、版と該当箇所を指定して、そこへ戻れる答えを頼む。どこで条件が抜けたかを探しやすくするためです。位置や量を変えて試すときも、最後は同じ三項目で比べてください。
「分からないと言って」も、最後の確認にはならない
「分からなければ、分からないと言って」と付ければ安心でしょうか。AIが答えられない問いを見分けられるかは、Yinらも調べています。指示調整などで改善した条件も報告されています。普段の依頼に使うなら、答えがない問いで本当に保留するかまで見てみてください。[7]
ここでは、「この資料では未確認」と範囲を区切ることを勧めます。支払方法が資料にないなら、それ以上を埋めずに確認先へ戻る。自信のある語り口を、そのまま根拠にしない。TruthfulQAも当時のモデルがもっともらしい誤解にどう答えるかを評価した研究で、自然さだけでは正しさを判断できないことを考える材料になります。[3]
ずれた条件を直し、次の回答でも確かめる
回答に一つ誤りがあったとき、「もっと正確に」と全体を作り直させると、別の箇所まで変わることがあります。まず、不一致だった項目と、原文の条件を示す。修正後はその箇所と周辺の条件を読み直しましょう。
対象が広がったのか、数字が変わったのか、時刻が落ちたのか。ずれの名前が分かれば、「もっと正確に」より具体的に頼めます。「対象は一般会員、締切は18時。この二つを原文どおり残して」と返してみるわけです。
何を知りたいかを絞る。根拠の場所と未確認を分けて返してもらう。重要な条件だけは元資料へ戻る。例えば申込みの案内なら、対象と締切時刻が本当に一致するかを見る。映画のアイデアを膨らませるときと、事実を人へ伝えるときでは、確認の重さも変わります。
ここまで試せれば、「資料を渡したのに違う」で止まっていたところから、直す条件を指せるところへ進めるでしょう。もう少し仕組みを知りたくなったら、下のコースで、検索した資料と回答の関係から順に学べます。
次の依頼を、問い・根拠・未確認に分ける
知りたいことを絞る
対象・料金・期限など、確認する項目を決めます。
根拠と未確認を分ける
資料のどこに書いてあるかを示してもらい、書いていないことは未確認として残します。
もう少し詳しく：研究によって結果が違う理由
資料を参照する仕組みで改善した研究はありますが、読みやすさ、出典の有無、答えの正しさは、それぞれ確かめる項目が違います。研究の仕組みと、日常で試す依頼文も分けて扱います。
資料を参照することは、無意味ではない
検索型モデルで比較相手より事実性が改善した研究があります。ただし、特定の検索・生成の仕組みでの結果で、資料を貼るだけ、あるいは特定の一文を頼むだけで誤りゼロになることを示しません。[4]
研究レビュー1件、評価2件、検索型手法の研究1件。関連する長い文脈と自己認識の評価を補足。共通の誤答率へ統合していません。
- 誤りの種類と対策の整理Ji et al. — Survey of Hallucination in Natural Language Generation研究レビュー（統合効果量なし）
- 一文に正誤が混ざる問題Min et al. — FActScoreベンチマーク
- もっともらしい誤解の評価Lin et al. — TruthfulQAベンチマーク
- 改善を示す検索型の研究Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks比較実験
研究の補足と、よくある疑問
資料を渡せば安心？
検索型の手法で改善した研究がありますが、資料を貼るだけで同じ保証は得られません。
関連コースでは何を学ぶ？
AI活用コースでは、答えを作る仕組み、根拠を示す回答、長い資料、分からないことの保留、用途に合う確認へ順に進みます。リンク先で公開範囲と各章の内容を確認してください。
頼み方を変えれば、誤りはなくなる？
本文の依頼文は、照合する場所を明らかにするための記事の例です。特定のAIで正解を保証した研究ではありません。修正後も、対象・料金・締切を原文と照合してください。
出典と確認した範囲（7資料）
出典と、読み取れる範囲
対象・方法：自然言語生成の研究を横断するレビュー。統合効果量なし。
主な結果：タスクごとの幻覚の定義・評価・対策を整理。
限界：分野・測定法が異なる。全AI共通の誤答率は算出していない。
確認した範囲
出版社の掲載要旨を確認。全文精読は未実施。 確認日：2026-10-24
対象・方法：当時のモデルによる人物紹介文を、原子的な事実に分けて評価。
主な結果：当時のChatGPTの人物紹介で、資料に支持される事実の割合は約58%。
限界：回答全体の正答率ではない。2023年の特定条件で、現在の一般的な誤答率ではない。
確認した範囲
掲載要旨・書誌情報を確認 確認日：2026-10-24
対象・方法：誤解を誘う817問、38分野。GPT-3など当時のモデル。
主な結果：最良モデルのtruthfulnessは58%、人間は94%という当時の評価。
限界：意図的に誤解を誘う設問。通常利用の無作為標本でも現在のモデル評価でもない。
確認した範囲
掲載要旨・書誌情報を確認 確認日：2026-10-24
対象・方法：Wikipedia検索を組み合わせる生成モデルと、パラメータのみのモデル等を比較。
主な結果：3つの公開領域QA課題で当時の先行手法を上回り、生成の事実性も改善。
限界：限定課題の比較。検索があれば誤情報がなくなることを示さない。
確認した範囲
掲載要旨・書誌情報を確認 確認日：2026-10-24
対象・方法：質問応答データで、文脈に答えが含まれるかを判定して分析。
主な結果：文脈が十分かを分けてモデルの誤りを分析。不十分でも正答する例もあり、十分性だけで正誤は決まらない。
限界：質問応答の設定での結果。業務資料の判断や、全製品の挙動を示すものではない。改善幅は提案手法のもの。 不十分という判定は、モデルの既知知識から正答する可能性も否定しない。
確認した範囲
掲載PDFの要旨・4.2〜4.3節を確認。全ページの精読・再現は未実施。 確認日：2026-10-25
対象・方法：当時のモデルと、論文で設定した課題による評価。
主な結果：複数文書の質問応答とキー・値検索で、必要な情報の位置により成績が変わり、中央で悪化する条件を報告。
限界：2024年の論文に含まれるモデルと課題。全製品の現在の性能や、末尾に置けば必ず正解することは示さない。
確認した範囲
2026-10-25にSciteで掲載版DOIと書誌を照合。read_fulltextはsource=abstractの1,019文字のみ。2課題と位置依存の要旨を確認したが、本文・全条件・数値の再照合は未実施。editorialNoticesは応答になく完全確認は未完。 確認日：2026-10-25
対象・方法：五つの種類の答えられない問いと、その答えられる対応例を含むSelfAware。
主な結果：答えられない問いを含むSelfAwareを提案し、文脈内学習・指示調整による自己認識の改善を報告。
限界：当時のモデル・評価条件。日常の指示文だけで不確実性を常に正しく表明することは示さない。
確認した範囲
掲載要旨・書誌情報を確認。全文の精読・実験の再実行は未実施。 確認日：2026-10-24
この記事は複数文献を照合した編集記事です。既存研究を照合し、結果と条件を紹介しています。研究が同じ参加者を含む可能性があるため、文献間の人数を足していません。本文の行動提案・未来のシナリオは編集上の整理です。
この記事から、次に気になる話へ。
AIの答えは、どこまで確かめればよい？
AIの回答を全部調べ直すのは大変です。まずは、間違うと困る数字や条件から。研究を手掛かりに、確認の手間をどこへかけるかを決めましょう。
名前を消せば、AIに送っても大丈夫？
AIに文章を直してもらいたい。でも、仕事の情報をそのまま貼るのは気になる。名前のほかに何を見ればよいか、研究と具体例から、送信前の見直し方を整理します。
VRなら、もっと学べる？ 没入感と学習効果を分けて考える
教科書で想像しにくかった仕組みが、目の前に現れる。VRなら勉強も変わるのでしょうか。研究を比べ、「楽しい体験」を「説明できる理解」へつなぐ使い方を探ります。