ハルシネーション

くわしく

「幻覚」を意味する英語から来た言葉で、NISTの資料では「作話（confabulation）」とも呼ばれます。NISTは、生成AIが誤った内容や虚偽の内容を自信をもって示す現象に加え、指示からずれた出力や、同じ会話の中での前後の矛盾も含めて説明しています。

なぜ起きるのか。生成AIは「正解を調べて答える」のではなく、学習データの統計的な傾向に沿って「ありそうな続き」を作ります。NISTは、この仕組みの自然な結果として作話が起きると述べています。たとえるなら、知らないことを聞かれても話を止めずにそれらしく答えてしまう語り手のようなものです。

AI事業者ガイドラインの別添は、米国の弁護士が民事訴訟の資料作成に生成AIを使い、存在しない判例を引用して問題となった事例を紹介しています。また、生成AIが人物について虚偽の内容を出力したとして、開発・提供企業が名誉毀損で提訴された事例も挙げています。

クリエイターにとってのポイント

• 出口（公開・納品）：NISTは、利用者が自信ありげな出力を信じて誤情報を広めてしまうリスクを指摘しています。AIの出力をそのまま記事や資料に使う場合、事実確認の有無が論点になります。
• 人物についての誤った出力は、名誉毀損などの問題につながりうる事例が、AI事業者ガイドラインの別添で紹介されています。
• 個人情報保護委員会は、生成AIの応答に不正確な内容の個人情報が含まれるリスクがあると注意喚起しています。
• AI事業者ガイドラインは、検索拡張生成（RAG）の活用などでハルシネーションの抑制が期待されるとしていますが、なくなるとは書いていません。

具体的な場面の例

• 動画クリエイターが、解説動画の台本づくりで歴史上の出来事の年号や人物のエピソードをAIに尋ねる場面。出力にもっともらしい年号や引用が含まれていても、一次資料と照らし合わせたかどうかで公開時のリスクが変わります。