プロンプトインジェクション

くわしく

セキュリティの国際コミュニティOWASPは、LLMアプリのリスク一覧（2025年版）の1番目にプロンプトインジェクションを挙げています。入力によってAIのふるまいや出力が意図しない形で変えられてしまう脆弱性です。

種類は大きく2つです。利用者が悪意ある指示を直接入力する「直接型」と、AIが読み込むWebページやファイルに指示を仕込んでおく「間接型」です。たとえるなら、秘書に渡した資料の余白に、別人が「読んだら社外に転送して」と小さく書き込んでおくようなものです。OWASPは、こうした指示は人間に見える必要はなく、AIが読み取れれば成立するとしています。安全のための制御を無視させる「ジェイルブレイク」も、その一種とされます。

NISTは、間接型によって機密データが盗まれたり、悪意あるコードが実行されたりすることが研究者により実証されていると記しています。AI事業者ガイドラインも、推論用データに細工をされることでAIが意図しない判断をする可能性があり、脆弱性を完全には排除できないと述べています。

クリエイターにとってのポイント

• 入口（情報漏洩）：NISTは、間接型プロンプトインジェクションで機密データが盗まれる例が実証されていると記しています。AIにメールやファイル、Webページを読ませる使い方では、読ませた外部の内容が指示として働く可能性があります。
• OWASPは、RAGやファインチューニングではこの脆弱性を完全には防げないとし、権限を最小限にする、影響の大きい操作には人の承認を必須にする、外部の内容を区別して扱う、などの対策を挙げています。
• AI事業者ガイドラインの別添は、AIエージェントのように外部と連携するシステムでは入力経路が増え、悪意あるプロンプト攻撃のリスクがさらに高まることが懸念されるとしています。

具体的な場面の例

• 編集者が、AIアシスタントに「受信した企画書PDFを要約して」と頼む場面。PDFに人の目には見えない文字で別の指示が書き込まれていた場合、要約以外の動作が起きうることが、OWASPの攻撃シナリオとして示されています。