セキュリティと頑健性

課題

AIが重要インフラや消費者向け製品に導入されることで、攻撃の対象となる箇所や経路が増え、そのリスクもまだ十分には理解されていません。入力に加えられたわずかな意図的操作だけで、最先端のモデルが機能しなくなることもあります。プロンプトインジェクションは、モデルが読むあらゆるテキストを通じて行動を乗っ取る可能性があります。攻撃者に先んじて不具合や危険な振る舞いを発見するには、場当たり的なテストではなく、体系的で自動化されたレッドチーミングが必要です。

研究内容

• レッドチーミングと脅威検出 — 運用中のモデルの脆弱性や危険な行動を体系的に発見する方法。
• プロンプトインジェクションの攻撃と防御 — 新たな攻撃手法と、信頼できる指示を信頼できないコンテンツから分離する防御手法。
• 敵対的頑健性 — 敵対的条件下でもモデルの信頼性を維持するための学習・評価手法。