アラインメントと協調

課題

AIシステムの自律性が高まるにつれ、人間の意図した目標に従い、互いに安全に協調することを保証するのは難しくなります。報酬の仕組みの抜け穴を利用する、新しい環境で目標を誤って一般化する、学習時と運用時で異なる行動を取る、人間が定めていない集団内の規範を形成するといった問題が生じます。

研究内容

• 行動規範の進化 — 安全性に関する基本的な性質を保ちながら、新しい環境に合わせてシステムのルールを適応させる方法。
• マルチエージェント協調 — 人間が解釈できる行動規範をエージェントが発見する方法。
• 文脈に応じた安全性 — 文脈の変化を検知し、長期的なリスクの検出も含めて安全な行動を維持する方法。
• 選好モデリング — 人間のフィードバックから学習し、価値観の微妙な違いをより適切に捉える方法。