解釈可能性

課題

ニューラルネットワークの多くはブラックボックスです。入力と出力は観測できても、その間でどのような処理が行われているのかは見えません。モデルが判断した理由を理解できなければ、新しい状況でも安全に振る舞うと確信することはできません。また、モデルのパラメータ数が数十億に達するなど大規模化が進むにつれ、既存の分析手法では対応が難しくなっています。

研究内容

• メカニスティック解釈可能性 — 小・中規模のモデルで内部の回路を特定し、得られた知見を大規模なシステムにも適用する研究。
• 表現学習と自己教師あり学習 — 学習された表現が何を符号化し、タスク間でどのように転移するかの解明。
• 活性値による制御 — 内部表現を使い、推論時のモデル行動を監視・制御する方法。