メタ認知とハルシネーション

課題

大規模言語モデルは、誤った情報を、流暢かつ確信を持った表現で生成することがあります。このハルシネーションの問題はメタ認知と結び付いています。モデルは正しい場合も誤っている場合も同じ確信度を示しがちで、「分からない」ことを示す内部の信号も、十分には信頼できません。根拠のある回答と作り出された回答を区別することは、依然として未解決の課題です。

研究内容

• LLMのメタ認知 — モデルが自らの知識の限界を表現するか、またどのように表現するかの研究。
• ハルシネーションの検出 — 内部状態の分析も含め、事実に基づかない出力や根拠のない出力を検知する方法。
• 誠実な応答と確信度の較正 — 表明される確信度と実際の正しさの対応を改善する研究。