Agent Safety Should Be a Runtime Contract
AIエージェントの安全性は、学習時にRLHFやDPOで仕込むだけでは不十分だと主張する論文。ハーネスが強制する「ランタイム契約」として、危険な行動を未然に防ぐ「予防」と、良い行動が実際に行われたことを証拠で示す「証拠」の両輪を提案する。52件の安全事故調査や、主要AI学会の全採択論文28,560本のタイトル分析など、豊富な実証データで裏付けている。
arXiv cs.AI
直近2日間のAI関連ニュースをまとめた毎朝配信ダイジェスト
AIエージェントの安全性は、学習時にRLHFやDPOで仕込むだけでは不十分だと主張する論文。ハーネスが強制する「ランタイム契約」として、危険な行動を未然に防ぐ「予防」と、良い行動が実際に行われたことを証拠で示す「証拠」の両輪を提案する。52件の安全事故調査や、主要AI学会の全採択論文28,560本のタイトル分析など、豊富な実証データで裏付けている。
arXiv cs.AI
エージェントのリーダーボードは「能力」ではなく「課題との相性」しか測れていないと指摘する研究。3つの公開ベンチマークを分散分析したところ、エージェント固有の実力で説明できる分散は全体の3%未満にとどまった。企業が導入判断に使える「Deployment Decision Reliability」という報告様式も提案している。
arXiv cs.AI
金融機関がエージェントAIに重要な意思決定を委ねる中、統治上の制約は「能力」ではなく「検証可能性」だと論じる論文。3億パラメータのローカルモデルから商用フロンティアモデルまで9バージョンで再現性を検証し、性能の高さが監査のしやすさを保証しないことを示した。
arXiv cs.AI