https://hdknr.github.io/blogs/tags/%E3%82%A2%E3%83%A9%E3%82%A4%E3%83%A1%E3%83%B3%E3%83%88/Recent content in アライメント on hdknr blogHugo -- 0.157.0jaThu, 23 Apr 2026 00:00:00 +0000https://hdknr.github.io/blogs/wiki/concepts/scalable-oversight/Thu, 23 Apr 2026 00:00:00 +0000https://hdknr.github.io/blogs/wiki/concepts/scalable-oversight/能力的に劣る人間が超知能 AI を監督するための研究領域。Anthropic の AAR プロジェクトはこの自動化を実証したhttps://hdknr.github.io/blogs/posts/2026/04/anthropic-%E3%81%AE%E8%87%AA%E5%8B%95%E3%82%A2%E3%83%A9%E3%82%A4%E3%83%A1%E3%83%B3%E3%83%88%E7%A0%94%E7%A9%B6%E8%80%85aarai%E3%81%8Cai%E3%81%AE%E3%82%A2%E3%83%A9%E3%82%A4%E3%83%A1%E3%83%B3%E3%83%88%E3%82%92%E5%8A%A0%E9%80%9F%E3%81%99%E3%82%8B%E6%99%82%E4%BB%A3/Wed, 15 Apr 2026 00:00:00 +0000https://hdknr.github.io/blogs/posts/2026/04/anthropic-%E3%81%AE%E8%87%AA%E5%8B%95%E3%82%A2%E3%83%A9%E3%82%A4%E3%83%A1%E3%83%B3%E3%83%88%E7%A0%94%E7%A9%B6%E8%80%85aarai%E3%81%8Cai%E3%81%AE%E3%82%A2%E3%83%A9%E3%82%A4%E3%83%A1%E3%83%B3%E3%83%88%E3%82%92%E5%8A%A0%E9%80%9F%E3%81%99%E3%82%8B%E6%99%82%E4%BB%A3/<p>Anthropic が「Automated Alignment Researchers（AAR）」の研究成果を発表した。Claude Opus 4.6 を使って、AI アライメントの重要課題を自律的に研究させた実験で、9 体の Claude エージェントが人間の研究者を大きく上回る成果を達成した。</p> <h2 id="スケーラブルオーバーサイト問題とは">スケーラブル・オーバーサイト問題とは</h2> <p>超知能 AI が登場した場合、能力的に劣る人間がどうやって AI を監督するか、という問題が「スケーラブル・オーバーサイト（Scalable Oversight）」だ。この問題に対し、Anthropic は Claude Opus 4.6 を使って自律的に研究させるアプローチを試みた。</p> <h2 id="実験の設計">実験の設計</h2> <p>具体的には「weak-to-strong supervision（弱から強への監督）」手法を検証した。弱いモデル（Qwen 1.5-0.5B）を教師役として、強いモデル（Qwen 3-4B）を微調整し、強いモデルが本来の性能をどれだけ引き出せるかを測定する。</p> <p>実験では 9 体の Claude Opus 4.6 エージェントに以下の環境を提供した：</p> <ul> <li>サンドボックス環境</li> <li>共有フォーラム（エージェント間のコミュニケーション）</li> <li>コード保存サーバー</li> <li>スコアリングサーバー</li> </ul> <p>各エージェントには曖昧なヒントのみを渡し、詳細な指示なしで自律的に研究させた。</p> <h2 id="評価指標pgrperformance-gap-recovered">評価指標：PGR（Performance Gap Recovered）</h2> <p>性能の評価に使われた指標が PGR（Performance Gap Recovered）だ：</p> <ul> <li><strong>PGR = 0</strong>：弱い教師モデルと同程度の性能しか引き出せなかった</li> <li><strong>PGR = 1</strong>：強いモデルの理想的な性能を完全に引き出せた</li> </ul> <h2 id="実験結果">実験結果</h2> <table> <thead> <tr> <th>条件</th> <th>期間</th> <th>PGR</th> </tr> </thead> <tbody> <tr> <td>人間の研究者 2 名</td> <td>7 日間</td> <td>0.23</td> </tr> <tr> <td>Claude Opus 4.6 × 9 体</td> <td>5 日間（累計約 800 時間）</td> <td>0.97</td> </tr> </tbody> </table> <p>Claude エージェントのコストは約 $18,000（1 AAR 時間あたり約 $22）。7 日かけて PGR 0.23 を達成した人間の研究者に対し、5 日間で PGR 0.97 という圧倒的な成果を出した。</p>