hdknr blog

自律改善システムの設計と盲点

目標駆動で自律的に改善するシステムを Claude Code で作るときの設計原則と、なぜ自分の欠陥に気づけないのか。データ鮮度・観測と制御の分離・サバイバーシップバイアス・安全ゲート・メタ盲点を実インシデントから整理する

概要

「目標に対して自律的に改善するシステム」を Sense→Decide→Act→Review→Improve のループ（OODA の変種）と定義したときの設計原則と失敗モード。実運用中の自律トレーディングシステムで起きた「データ凍結による売り遅れを、毎日のレビューが見逃した」インシデントから抽出された。典型的な事故は、①でデータが静かに古くなり、②④が同じ古い前提を共有し、⑤が真因（データ層）でなくしきい値を触りに行くという ループ全体の合意的な失明 である。

詳細

5層に重なる盲点（なぜ毎日レビューしても気づけないか）

  1. 価格ソースの split-brain — 決定エンジンと観測(レビュー)が別データを見て、食い違いを照合する主体がいない
  2. レビューは記述であって制御ループではない — 問題を表示するが行動に変換する経路がない
  3. 学習信号のサバイバーシップバイアス — 「完了アクション」からしか学ばず、「完了させない失敗」（塩漬け）が統計に載らない
  4. データ鮮度を誰も検査していない — 「欠損」は気づけるが「存在するが凍結」は素通り
  5. 目標が『もっと買え』の圧力になる — 較正がゆるく「出遅れ→積極化」が勝率の低い行動を後押し

共通の根: 自律ループは自分が消費する同じデータ・同じ前提の上に立つので、前提が壊れると全レイヤーが仲良く同じ間違いに合意する。

6つの設計原則

  1. 目標を「北極星 + リスク予算」で定義する — 到達目標だけでなく許容 DD・最低勝率・最低 PF をセットで持つ。「遅れているからリスクを上げる」を実装しない。計器は正直に保ち、赤をしきい値緩和で緑にしない
  2. 入力の鮮度と整合性を境界で能動チェック（GIGO 対策） — 鮮度ガードで古さを一級市民（fail/healed）に。単一の真実源、さもなくばソース乖離を監視項目に。契約テストは本番の壊れ方を再現する
  3. 観測（observability）と制御（control）を混同しない — surface した指標には「で、どう動くのか」を必ず紐づける。入口(新規判断)と出口(既存状態の是正)の両方にフィードバックを張る
  4. 「やったこと」だけでなく「避けたこと」を測る — 未完了・滞留・先送り・機会損失を明示計測。false negative と false positive の両側を測る
  5. 自己改善は安全ゲート付きで段階的に — 書き換えは必ず PR + CI + 人間マージ。progressive autonomy（Lv0 観測 → Lv1 提案 → Lv2 低リスク自動 → Lv3 限定自動）。原則判断は人間、調査と実装は AI
  6. メタ盲点を受け入れ「人間の問い」を設計に織り込む — 自律システムは自分の盲点を自分で監査できない。外部から刺す経路（ランダム深掘り・異常系再現・定期問診・反実仮想・完全性クリティック）を制度化する

構築順序

観測から始める(Lv0) → 境界を固める(GIGO を塞ぐ) → 提案を足す(Lv1) → ループを閉じる(PR 化 + ゲート) → 限定自動化(Lv2+) → メタ層を常駐させる。

一言で: 速く作れることは、盲点も速く量産する。 効くのは派手な自律機能でなく「境界で鮮度を見る/ソース乖離を監視する/ループを閉じる/避けたことを測る/計器を正直に保つ/人間の問いを織り込む」という地味な規律。

外部境界の冷却機構

上の原則 2（境界での能動チェック）の続きにあたる論点として、外部 API のレートリミットに対する冷却機構がある。個々のコンポーネントが degrade-first に書かれていても、待たずに retry すると並列ワーカーが同時に壁に当たり系全体で雪崩れる。指数バックオフとサーキットブレーカーの設計、および「制御機能は壊れるより no-op で失敗する」という検証の話は 外部境界の耐障害性とサーキットブレーカー に分けてある。

段階モデルによる自己診断

自律システムの現在地は「プロンプト → ループ → スワーム → グラフ」の 4 段階モデルで名指しできる。ただし段階をツール名（名詞）ではなく性質——並列がネイティブか、失敗がノードに限定されるか——で判定しないと、すでに持っているものを別の名前で買い直すことになる。詳細は グラフエンジニアリング を参照。

関連ページ

ソース記事