はじめに
陽性対照(ポジティブコントロール) は、生物学や医学の実験で使われる言葉です。「必ず陽性になる」と分かっているサンプルを本番のサンプルと一緒に検査し、検査の仕組みそのものが働いていることを確かめます。陽性対照が陽性にならなければ、その日の検査結果は「陰性」も含めてすべて信用できません。
この考え方は、IT システム・機械・電子機器のテストや監視の現場でも広く使われています。ただし IT の文脈では「陽性対照」という訳語はあまり使われません。多くはカタカナで「ポジティブコントロール(ポジコン)」と呼ぶか、分野ごとの別の用語で呼ばれます。たとえばヘルスチェック、テストファイル、サニティチェック、Watchdog、ミューテーションテストなどです。
この記事では、IT システムで陽性対照に当たる仕組みを分野別に紹介し、それがサイレント障害(監視が死んでいるのに「異常なし」に見える状態)を防ぐうえでなぜ重要なのかを説明します。後半では、Claude Code のプラグイン spec-loop が陽性対照を 3 つの段で使い分けている事例を紹介します。最後に、自分のシステムに取り入れるための 4 ステップをまとめます。
IT・システム分野での具体例
| 分野・用途 | 陽性対照に相当する仕組み | 確認していること |
|---|---|---|
| サーバー・通信監視(ヘルスチェック / ping) | 稼働中のサーバーに定期的に確認信号を送り、「応答あり」が返るかを見る | ネットワークやサーバーが止まっていないか |
| アラート基盤(Watchdog / Dead man’s switch) | 常に発火し続けるアラートを流し、それが届き続けるかを外部で見る | 監視・通知の経路そのものが生きているか |
| セキュリティ検査(EICAR テストファイル) | ウイルス対策ソフトが検知する無害なテスト用ファイルをわざと読み込ませる | 検知エンジンや通知機能が正常に動いているか |
| データ分析・機械学習(サニティチェック) | 正解が分かっている既知のデータをモデルやパイプラインに入力する | アルゴリズムや前処理にバグがないか |
| センサー・製造ライン | わざと不良品(または基準値を超える信号)をセンサーの前に通す | センサーが故障して「すべて良品」と誤判定(偽陰性)していないか |
| ソフトウェアテスト(ミューテーションテスト) | コードをわざと壊し、テストが失敗することを見る | テストが本当にバグを検出できるか |
以下、IT システムの例をいくつか詳しく見ていきます。
ヘルスチェック:応答が返ることを確かめる
もっとも身近な例がヘルスチェックです。ロードバランサーや監視ツールは、サーバーのエンドポイントに定期的にリクエストを送り、正常な応答が返るかを確かめます。
# 2xx が返れば終了コード 0、エラー応答やタイムアウトなら非 0
curl -fsS --max-time 5 https://example.com/healthz
ここで大事なのは、「正常なら必ず応答が返る」という前提があることです。応答が来ないことを異常とみなすので、サーバーが黙って止まっても見逃しません。
Watchdog アラート:監視システム自身を監視する
ヘルスチェックはサーバーを見ますが、監視システム自体が止まったら誰が気づくのでしょうか。監視が止まると、アラートは 1 件も届かなくなります。外からは「異常なし」と見分けがつきません。
これを防ぐのが、常に発火し続けるアラートです。たとえば Prometheus を Kubernetes 上で動かすための kube-prometheus には、Watchdog という名前のアラートが標準で入っています。条件式は vector(1)、つまり常に真です。
# kube-prometheus の定義の抜粋(description と runbook_url は省略)
- alert: Watchdog
expr: vector(1)
labels:
severity: none
annotations:
summary: An alert that should always be firing to certify that Alertmanager is working properly.
このアラートを外部の「Dead man’s switch」型のサービス(一定時間 ping が来なければ通知するサービス)に送り続けます。Watchdog が届かなくなったら、Prometheus か Alertmanager(Prometheus のアラートを受けて通知を振り分けるコンポーネント)か、通知経路のどこかが壊れていると判断できます。必ず陽性になる信号を流し続け、それが消えたら異常とみなす。 これは陽性対照そのものの構造です。
cron ジョブの場合
cron ジョブの監視でも同じ発想が使えます。ジョブの最後に ping を送り、ping が来なかったら通知させます。
# バックアップが成功したときだけ ping を送る
# YOUR-UUID は Healthchecks.io で発行されたチェックの UUID に置き換える
/usr/local/bin/backup.sh && curl -fsS --retry 3 https://hc-ping.com/YOUR-UUID
EICAR テストファイル:検知エンジンを試す
ウイルス対策ソフトが正しく動いているかを、本物のマルウェアで試すわけにはいきません。そこで使われるのが EICAR テストファイル です。EICAR(European Institute for Computer Antivirus Research)と CARO(Computer Antivirus Research Organization)が作った、68 バイトの無害な文字列のファイルです。主要なウイルス対策製品は、これをテスト用のウイルスとして検知します。
メールゲートウェイやファイルアップロードのスキャン機能を導入したとき、このファイルを流して「検知 → 隔離 → 通知」の流れが最後まで動くかを確かめます。検知エンジンだけでなく、その後の通知経路まで含めて試せるのがポイントです。
ファイルは EICAR の公式サイト から入手できます。
機械学習のサニティチェック:わざと過学習させる
機械学習のパイプラインでは、「結果が悪い」のがデータのせいなのか、コードのバグのせいなのかを見分けにくいことがよくあります。そこで、答えが分かっている入力でまず試します。
よく使われるのが、ごく少数のデータ(1 バッチ程度)だけでモデルを学習させる方法です。そして損失がほぼ 0 まで下がるか、つまり過学習できるかを確かめます。十分な表現力のあるモデルなら、数件のデータは丸暗記できるはずです。それすらできないなら、損失関数・ラベルの対応・前処理のどこかにバグがあると分かります。
# 擬似コード: train_step(model, batch) は 1 ステップ学習して損失を float で返す関数とする
# 1 バッチだけを繰り返し学習させ、損失が下がりきるかを見る(閾値とステップ数は例)
batch = next(iter(train_loader))
for step in range(500):
loss = train_step(model, batch)
assert loss < 0.01, f"1 バッチすら過学習できない: loss={loss:.4f}"
ソフトウェアテスト:テストが失敗できることを確かめる
テストコードにも同じ問題があります。テストが「緑(成功)」でも、そのテストがそもそもバグを検出できる作りになっていなければ、緑には意味がありません。
そこで、コードをわざと壊して(変異を入れて)テストが失敗することを確かめます。これがミューテーションテストで、テストに対する陽性対照と言えます。詳しくは テストを信じる前に、テストを壊す — mutation harness で「緑」に意味を持たせる で扱いました。
形式手法やテストの採点でも同じ考え方が使えます。次の節で、1 つのツールの中で陽性対照を何段にも置いている例を見ます。
事例:spec-loop は 3 つの段で陽性対照を置いている
spec-loop は、要求確定・仕様レビュー・見積り・提案書までを回す、開発の手前の要求側を受け持つ Claude Code のプラグインです。仕様レビューでは、判定役のエージェントが形式手法の検査器を使います。このプラグインは、陽性対照を 3 つの場面で使っています。目的はどれも同じで、「反例なし」「エラーなし」「合格」のような否定的な結論を、判定する道具が空振りしていない証拠と一緒にしか出させないことです。
| 場面 | 疑っているもの | 陽性対照 |
|---|---|---|
| 仕様の形式検査(Formal Checker) | 仕様を書き起こしたモデル | ルールを 1 つ壊したモデルで反例が出る |
検査器の点検(check-tlc.py / check-alloy.py) | 検査器の呼び方 | 違反するモデルで違反が報告される |
| スキルの Eval | 採点する grader | 誤った振る舞いをさせると不合格になる |
1. 仕様のモデル:「反例なし」が空振りでないことを示す
判定役の Formal Checker は、業務フローや決定表を TLA+ や Alloy のモデルに書き起こし、モデル検査器(仕様を総当たりで調べ、ルール違反の実行例=反例を探すツール)に反例を探させます。ところが「反例なし」は、モデルが壊れていても出ます。たとえば、肝心の状態に到達できないモデルでは、不変条件は自明に成り立ちます。
そこで spec-loop は、対象ごとに次の 2 つを示さないと「反例なし」と書けないようにしています。
- 正常な状態に到達できる — モデルが何も許さない形になっていない
- わざと壊した版で反例が出る — 仕様のルールを 1 つ壊したモデルを走らせ、反例が出る(陽性対照)
どちらかが示せなければ、その対象の判定は「反例なし」ではなく「判定できなかった」になります。前の回に保存したモデルを使い回すときも、陽性対照は毎回やり直します。前に反例を出したことは、今回の検査が空振りしていない証拠にならないからです。
陽性対照は、検査の構成(利用者やジョブの数)を決める根拠にもなります。最小の構成(ふつう 2〜3)で正常な状態に到達でき、陽性対照で反例が出るなら、構成は広げません。広げても状態の数が増えるだけで、検査が終わらなくなるおそれがあるからです。この設計の詳細は spec-loop は TLC をどう使っているか で扱いました。
2. 検査器の呼び方:何にでも「エラーなし」と言う呼び方を弾く
TLC は tla2tools.jar を Java で起動するのが一般的で、どう起動するかは環境によって違います。spec-loop は、TLC の起動コマンドを正本リポジトリの CLAUDE.md に書かせ、付属のスクリプト check-tlc.py でそのコマンドが使えるかを確かめます。確かめ方は、小さいモデル 2 つを実際に検査させることです。
- 通るモデル — 終了コードが 0 で、出力に
No error has been foundが出る - 違反するモデル(陽性対照) — 出力に
is violatedが出る
2 つ目があるのは、何を渡しても「エラーなし」と言うコマンドを「TLC が使える」と読まないためです。起動コマンドを書き間違えて実質何も検査していない状態でも、1 つ目だけなら通ってしまうことがあります。Alloy 用の check-alloy.py も同じ構成で、成り立たない性質に反例が出ることを確かめます。
1 の陽性対照がモデルを疑うのに対し、こちらは検査器そのものを疑っています。
3. Eval の grader:不合格を出せることを確かめる
spec-loop は、スキルの振る舞いを Eval で確かめています。Eval は、用意した試料(小さなリポジトリ)の上でエージェントに実際にスキルを 1 回実行させ、その結果を採点するテストです。
grader は、その採点を受け持つ 1 つ 1 つの判定ルールです。単体テストの assert に相当し、1 つのケースに複数の grader を並べます。spec-loop の grader の多くは、エージェントが書いたファイルを正規表現で調べる単純なものです。たとえば、要求確定のスキル(req-loop)のケースには次のような grader が並んでいます(2 つを抜粋。コメントは筆者による要約)。
graders:
# 作業中の版 v2 の要求に、回答(90 日)が反映されている
- name: v2-requirement-reflected
type: regex
target: {source: file, path: docs/v2/requirements/stock.md}
pattern: '90 ?日'
match: contains
# 変えていない要求の未定(受注一覧の並び順)を質問として起票していない
- name: no-question-on-unchanged
type: regex
target: {source: file, path: docs/v2/shared/qa.csv}
pattern: '受注一覧|並[びべ]'
match: not_contains
1 つ目は「ファイルにこの文字列がある」なら合格、2 つ目は「ファイルにこの文字列がない」なら合格です。Eval の結果は grader ごとの合格(緑)・不合格(赤)で出ます。
ここに落とし穴があります。grader は、エージェントの振る舞いが正しかったから緑なのか、grader の書き方が悪くて何にでも緑なのかを区別できません。
patternの正規表現が言い回しの揺れを取りこぼすと、not_containsの grader は誤りを見逃して緑になる。実際このケースでも、最初は並びだけを見ていたため「どの順に並べますか」という書き方の質問を見逃し、受注一覧|並[びべ]に直しているpathが別の(存在する)ファイルを指していると、本来見るべきファイルを一度も見ないまま緑になりうる- そもそも
not_containsは、エージェントが質問を 1 行も起票しなかった実行でも緑になる(実際、このケースの設定ファイルにはそう注記されている)
つまり grader の緑は、ヘルスチェックの「応答なし」や監視の「アラートなし」と同じ、否定形の結論です。だから陽性対照が要ります。
そこで、誤った振る舞いを 1 行で直接させるプロンプト(前の版のファイルを書き換えさせる、前の版の機能を見積りに入れさせる、など)で対照を回し、期待した grader が実際に不合格になることを確かめています。上の例なら、「v2 の表に受注一覧の並び順の質問を 1 行足して止まれ」とエージェントに指示し、no-question-on-unchanged が赤になることを見ます。赤にならなければ、その grader はこの誤りを検出できない作りだと分かります。
このとき、次の 2 つは別の問いとして扱い、grader ごとに結果を記録します。
- 修正前のスキルで不合格になる — スキルの振る舞いに差があることを示す
- 対照で不合格になる — grader が不合格を出せることを示す
実際には、対照では不合格になれても、修正前のスキルでも合格してしまい、振る舞いの差を示せなかった grader も少なくありません。そうした grader は「判別した」と数えずに、その旨を残しています。
陽性対照の限界も記録しています。一部の grader は、対照で「ファイルが無いことによる不合格」しか確かめていません。ファイルはあるが中身が違うときに不合格になるかは、別に確かめる必要があります。陽性対照は、どの壊れ方を検出できるかまでしか保証しないからです。
判定の対象が一段ずつ外側に移る
3 つの段は、陽性対照を当てる対象が「仕様のモデル」「検査器」「採点」と一段ずつ外側に移っているだけです。どの段でも、「合格」や「なし」という結果だけでは、道具が死んでいる場合と見分けられない。その同じ問題に、同じ手で対処しています。
なぜシステムでも重要なのか
システムの世界でもっとも怖いのは、検知の仕組み自体が壊れているせいで、異常が起きているのに「異常なし」と表示され続けることです。これをサイレント障害と呼びます。
「アラートが来ない」「テストが通る」「ウイルスは検出されなかった」——これらはどれも、検知の仕組みが正常に動いている場合と、検知の仕組みが死んでいる場合とで、見た目がまったく同じです。陰性の結果だけを見ていても、両者は区別できません。
そこで、あえて「必ず検知されるダミーの異常」や「必ず応答が返るテスト信号」を流します。陽性対照が陽性になることを見て初めて、陰性の結果を「本当に異常がない」と読めるようになります。
導入の 4 ステップ
導入するときの考え方をまとめると、次のようになります。
- 「〜は起きていない」「0 件」という結論を出す仕組みを探す — 監視、アラート、スキャン、テスト、データ検証など
- それが必ず「起きた」と判定する入力を用意する — ダミーの異常、既知の正解データ、わざと壊したコード
- その入力を定期的に(または結論を出す前に)流す — 一度確かめて終わりにせず、仕組みが生きていることを常に担保する
- 陽性対照が陽性にならなかったら、それ自体を異常として通知する
まとめ
- 陽性対照(ポジティブコントロール)は、「必ず陽性になる」サンプルで検査の仕組みそのものが働いていることを確かめる考え方
- IT では、ヘルスチェック、Watchdog アラート、EICAR テストファイル、機械学習のサニティチェック、ミューテーションテストなど、別の名前で広く使われている
- 「異常なし」は、検知の仕組みが死んでいるときも同じように見える。陰性の結果を信じる前に、陽性になるべきものが陽性になることを確かめる
- 取り入れるときは、「0 件」と結論する仕組みを探し、必ず陽性になる入力を定期的に流し、陽性にならなければ通知する