TLA+ のモデル検査器 TLC そのものの仕組みは、TLA+ のモデル検査器 TLC とは で整理しました。この記事では、自作の Claude Code プラグインで TLC を実際にどう使っているかを解説し、その使い方を評価します。
対象は hdknr/claude-code-setup の 2 つのプラグインです。
- spec-loop:要求を確定し、開発者向けの仕様を書いてレビューするループ(要求仕様書作成ループ の設計を Claude Code プラグインにしたもの)
- dev-loop:GitHub Issue 1 件を、検証が通るまで実装するループ
先に結論を書きます。
- TLC を使っているのは spec-loop だけで、dev-loop には TLA+ も TLC も出てこない
- spec-loop では、仕様レビュー(
spec-review)の判定役 Formal Checker が TLC を走らせる - 「判定は検査器の出力で決める」「反例なしは空振りを疑う」という原則はよくできている
- 一方、どこまで検査するかの線引きと、検査したモデルを後に残す仕組みに穴がある。どちらも Issue(#908・#909)にした。先に直すべきなのはモデルの保存のほう
spec-loop で TLC が出てくる場所
plugins/ の下を TLC|TLA+|tla2tools で検索すると、ヒットするのは spec-loop の 3 ファイルだけです(リポジトリ全体では、ほかに公開ページの docs/plugins/index.md と、計画ファイル docs/plans/ が当たります)。
| ファイル | 内容 |
|---|---|
plugins/spec-loop/agents/formal-checker.md | 判定役 Formal Checker の定義。TLC の使い方の本体 |
plugins/spec-loop/skills/spec-review/SKILL.md | Formal Checker を起動する前に、TLC が手元にあるか確かめる手順 |
plugins/spec-loop/references/tree.md | 形式検査のモデルの置き場所 spec/formal/ |
dev-loop とのつながりは間接的です。spec-review で確定した仕様(守るべき性質とテスト)は、spec-loop の scaffold が Red テスト(実装が無いと失敗するテスト)と Issue に変えます。dev-loop は、その Issue を 1 件ずつ実装します。TLC の出力が dev-loop に直接渡ることはありません。
spec-review の中での TLC の使われ方
図のオレンジは LLM が判断するところ、緑は検査器(TLC)の出力で決まるところ、赤の破線はまだ無いつながりです。
対象を選ぶのは Planner(図の ①)
形式検査の対象は 3 種類あります(references/spec-exit.md の「形式検査の対象」)。対象ごとの道具は、agents/formal-checker.md の「対象と道具」が決めています。
| 対象 | 見つけるもの | 道具 |
|---|---|---|
| 決定表・計算ルール | どのルールにも当てはまらない入力(抜け)、結果が食い違う入力(矛盾) | Z3 |
| 並行・リトライ・取り消しを含む業務フロー | 通信断や同時操作で、データが食い違ったまま残る実行順 | TLA+(TLC) |
| 権限・ロール | 見えてはいけないデータが見えてしまう組み合わせ | Alloy |
TLC を使うのは 2 行目だけです。さらに、改修するシステムに状態を持つ業務フローを新しく足すか、既存のフローの状態・遷移を変えるときだけが対象になります。既存の書き手(同じデータに書き込む処理やバッチ)に排他を足すだけなら、TLC は使わず、同時実行で成り立つべき性質とそのテストで受けます。
この選択は、Formal Checker ではなく、仕様を書く Planner(spec-review 本体)がします。そのフローがシステムに前からあるかどうかは、要求と既存システム(照合先)を読み合わせないと決まらないからです。Planner は、選んだ対象と理由を、照合先と一緒に Formal Checker に渡します。Formal Checker は、渡された選び方が規則に反すると判断したら、指摘として挙げます。
TLC が手元にあるかを先に確かめる(図の ②)
TLC の対象を選んだ場合、spec-review は判定役を起動する前に、TLC(Java と tla2tools.jar)が手元にあるかを確かめます。無ければ判定役を 1 体も起動せず、「用意してから呼び直す」か「用意せずに進める」かを利用者に訊きます。プラグインが自分で入れることはしません。
Formal Checker が形式化して TLC を走らせる(図の ③-1・③-2)
Formal Checker は、ファイルを書くツールを持ちません(検査器を走らせるための Bash だけは持ちます)。また、仕様を書いた側とは別のティア(Opus と Sonnet のような、モデルの格)で起動されます。形式化には次の決まりがあります。
- 性質(不変条件)の水準で書く:特定のロックの方式や書き込みの順序はモデルに入れない。モデルが確かめるのは「何が成り立つべきか」
- 構成は最小から:書き手・利用者・ジョブの数は、性質が破れうる最小(ふつう 2〜3)から始める
- モデルはリポジトリの外に書く:
$TMPDIRの下に書いて走らせ、全文を報告に含める - 時間を区切る:時間切れで打ち切った検査を「反例なし」と書かない
「反例なし」は陽性対照で空振りを疑う(図の ③-3)
ここがいちばん大事な決まりです。対象ごとに次の 2 つを示して、はじめて「反例なし」と書けます。
- 正常な状態に到達できる:モデルが何も許さない形になっていない
- わざと壊した版で反例が出る:仕様のルールを 1 つ壊したモデルで、反例が出ることを示す(陽性対照)
どちらかが示せなければ、その対象は「判定できなかった」です。報告(図の ③-4)を受けた Planner は、指摘を振り分けて仕様を直すか、利用者への質問として起票します(図の ④)。
道具が無ければ代用しない
道具が無いときの扱いは、対象によって違います。
| 対象 | 道具が無いとき |
|---|---|
| 決定表・計算ルール | Python 標準ライブラリで入力の組み合わせを総当たりする |
| 並行・リトライ・取り消しを含む業務フロー | 「検査できなかった」と報告する |
formal-checker.md には、業務フローで総当たりの代用をしない理由として、「実行順の爆発を手で区切ると、区切り方が結果を決める」と書かれています。
実案件で TLC が見つけた反例と状態爆発
spec-loop の Issue には、実案件(ラベルの体系の入れ替え)で spec-review を回したときの記録が残っています。spec-review がループを抜ける(終了条件を満たす)まで、約 23 時間・14 回・指摘のべ約 312 件かかりました(#373)。TLC に関わる出来事は 3 つです。
| 回 | 出来事 | その後の直し |
|---|---|---|
| 10 回目 | TLC が手元に無く、業務フローの検査が「判定できなかった」。その回はループを抜けられなかった | 判定役を起動する前に TLC の有無を確かめる(#368) |
| 11 回目 | TLC が反例 R21-10 を見つけた:処理の途中で版が切り替わると、下落監視と表示が別の行を選ぶ | 新しい線では対象外になった(後述の穴 1) |
| 11〜13 回目 | 書き手 7〜10 人の構成で TLC を走らせ、10 人の構成は一度判定できなかった。ラベルのマスタを入れ替える改修としては、検査の深さが釣り合っていない | 対象を改修の性質で選ぶ・構成は最小から(#364) |
要求は Markdown 89 行と決定表 15 行でしたが、仕様は 414 行から 768 行に、テストは 129 件から 300 件に膨らみました。TLC の検査が大がかりになったことも、その一因です。この 3 つの出来事が、以下の評価の材料になります。
評価:良いところ
判定を LLM ではなく検査器に置いている
Formal Checker の定義の冒頭には「あなた自身の『問題ありません』は判定になりません」とあります。LLM に形式手法を任せるとき、いちばん危ないのは、LLM が検査器を回さずに「問題なし」と書くことです。それを役の定義で封じています。
ファイルを書けない判定役を別ティアで起動するのも、同じ狙いです。仕様を書いた側と同じ盲点を持たせないためです。
空振りを陽性対照で疑っている
TLC の「違反なし」は、モデルが壊れていても出ます。たとえば、肝心の状態に到達できないモデルでは、不変条件は自明に成り立ちます。正常な状態への到達と陽性対照を「反例なし」の条件にしたのは、TLC を使ううえで最も効く決まりです。
道具が無いときに代用しない
決定表なら総当たりで代用できますが、業務フローはできません。実行順の組み合わせを手で区切ると、検査の範囲を検査する側が決めてしまうからです。「検査できなかった」と正直に報告し、その回はループを抜けない、という扱いは誠実です。
状態爆発を運用の規則で抑えた
書き手 10 人の構成で判定できなかった経験から、構成は最小から始め、広げるのは最小の構成では性質を言えない理由を書けるときだけ、という規則ができました(spec-exit.md)。状態爆発は TLC の本質的な限界なので、道具を工夫するより、検査する範囲を規則で決めるほうが筋が良いです。
評価:穴 1 — 検査の線が、本物の反例まで外に出す
#373 で、既存の書き手に排他を足すだけなら TLC の対象にしない、という線が入りました。この線には、代償が記録されています(docs/plans/issue-373.md)。
- 11〜13 回目の TLC は、既存のバッチの書き手に排他と版の順序の守りを足したもので、新しい線では対象外になる
- そのため、11 回目に TLC が見つけた反例 R21-10 は、Red Team(仕様の穴を探す別の判定役)が性質とテストを照合するときに見つけることになる。見つかる保証は無い
つまり、「排他を足すだけ」の改修でも、処理の途中で版が切り替わるという、時間をまたぐ競合は実際に起きていました。
線を引いた理由は、検査が膨らみすぎたことです。ただ、膨らんだ原因は構成の大きさ(書き手 7〜10 人)です。これは「構成は最小から」の規則で既に抑えています。対象から外すことまでは要らなかった可能性があります。
改善案として、#909 では次の線を提案しました。
- 守るべき性質が、複数のステップ・版・処理の途中をまたぐなら、「排他を足すだけ」でも、最小構成(書き手 2 人)での TLC を残す
- 性質が 1 ステップの中で閉じるなら、今の線のとおり性質とテストで受ける
評価:穴 2 — TLC のモデルと反例トレースが残らない
tree.md は、形式検査のモデルの置き場所として spec/formal/ を定めています。ところが、Formal Checker の定義は、モデルをリポジトリの外($TMPDIR の下)に書き、保存するかどうかは呼び出し元が決める、としています。そして呼び出し元の spec-review には、モデルを保存する手順も、保存しないと決める箇所もありません。
そのため、次のことができません。
- 回帰検査:次の版で同じ性質を確かめるとき、LLM がモデルを毎回組み直す。組み直すたびに、形式化で置いた前提が揺れ、前回の「反例なし」と比べられない
- トレースの再現:TLC の反例は、どの順番で何を割り込ませれば壊れるかを示すトレースです。これを実装のテストで強制すれば、並行テストを流すだけでは出ない競合を決定的に再現できます。ところが今は、トレースが仕様にも
scaffoldにも渡らず、dev-loop に届きません
トレースを実装のテストで強制する方法は、形式手法を Claude Code で回す で threading.Event を使って試しています。
#908 では、モデルを spec/formal/ に保存し、次の回で再利用し、範囲の中の反例のトレースを scaffold の Red テストに落とすことを提案しました。
まとめ
- spec-loop の Formal Checker は、並行・リトライ・取り消しを含む業務フローの検査に TLC を使う。dev-loop は TLC を使わない
- 判定を検査器に置く、空振りを陽性対照で疑う、道具が無ければ代用しない、構成は最小から——という原則はよくできている
- 穴は 2 つ。「排他を足すだけ」の線が、時間をまたぐ本物の反例まで検査の外に出すこと。モデルとトレースが残らず、回帰検査も dev-loop への引き渡しもできないこと
- 先に直すべきなのはモデルの保存とトレースの引き渡し。モデルが残らないと、線を見直しても、見直す前と後の検査結果を比べられないからだ
TLC は「検査器の出力で判定する」ための道具として、spec-loop の中で正しい位置に置かれています。足りないのは、その出力を後の工程まで運ぶ仕組みです。
