本文へスキップ
hdknr blog
戻る

spec-loop は TLC をどう使っているか — Formal Checker の設計と、実案件で見えた 2 つの穴

TLA+ のモデル検査器 TLC そのものの仕組みは、TLA+ のモデル検査器 TLC とは で整理しました。この記事では、自作の Claude Code プラグインで TLC を実際にどう使っているかを解説し、その使い方を評価します。

対象は hdknr/claude-code-setup の 2 つのプラグインです。

先に結論を書きます。

spec-loop で TLC が出てくる場所

plugins/ の下を TLC|TLA+|tla2tools で検索すると、ヒットするのは spec-loop の 3 ファイルだけです(リポジトリ全体では、ほかに公開ページの docs/plugins/index.md と、計画ファイル docs/plans/ が当たります)。

ファイル内容
plugins/spec-loop/agents/formal-checker.md判定役 Formal Checker の定義。TLC の使い方の本体
plugins/spec-loop/skills/spec-review/SKILL.mdFormal Checker を起動する前に、TLC が手元にあるか確かめる手順
plugins/spec-loop/references/tree.md形式検査のモデルの置き場所 spec/formal/

dev-loop とのつながりは間接的です。spec-review で確定した仕様(守るべき性質とテスト)は、spec-loop の scaffold が Red テスト(実装が無いと失敗するテスト)と Issue に変えます。dev-loop は、その Issue を 1 件ずつ実装します。TLC の出力が dev-loop に直接渡ることはありません。

spec-review の中での TLC の使われ方

spec-loop の spec-review の中で TLC が使われる流れ。Planner が対象を選んで TLC の有無を確かめ、Formal Checker が最小構成のモデルを TLC で検査し、空振りでないことを確かめて報告する。仕様は scaffold を経て dev-loop に渡るが、モデルと反例のトレースを spec/formal/ に残す手順はまだ無い

図のオレンジは LLM が判断するところ、緑は検査器(TLC)の出力で決まるところ、赤の破線はまだ無いつながりです。

対象を選ぶのは Planner(図の ①)

形式検査の対象は 3 種類あります(references/spec-exit.md の「形式検査の対象」)。対象ごとの道具は、agents/formal-checker.md の「対象と道具」が決めています。

対象見つけるもの道具
決定表・計算ルールどのルールにも当てはまらない入力(抜け)、結果が食い違う入力(矛盾)Z3
並行・リトライ・取り消しを含む業務フロー通信断や同時操作で、データが食い違ったまま残る実行順TLA+(TLC)
権限・ロール見えてはいけないデータが見えてしまう組み合わせAlloy

TLC を使うのは 2 行目だけです。さらに、改修するシステムに状態を持つ業務フローを新しく足すか、既存のフローの状態・遷移を変えるときだけが対象になります。既存の書き手(同じデータに書き込む処理やバッチ)に排他を足すだけなら、TLC は使わず、同時実行で成り立つべき性質とそのテストで受けます。

この選択は、Formal Checker ではなく、仕様を書く Planner(spec-review 本体)がします。そのフローがシステムに前からあるかどうかは、要求と既存システム(照合先)を読み合わせないと決まらないからです。Planner は、選んだ対象と理由を、照合先と一緒に Formal Checker に渡します。Formal Checker は、渡された選び方が規則に反すると判断したら、指摘として挙げます。

TLC が手元にあるかを先に確かめる(図の ②)

TLC の対象を選んだ場合、spec-review は判定役を起動する前に、TLC(Java と tla2tools.jar)が手元にあるかを確かめます。無ければ判定役を 1 体も起動せず、「用意してから呼び直す」か「用意せずに進める」かを利用者に訊きます。プラグインが自分で入れることはしません。

Formal Checker が形式化して TLC を走らせる(図の ③-1・③-2)

Formal Checker は、ファイルを書くツールを持ちません(検査器を走らせるための Bash だけは持ちます)。また、仕様を書いた側とは別のティア(Opus と Sonnet のような、モデルの格)で起動されます。形式化には次の決まりがあります。

「反例なし」は陽性対照で空振りを疑う(図の ③-3)

ここがいちばん大事な決まりです。対象ごとに次の 2 つを示して、はじめて「反例なし」と書けます。

  1. 正常な状態に到達できる:モデルが何も許さない形になっていない
  2. わざと壊した版で反例が出る:仕様のルールを 1 つ壊したモデルで、反例が出ることを示す(陽性対照)

どちらかが示せなければ、その対象は「判定できなかった」です。報告(図の ③-4)を受けた Planner は、指摘を振り分けて仕様を直すか、利用者への質問として起票します(図の ④)。

道具が無ければ代用しない

道具が無いときの扱いは、対象によって違います。

対象道具が無いとき
決定表・計算ルールPython 標準ライブラリで入力の組み合わせを総当たりする
並行・リトライ・取り消しを含む業務フロー「検査できなかった」と報告する

formal-checker.md には、業務フローで総当たりの代用をしない理由として、「実行順の爆発を手で区切ると、区切り方が結果を決める」と書かれています。

実案件で TLC が見つけた反例と状態爆発

spec-loop の Issue には、実案件(ラベルの体系の入れ替え)で spec-review を回したときの記録が残っています。spec-review がループを抜ける(終了条件を満たす)まで、約 23 時間・14 回・指摘のべ約 312 件かかりました(#373)。TLC に関わる出来事は 3 つです。

回出来事その後の直し
10 回目TLC が手元に無く、業務フローの検査が「判定できなかった」。その回はループを抜けられなかった判定役を起動する前に TLC の有無を確かめる(#368)
11 回目TLC が反例 R21-10 を見つけた:処理の途中で版が切り替わると、下落監視と表示が別の行を選ぶ新しい線では対象外になった(後述の穴 1)
11〜13 回目書き手 7〜10 人の構成で TLC を走らせ、10 人の構成は一度判定できなかった。ラベルのマスタを入れ替える改修としては、検査の深さが釣り合っていない対象を改修の性質で選ぶ・構成は最小から(#364)

要求は Markdown 89 行と決定表 15 行でしたが、仕様は 414 行から 768 行に、テストは 129 件から 300 件に膨らみました。TLC の検査が大がかりになったことも、その一因です。この 3 つの出来事が、以下の評価の材料になります。

評価:良いところ

判定を LLM ではなく検査器に置いている

Formal Checker の定義の冒頭には「あなた自身の『問題ありません』は判定になりません」とあります。LLM に形式手法を任せるとき、いちばん危ないのは、LLM が検査器を回さずに「問題なし」と書くことです。それを役の定義で封じています。

ファイルを書けない判定役を別ティアで起動するのも、同じ狙いです。仕様を書いた側と同じ盲点を持たせないためです。

空振りを陽性対照で疑っている

TLC の「違反なし」は、モデルが壊れていても出ます。たとえば、肝心の状態に到達できないモデルでは、不変条件は自明に成り立ちます。正常な状態への到達と陽性対照を「反例なし」の条件にしたのは、TLC を使ううえで最も効く決まりです。

道具が無いときに代用しない

決定表なら総当たりで代用できますが、業務フローはできません。実行順の組み合わせを手で区切ると、検査の範囲を検査する側が決めてしまうからです。「検査できなかった」と正直に報告し、その回はループを抜けない、という扱いは誠実です。

状態爆発を運用の規則で抑えた

書き手 10 人の構成で判定できなかった経験から、構成は最小から始め、広げるのは最小の構成では性質を言えない理由を書けるときだけ、という規則ができました(spec-exit.md)。状態爆発は TLC の本質的な限界なので、道具を工夫するより、検査する範囲を規則で決めるほうが筋が良いです。

評価:穴 1 — 検査の線が、本物の反例まで外に出す

#373 で、既存の書き手に排他を足すだけなら TLC の対象にしない、という線が入りました。この線には、代償が記録されています(docs/plans/issue-373.md)。

つまり、「排他を足すだけ」の改修でも、処理の途中で版が切り替わるという、時間をまたぐ競合は実際に起きていました。

線を引いた理由は、検査が膨らみすぎたことです。ただ、膨らんだ原因は構成の大きさ(書き手 7〜10 人)です。これは「構成は最小から」の規則で既に抑えています。対象から外すことまでは要らなかった可能性があります。

改善案として、#909 では次の線を提案しました。

評価:穴 2 — TLC のモデルと反例トレースが残らない

tree.md は、形式検査のモデルの置き場所として spec/formal/ を定めています。ところが、Formal Checker の定義は、モデルをリポジトリの外($TMPDIR の下)に書き、保存するかどうかは呼び出し元が決める、としています。そして呼び出し元の spec-review には、モデルを保存する手順も、保存しないと決める箇所もありません。

そのため、次のことができません。

トレースを実装のテストで強制する方法は、形式手法を Claude Code で回す で threading.Event を使って試しています。

#908 では、モデルを spec/formal/ に保存し、次の回で再利用し、範囲の中の反例のトレースを scaffold の Red テストに落とすことを提案しました。

まとめ

TLC は「検査器の出力で判定する」ための道具として、spec-loop の中で正しい位置に置かれています。足りないのは、その出力を後の工程まで運ぶ仕組みです。



前の記事
バイブコーディングの本当の問題は、誰も決めていない仕様が実装されることだ
次の記事
Quint とは — TLA+ の論理をプログラマ向けの構文で書く形式仕様記述言語と、TLC との使い分け