Skills の自動最適化 — TextGrad を応用して提案書生成スキルを「学習」させる実験と過学習の発見
Skills の自動最適化 — TextGrad を応用して提案書生成スキルを「学習」させる実験と過学習の発見 @yusuke_post 氏が、Claude Code の Skills を深層学習の手法で自動最適化する実験を公開し、大きな反響を呼んでいます。 最初のポスト(いいね 1,226、ブックマーク 2,265)では TextGrad を応用した Skills 最適化の概念を紹介し、続報のポスト(いいね 126、ブックマーク 132)では追加実験の結果として以下の知見を報告しています。 わかったのは、 ・3イテレーションくらいで過学習する。 ・1回だけでなく、3回くらいイテレーションを回すことで徐々にスコアが改善する。 ・学習を始めて最初の方は、「提案書に何を書くか」を学び出して、最後の方では「提案書のそれぞれの項目をどう書くか」を自動で学習する。 特に「全体最適→局所最適の順番で AI が自動で学んだ」という発見は、深層学習の訓練過程と同様の振る舞いが Markdown のプロンプトでも起きることを示唆しています。本記事では、この実験の背景・手法・発見を解説します。 TextGrad とは何か 「テキスト版の誤差逆伝播」 TextGrad(論文: arXiv 2406.07496)は、Stanford 大学の Zou グループが開発し、Nature に掲載されたフレームワークです。深層学習における誤差逆伝播(backpropagation)の概念を、テキストに適用します。 [深層学習の最適化] 入力 → ニューラルネット → 出力 → 損失関数 → 勾配計算 → パラメータ更新 ↑ 数値の勾配 [TextGrad の最適化] 入力 → LLM → 出力 → 評価(LLM) → テキスト勾配 → プロンプト更新 ↑ 自然言語のフィードバック 従来の深層学習では数値的な勾配を計算してパラメータを更新しますが、TextGrad では LLM が自然言語で「どう改善すべきか」をフィードバックし、それを「テキスト勾配」としてプロンプトを更新します。 ...