https://hdknr.github.io/blogs/tags/%E5%AE%9F%E6%B8%AC/Recent content in 実測 on hdknr blogHugo -- 0.157.0jaWed, 13 May 2026 00:00:00 +0000https://hdknr.github.io/blogs/posts/2026/05/claude-md-english-tiktoken-measurement/Wed, 13 May 2026 00:00:00 +0000https://hdknr.github.io/blogs/posts/2026/05/claude-md-english-tiktoken-measurement/<h2 id="結論を先に">結論を先に</h2> <p><code>CLAUDE.md</code> と 4 つの <code>SKILL.md</code> を日本語から英語に書き換えた結果、毎セッション読み込まれる固定資産のトークン量が <strong>13,538 → 8,441（-37.6%、絶対値で 5,097 トークン削減）</strong> になった。</p> <p>文字数は逆に <strong>+49%</strong> 増えているのに、トークンは大幅に減るという一見矛盾した結果である。理由と内訳を以下に示す。</p> <h2 id="背景">背景</h2> <p><a href="https://hdknr.github.io/blogs/posts/2026/05/2026-05-13-claude-md-english-prompt-caching/">CLAUDE.md 英語化の記事</a> と Skills 英語化 PR (#394) の続編。</p> <p>前 2 つの作業で、ハーネスの「内側」（LLM だけが読む固定資産）を英語化し、「外側」（人間が読むブログ記事や許可プロンプト）は日本語のまま維持する<strong>部分英語化パターン</strong>を実装した。</p> <p>ただし、その記事では「Anthropic 公開の日本語比率 1.94x」から <strong>推定 48% 削減</strong> とラフに見積もっていた。実際の効果は推定モデル次第で 2% 〜 48% と幅があり、本当の値を知るには実測しかない。</p> <h2 id="計測手法">計測手法</h2> <h3 id="tiktoken-cl100k_base-を採用">tiktoken (cl100k_base) を採用</h3> <ul> <li><strong>理由</strong>: オフラインで動く、API key 不要、結果が再現可能</li> <li><strong>限界</strong>: Anthropic Claude のトークナイザーではなく OpenAI GPT-4 系。ただし日本語のトークン化挙動は近似として広く使われる</li> <li><strong>対案</strong>: Anthropic SDK の <code>count_tokens</code> API が最も正確だが、API キーが必要</li> </ul> <h3 id="venv-で隔離">venv で隔離</h3> <p>PEP 668 で system Python が保護されているため、<code>.claude/temp/venv-tiktoken/</code> に隔離した venv を作って tiktoken だけ入れた。</p>