本文へスキップ
hdknr blog

Looped Transformer(ループ型 Transformer)

重みを共有した層を繰り返し通して、パラメータを増やさずに深さを稼ぐ Transformer。推論時にループ回数を選んで計算量と精度を調整できる

概要

Looped Transformer は、一部の層を重み共有のまま複数回繰り返し適用する Transformer。通常の Transformer が層ごとに別の重みを持ち、深くするほどパラメータが増えるのに対し、こちらはパラメータ数を固定したまま「深さ」だけを増やせる。ループ回数は推論時に選べるため、1 つのチェックポイントで計算量と精度のバランスを変えられる(elastic depth)。

詳細

通常の Transformer との違い

通常の TransformerLooped Transformer
深さの決まり方層の数 Nループ回数 k で可変
重み層ごとに別共有ブロックを使い回す
パラメータ数深さに比例して増えるk によらず一定
1 トークンあたりの計算固定k に応じて増える

典型的な構成(NVIDIA Dory1.0-4B)

2026 年 11 月の論文「Dory1.0-4B: A Looped Normalized-GPT」(arXiv:2611.03998)の構成。

s_0 = x
u_t = N(s_{t-1} + x)
s_t = N(F(u_t))

ループ回数と効果

KV キャッシュの扱い

ループのたびに K/V が生まれるため、素直に実装すると再帰ブロックの KV メモリはループ回数に比例して増える。

方式メモリ精度
ループごとにキャッシュ(学習時と同じ)k に比例基準
最終ループのみキャッシュ非ループモデルと同じk=4 で最大 2.12 ポイント低下

「最終ループのみ」は再帰層ごとにキャッシュを 1 つだけ持って上書きする方式で、再学習なしで使える。

限界:知識は増えない

ループで伸びるのは推論力(持っている情報から結論を組み立てる力)で、知識量ではない。

パラメータに入っていない知識は、何周回しても出てこない。

test-time compute の中での位置づけ

推論時の計算を増やして推論力を上げる方法は 2 系統ある。

両者は排他ではなく、Dory も思考ありと思考なしの両方の応答で学習されている。

推論力の測り方

推論力は基本的に、検証できる最終結果の正答率(テストが通るか、答えが合うか)で測る。速度はハードウェアに左右されるため指標にせず、代わりに出力トークン数・ターン数・計算量で効率を見る。正答率には知識やデータ汚染も混ざるので、「推論力が伸びた」と言うには、知識系ベンチマークが動いていないことをセットで示すと説得力が増す。

関連ページ

ソース記事