タグ: Looped Transformer
"Looped Transformer" が付いた記事と Wiki ページ
Looped Transformer とは? 同じ層を繰り返して 4B モデルを深くする NVIDIA Dory1.0-4B
Looped Transformer(ループ型 Transformer)
重みを共有した層を繰り返し通して、パラメータを増やさずに深さを稼ぐ Transformer。推論時にループ回数を選んで計算量と精度を調整できる
"Looped Transformer" が付いた記事と Wiki ページ
重みを共有した層を繰り返し通して、パラメータを増やさずに深さを稼ぐ Transformer。推論時にループ回数を選んで計算量と精度を調整できる