タグ: Transformer
"Transformer" が付いた記事と Wiki ページ
Looped Transformer とは? 同じ層を繰り返して 4B モデルを深くする NVIDIA Dory1.0-4B
Transformer 入門 — Attention の仕組みと RNN との違い、ニューラルネットワークとの関係
Looped Transformer(ループ型 Transformer)
重みを共有した層を繰り返し通して、パラメータを増やさずに深さを稼ぐ Transformer。推論時にループ回数を選んで計算量と精度を調整できる
Transformer(トランスフォーマー)
RNN をやめて Attention だけで系列を処理するニューラルネットワークのアーキテクチャ。並列に学習できることが現在の LLM の土台になった
自然言語処理の基礎をやさしく解説 — Microsoft AI-For-Beginners レッスン 13〜20
Subquadratic Sparse Attention (SSA)
アテンション計算のコストをコンテキスト長の2乗からほぼ線形に削減するスパースアテンション機構。重要なk位置だけに絞ることでO(N²)→O(N×k)を実現