本文へスキップ
hdknr blog

Transformer(トランスフォーマー)

RNN をやめて Attention だけで系列を処理するニューラルネットワークのアーキテクチャ。並列に学習できることが現在の LLM の土台になった

概要

Transformer は、2017 年に Google の研究チームが論文「Attention Is All You Need」で発表した、ニューラルネットワークのアーキテクチャの 1 つ。CNN や RNN と同じく、「重み付き和を活性化関数に通す」単位を積み上げたニューラルネットワークの一種で、RNN の再帰をやめて Attention を中心に系列を処理する。

全単語を一斉に計算できるので GPU で大規模に学習でき、GPT・Gemini・Qwen など現在の LLM の多くがこの構造を土台にしている。

詳細

RNN の 2 つの弱点と、その解決

RNN の弱点原因Transformer の解決
長い文脈が苦手情報が隠れ状態をバケツリレーで渡るうちに薄れるAttention で離れた単語同士を 1 段で直接結ぶ
学習が遅い前の単語の計算が終わらないと次に進めない全単語を並列に処理する

Attention 自体は Transformer 以前から RNN の補助として機械翻訳で使われていた(Bahdanau ら, 2014)。Transformer の新しさは RNN を取り除き、Attention だけで組み立てた点にある。

層の構成

Transformer は同じ形の層を何段も積む。1 つの層は主に 2 つの部品からなり、それぞれに残差接続と正規化が付く。

Scaled Dot-Product Attention

Self-Attention の中心の計算は Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · V。

  1. 単語の埋め込みに重み行列を掛けて、Query(Q)・Key(K)・Value(V)を作る
  2. Q と K の内積で全単語ペアの関連度を求め、√d_k(Key の次元数)で割る
  3. softmax で各行を合計 1 の重みにし、その重みで V を混ぜる

NumPy なら scores = Q @ K.T / np.sqrt(d_k) の 1 行で全ペアの関連度が行列として求まる。ループがないことが、並列化しやすさそのものである。

エンコーダーとデコーダーの使い分け

弱点と改良の方向

関連ページ

ソース記事