タグ: アテンション
"アテンション" が付いた記事と Wiki ページ
Transformer(トランスフォーマー)
RNN をやめて Attention だけで系列を処理するニューラルネットワークのアーキテクチャ。並列に学習できることが現在の LLM の土台になった
Subquadratic Sparse Attention (SSA)
アテンション計算のコストをコンテキスト長の2乗からほぼ線形に削減するスパースアテンション機構。重要なk位置だけに絞ることでO(N²)→O(N×k)を実現
"アテンション" が付いた記事と Wiki ページ
RNN をやめて Attention だけで系列を処理するニューラルネットワークのアーキテクチャ。並列に学習できることが現在の LLM の土台になった
アテンション計算のコストをコンテキスト長の2乗からほぼ線形に削減するスパースアテンション機構。重要なk位置だけに絞ることでO(N²)→O(N×k)を実現