タグ: Transformer

"Transformer" が付いた記事と Wiki ページ

• Subquadratic Sparse Attention (SSA)

  アテンション計算のコストをコンテキスト長の2乗からほぼ線形に削減するスパースアテンション機構。重要なk位置だけに絞ることでO(N²)→O(N×k)を実現