タグ: アテンション

"アテンション" が付いた記事と Wiki ページ

• Subquadratic Sparse Attention (SSA)

  アテンション計算のコストをコンテキスト長の2乗からほぼ線形に削減するスパースアテンション機構。重要なk位置だけに絞ることでO(N²)→O(N×k)を実現