タグ: スパースアテンション

"スパースアテンション" が付いた記事と Wiki ページ

• Subquadratic Sparse Attention (SSA)

  アテンション計算のコストをコンテキスト長の2乗からほぼ線形に削減するスパースアテンション機構。重要なk位置だけに絞ることでO(N²)→O(N×k)を実現

• SubQ

  マイアミのスタートアップ Subquadratic が 2026 年 5 月に発表した LLM。Subquadratic Sparse Attention で 1200 万トークン・コスト 1/5 を主張する

• Claude Opus超えの新LLM「SubQ」— Subquadratic Sparse Attentionで1200万トークンを実現、コスト1/5に

  2026年5月8日

  Subquadraticが発表したLLM「SubQ」の仕組みを解説。Subquadratic Sparse Attention（SSA）により1200万トークン・FlashAttention比52倍高速・コスト$8（従来$2,600）を実現。Claude Opus 4.7超えのベンチマーク結果と、技術レポート未公開・独立検証なしという懐疑論まで網羅。