写会百科网
  •  首页
  •  百科大全
  •  文学
  •  登录
  1. 标签
  2. Transformers是SSMs通过结构化状态空间对偶性的广义
  • Transformers是SSMs:通过结构化状态空间对偶性的广义模型和高效算法(一)

    摘要链接:.21060 尽管Transformer一直是深度学习在语言建模中取得成功的主要架构,但最近的研究表明,如Mamba之类的状态空间模型(SSMs)在小到中等规模上能够匹敌或超越Transformer的性能。我们表明,这两类模型实际
    Transformers是SSMs通过结构化状态空间对偶性的广义模型和高效算法(一)
    admin1月前
    170
CopyRight © 2022 All Rights Reserved 豫ICP备2022006366号-11
Processed: 0.024, SQL: 9