摘要本文提出了新型高效加性注意力机制，替代传统自注意力机制中的二次矩阵乘法操作，线性元素级乘法可实现关键-值交互的替换。该高效自注意力机制可在网络所有阶段使用，不会牺牲准确性。同时介绍了名为“SwiftFormer”的模型系列，在准确性和移