写会百科网
  •  首页
  •  百科大全
  •  文学
  •  登录
  1. 标签
  2. 多模态 LLM 中的跳过计算 ,通过跳过整个块FFN层甚至单个神
  • 多模态 LLM 中的跳过计算 ,通过跳过整个块、FFN层甚至单个神经元,可以实现计算的巨大减少 !

    大型语言模型(LLMs)在文本和多模态领域取得了显著的成功。然而,这种成功往往伴随着巨大的计算成本,特别是在处理多模态输入序列时。这激发了众多研究致力于提高训练和推理的效率。在本研究中,作者研究了多模态大型语言模型(MLLMs)在推理时的计
    多模态 LLM 中的跳过计算 ,通过跳过整个块FFN层甚至单个神经元,可以实现计算的巨大减少 !
    admin1月前
    110
CopyRight © 2022 All Rights Reserved 豫ICP备2022006366号-11
Processed: 0.049, SQL: 9