admin管理员组

文章数量:1794759

炼丹炉

本篇文章是书生浦语大模型微调实战系列第四篇。

XTuner概述
1.1 XTuner

一个大语言模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。

1.2 支持的开源LLM (2023.11.01)
  • InternLM ✅
  • Llama，Llama2
  • ChatGLM2，ChatGLM3
  • Qwen
  • Baichuan，Baichuan2
  • ......
  • Zephyr
1.3 特色
  • 傻瓜化： 以配置文件的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调。
  • 轻量级： 对于7B参数量的LLM，微调所需的最小显存仅为 8GB消费级显卡，colab。
1.4 微调原理

有一个超大的玩具，现在你想改造这个超大的玩具。对整个玩具进行全面的改动会非常昂贵。

※ 因此，你找到了一种叫 LoRA 的方法：只对玩具中的某些零件进行改动，而不是对整个玩具进行全面改动。

※ 而 QLoRA 是 LoRA 的一种改进：如果你手里只有一把生锈的螺丝刀，也能改造你的玩具。

  • Full :

    本文标签： 炼丹炉

    版权声明：本文标题：炼丹炉 内容由林淑君副主任自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.xiehuijuan.com/baike/1755000257a1709269.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。