Llama3-8B+ LLaMA-Factory 中文微调

1年前作者：猫猫姐姐分类：Toy博客阅读(16)违法举报

这篇具有很好参考价值的文章主要介绍了Llama3-8B+ LLaMA-Factory 中文微调。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Llama3-8B+ LLaMA-Factory 中文微调

Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！

本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！LLaMA-Factory是一个开源的模型训练工具

Llama3-8B-Instruct模型下载地址：

魔搭社区（境内）：https://modelscope.cn/models/LLM-Research/Meta-Llama-3-8B-Instruct/files

huggingface（境外）：https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct/tree/main

LLaMA-Factory项目地址：文章来源地址https://www.toymoban.com/news/detail-860030.html

到了这里，关于Llama3-8B+ LLaMA-Factory 中文微调的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

从零开始的LLaMA-Factory的指令增量微调
大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容从0起步，扬帆起航。大模型应用向开发路径及一点个人思考大模型应用开发实用开源项目汇总大模型问答项目问答性能评估方法大模型数据
2024年04月09日
浏览(23)
Python - 深度学习系列30 - 使用LLaMA-Factory微调模型
最实用的一种利用大语言模型的方式是进行微调。预训练模型与我们的使用场景一定会存在一些差异，而我们又不可能重头训练。微调的原理并不复杂，载入模型，灌新的数据，然后运行再训练，保留checkpoints。但是不同项目的代码真的不太一样，每一个都要单独去看的话比
2024年04月12日
浏览(13)
安装LLaMA-Factory微调chatglm3，修改自我认知
安装git clone https://github.com/hiyouga/LLaMA-Factory.git conda create -n llama_factory python=3.10 conda activate llama_factory cd LLaMA-Factory pip install -r requirements.txt 之后运行单卡训练， CUDA_VISIBLE_DEVICES=0 python src/train_web.py，按如下配置 demo_tran.sh export_model.sh cli_demo.sh 注意合并模型的时候，最后复制
2024年02月04日
浏览(19)
小白也能微调大模型：LLaMA-Factory使用心得
大模型火了之后，相信不少人都在尝试将预训练大模型应用到自己的场景上，希望得到一个垂类专家，而不是通用大模型。目前的思路，一是RAG(retrieval augmented generation)，在模型的输入prompt中加入尽可能多的“目标领域”的相关知识，引导模型在生成时尽量靠拢目标领域，运
2024年04月13日
浏览(23)
快速上手！LLaMa-Factory最新微调实践，轻松实现专属大模型
Yuan2.0（https://huggingface.co/IEITYuan）是浪潮信息发布的新一代基础语言大模型，该模型拥有优异的数学、代码能力。自发布以来，Yuan2.0已经受到了业界广泛的关注。当前Yuan2.0已经开源参数量分别是102B、51B和2B的3个基础模型，以供研发人员做进一步的开发。 LLM（大语言模型）微
2024年01月20日
浏览(14)
LLaMA-Factory微调（sft）ChatGLM3-6B保姆教程
下载LLaMA-Factory 下载ChatGLM3-6B 下载ChatGLM3 windows下载CUDA ToolKit 12.1 （本人是在windows进行训练的，显卡GTX 1660 Ti） CUDA安装完毕后，通过指令 nvidia-smi 查看 1、选择下载目录：E:llm-trainLLaMA-Factory，并打开 2、创建新的python环境，这里使用conda创建一个python空环境，选择python3.10 参考
2024年04月13日
浏览(18)
LLaMA-Factory可视化界面微调chatglm2；LoRA训练微调模型简单案例
参考：https://github.com/huggingface/peft https://github.com/hiyouga/LLaMA-Factory 类似工具还有流萤，注意是做中文微调训练这块；来训练微调的chatglm2需要完整最新文件，不能是量化后的模型；另外测试下来显卡资源要大于20来G才能顺利，这边T4单卡训练中间显存不足，需要开启4bit量化才行
2024年02月05日
浏览(21)
llama-factory SFT 系列教程 (四)，lora sft 微调后，使用vllm加速推理
llama-factory SFT系列教程 (一)，大模型 API 部署与使用 llama-factory SFT系列教程 (二)，大模型在自定义数据集 lora 训练与部署 llama-factory SFT系列教程 (三)，chatglm3-6B 命名实体识别实战 llama-factory SFT 系列教程 (四)，lora sft 微调后，使用vllm加速推理 llama-factory 提供了 vllm API 部署，但笔
2024年04月27日
浏览(10)
LLaMA-Factory 8卡4090 deepspeed zero3 微调Qwen14B-chat
环境安装推荐使用docker，Ubuntu20.04 https://www.modelscope.cn/docs/%E7%8E%AF%E5%A2%83%E5%AE%89%E8%A3%85 下载模型在modelscope主页，找到模型 https://modelscope.cn/models/qwen/Qwen-14B-Chat/summary 可以使用如下脚本微调使用LLaMA-Factory，下载下面仓库的代码， https://github.com/hiyouga/LLaMA-Factory 在代码目录，
2024年04月15日
浏览(17)
【本地大模型部署与微调】ChatGLM3-6b、m3e、one-api、Fastgpt、LLaMA-Factory
本文档详细介绍了使用ChatGLM3-6b大模型、m3e向量模型、one-api接口管理以及Fastgpt的知识库，成功的在本地搭建了一个大模型。此外，还利用LLaMA-Factory进行了大模型的微调。 1.ChatGLM3-6b 2.m3e 3.One-API 4.Fastgpt 5.LLaMA-Factory 1.1创建腾讯云服务器注意: ChatGLM3-6b的大模型40多个G,购买腾讯
2024年03月22日
浏览(21)