在 Windows 11 上通过 Autoawq 启动 Mixtral 8*7B 大语言模型

1年前作者：engchina分类：Toy博客阅读(9)违法举报

这篇具有很好参考价值的文章主要介绍了在 Windows 11 上通过 Autoawq 启动 Mixtral 8*7B 大语言模型。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

0. 背景

看了一些文章之后，今天尝试在 Windows 11 上通过 Autoawq 启动 Mixtral 8*7B 大语言模型。

1. 安装依赖

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

pip install autoawq git+https://github.com/huggingface/transformers.git

pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl
pip install https://github.com/bdashore3/flash-attention/releases/download/v2.4.1/flash_attn-2.4.1+cu121torch2.1cxx11abiFALSE-cp310-cp310-win_amd64.whl

2. 开发 main.py

from transformers import AutoModelForCausalLM,AutoTokenizer
from transformers import TextStreamer
model_id ="casperhansen/mixtral-instruct-awq"
tokenizer =AutoTokenizer.from_pretrained(model_id)
model =AutoModelForCausalLM.from_pretrained(model_id,low_cpu_mem_usage=True,device_map="auto",attn_implementation="flash_attention_2")
streamer = TextStreamer(tokenizer,skip_prompt=True,skip_special_tokens=True)
text="[INST] How to make the best cup of americano? [/INST]"
tokens =tokenizer(text,return_tensors='pt').input_ids.to("cuda:0")
generation_output =model.generate(tokens,streamer=streamer,max_new_tokens=512)

代码来自：https://mp.weixin.qq.com/s/IAWJIh61_enYoyME3oJqJQ

3. 运行 main.py

python main.py

输出结果示例，

mixtral-8x7b,LINUX,windows,语言模型,人工智能,Mixtral
完成！文章来源地址https://www.toymoban.com/news/detail-801225.html

到了这里，关于在 Windows 11 上通过 Autoawq 启动 Mixtral 8*7B 大语言模型的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

MistralAI发布全球首个MoE大模型-Mixtral 8x7B，创新超越GPT-4
引言 MistralAI，一家法国的初创企业，近期在AI界引发了轰动，刚刚发布了全球首个基于MoE（Mixture of Experts，混合专家）技术的大型语言模型——Mistral-8x7B-MoE。这一里程碑事件标志着AI技术的一个重要突破，尤其是在模型结构和效率上的创新，让它在业界赢得了“超越GPT-4”的
2024年02月04日
浏览(13)
大模型部署手记（11）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+llama.cpp+中文对话
组织机构：Meta（Facebook）代码仓：GitHub - facebookresearch/llama: Inference code for LLaMA models 模型：LIama-2-7b-hf、Chinese-LLaMA-Plus-2-7B 下载：使用huggingface.co和百度网盘下载硬件环境：暗影精灵7Plus Windows版本：Windows 11家庭中文版 Insider Preview 22H2 内存 32G GPU显卡：Nvidia GTX 3080 Laptop （1
2024年02月03日
浏览(13)
在人工智能时代，Django + 简单的 HTML + Whisper + mixtral-8x7b-instruct + SQLite 实现了一个 TODO应用
人工智能TODO应用程序演示https://ivan-tolkunov–surukoto-run.modal.run/（警告：该应用程序可能需要长达30秒才能启动）。所有数据在不活动5分钟后重置。试着告诉它：“添加彩虹的每一种颜色”，然后“标记所有提到绿色和紫色之间的待办事项”和“清理完成的待办事项。” 每个人
2024年01月20日
浏览(26)
llama.cpp LLM模型 windows cpu安装部署；运行LLaMA-7B模型测试
参考： https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/ https://blog.csdn.net/qq_38238956/article/details/130113599 cmake windows安装参考：https://blog.csdn.net/weixin_42357472/article/details/131314105 1、下载： 2、编译 3、测试运行参考： https://zhuanlan.zhihu.com/p/638427280 模型下载： https://huggingface.co/nya
2024年02月15日
浏览(11)
Windows11下私有化部署大语言模型实战 langchain+llama2
CPU：锐龙5600X 显卡：GTX3070 内存：32G 注：硬件配置仅为博主的配置，不是最低要求配置，也不是推荐配置。该配置下计算速度约为40tokens/s。实测核显笔记本（i7-1165g7）也能跑，速度3tokens/s。 Windows系统版本：Win11专业版23H2 Python版本：3.11 Cuda版本：12.3.2 VS版本：VS2022 17.8.3 lan
2024年02月03日
浏览(582)
快速训练自己的大语言模型：基于LLAMA-7B的lora指令微调
前言：系统：ubuntu 18.04 显卡：A100-80G（蹭的，嘿嘿~）（本次主要记录如何快速进行大模型的指令微调）地址：https://github.com/Lightning-AI/lit-llama 切换到工程目录使用pip安装依赖库（当然，这里可能会遇到网络问题，安装不了lightning）可使用以下方式安装：下载lightning工程
2024年02月11日
浏览(10)
【AI实战】开源可商用的中英文大语言模型baichuan-7B，从零开始搭建
baichuan-7B 是由百川智能开发的一个开源可商用的大规模预训练语言模型。基于 Transformer 结构，在大约1.2万亿 tokens 上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。在标准的中文和英文权威 benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果。 GitHub： https://github.c
2024年02月09日
浏览(9)
大模型部署手记（13）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+LangChain+摘要问答
组织机构：Meta（Facebook）代码仓：GitHub - facebookresearch/llama: Inference code for LLaMA models 模型：chinese-alpaca-2-7b-hf、text2vec-large-chinese 下载：使用百度网盘和huggingface.co下载硬件环境：暗影精灵7Plus Windows版本：Windows 11家庭中文版 Insider Preview 22H2 内存 32G GPU显卡：Nvidia GTX 3080 Laptop
2024年02月04日
浏览(11)
大模型部署手记（10）LLaMa2+Chinese-LLaMA-Plus-7B+Windows+llama.cpp+中英文对话
组织机构：Meta（Facebook）代码仓：GitHub - facebookresearch/llama: Inference code for LLaMA models 模型：llama-2-7b、llama-2-7b-chat（后来证明无法实现中文转换）、Chinese-LLaMA-Plus-7B（chinese_llama_plus_lora_7b）下载：使用download.sh下载硬件环境：暗影精灵7Plus Windows版本：Windows 11家庭中文版
2024年02月04日
浏览(14)
大模型部署手记（9）LLaMa2+Chinese-LLaMA-Plus-7B+Windows+llama.cpp+中文文本补齐
组织机构：Meta（Facebook）代码仓：GitHub - facebookresearch/llama: Inference code for LLaMA models 模型：llama-2-7b、Chinese-LLaMA-Plus-7B（chinese_llama_plus_lora_7b）下载：使用download.sh下载硬件环境：暗影精灵7Plus Windows版本：Windows 11家庭中文版 Insider Preview 22H2 内存 32G GPU显卡：Nvidia GTX 3080 La
2024年02月03日
浏览(11)