Windows(Win10、Win11)本地部署开源大模型保姆级教程

这篇具有很好参考价值的文章主要介绍了Windows(Win10、Win11)本地部署开源大模型保姆级教程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

点我去AIGIS公众号查看本文

本期教程用到的所有安装包已上传到百度网盘

链接:https://pan.baidu.com/s/1j281UcOF6gnOaumQP5XprA
提取码:wzw7

前言

  最近开源大模型可谓闹的沸沸扬扬,尤其是Microsoft开源的wizardlm2 8*22bMeta开源的llama3 70b,评测都已经接近了OpenAI GPT4的水平。鉴于还有很多同学不会在Windows(Win10、Win11)上部署和使用本地模型,因此我们出一期保姆级教程。

1.安装ollama

  ollama是一个离线运行大模型的工具,注意你可不要把它和Meta的大模型llama混淆,二者不是同一个东西。ollama工具的下载地址为https://ollama.com/download,选择Windows版本进行下载安装即可。
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署

2.安装大模型

  ollama默认安装路径为C:\Users\用户名\AppData\Local\Programs\Ollama,我们先进入到这个路径
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署

  然后在地址栏输入cmd后回车
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署
  此时会打开一个命令终端黑框
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署
  现在输入ollama run llama3
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署
  等待下载完成即可。恭喜你!现在你可以开始问问题了!
  现在我们还有一个问题,这个界面不好看,我们要它的界面和OpenAI一样的风格,可以,必须满足你。

首次安装会自动打开该cmd界面

3.安装HyperV

  先根据以下操作路径看看自己电脑有没有HyperV安装选项:控制面板-程序-启用或关闭Windows功能-HyperV.
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署
  如果没有HyperV安装选项,则新建一个.txt文件,将以下内容拷贝进去,然后把文件后缀名改为.bat,右键以管理员权限运行即可。运行完毕后再次按照上面路径操作安装HyperV

pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL

Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署

4.安装Docker

  直接在Docker官网https://www.docker.com/products/docker-desktop/下载最新版本的Docker Desktop,我下载的是Docker Desktop4.28.0,其中包含的Docker的版本是25.0.3,Docker-Compose的版本是2.24.6。注意不要混淆DockerDocker Desktop。如果是低版本的Docker Desktop,那就需要自己手动安装Docker-Compose了。
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署
  配置一下Docker访问中国镜像源
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "http://f1361db2.m.daocloud.io",
    "https://registry.docker-cn.com"
  ]
}

  配置完毕之后在cmd输入docker version确认一下是否安装成功了。
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署

5.安装聊天界面

  有了之前的操作之后,接下来我们的操作就简单多了,直接在cmd中运行以下命令,安装聊天界面

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署
  回到Docker界面看看是否已经在运行WebUI了,图标亮起就表示已经在运行了,点击后面的端口号就可以在浏览器中查看了。
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署
  先注册,后登陆,然后选择模型,就可以开始聊天了。
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署

后面得看看有没有办法在离线环境下打开这个聊天界面,目前离线环境下打开界面还是不太方便。

6.总结

  本文讲述了如何在Windows(Win10 Win11)上本地部署大模型。从最基础的软件安装到环境配置都进行了截图展示,希望对非计算机的同学也有所帮助。AI时代我们每个人都必须要掌握一些AI知识,相信不断学习的你一定不会被AI淘汰。这只是开始,后面我们还有很多工作要做,尤其是提示词智能体方面的知识,我们仍需要不断的学习,后续我也会持续更新,希望我们都能跟上时代的潮流。
更多精彩内容见公众号AIGIS
Windows(Win10、Win11)本地部署开源大模型保姆级教程,计算机,windows,win10,win11,大模型,部署文章来源地址https://www.toymoban.com/news/detail-861482.html

到了这里,关于Windows(Win10、Win11)本地部署开源大模型保姆级教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • opengpts项目windows11本地部署教程(无docker)

    目录 项目地址 本地部署步骤 从github下载代码 配置环境 安装项目依赖项 安装 Postgres 和 Postgres 矢量扩展 配置环境变量 创建数据库 连接数据库并创建postgres角色 安装 Golang 迁移 安装后端依赖 启动后端服务器 启动前端 问题 项目地址 https://github.com/langchain-ai/opengpts 点击上面我

    2024年04月23日
    浏览(8)
  • 模型实战(11)之win10下Opencv+CUDA部署yolov5、yolov8算法

    测试环境:AMDRH7000+RTX3050+win10+vs2-10+opencv455+cuda11.7 关于opencv470+contrib+cuda的编译,可以详见:Win10下Opencv+CUDA联合编译详细教程 本文代码同时支持 yolov5 、 yolov8 两个模型,详细过程将在文中给出, 完整代码仓库最后给出 其中,yolov8在opencv-DNN + CUDA下的效果如下: 新建VS项目,名

    2024年02月16日
    浏览(10)
  • 本地部署开源大模型的完整教程:LangChain + Streamlit+ Llama

    在过去的几个月里,大型语言模型(llm)获得了极大的关注,这些模型创造了令人兴奋的前景,特别是对于从事聊天机器人、个人助理和内容创作的开发人员。 大型语言模型(llm)是指能够生成与人类语言非常相似的文本并以自然方式理解提示的机器学习模型。这些模型使用广泛

    2024年02月11日
    浏览(14)
  • 【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程

    目录 感谢B站秋葉aaaki大佬 前言 部署资源 部署流程  实机演示 ChatGML微调(人格炼成)(个人感觉蛮有趣的地方)  分享有趣の微调人格  实机演示(潘金莲人格) 秋葉aaaki的个人空间_哔哩哔哩_bilibili https://space.bilibili.com/12566101 由于ChatGLM-6B的规模较小,目前已知其具有相当

    2024年02月06日
    浏览(17)
  • 本地免费GPT4?Llama 2开源大模型,一键部署且无需硬件要求教程

            目前扎克布格带来了最新的Llama 2开源NLP大模型,目前有三个版本分别是70亿参数量,130亿参数量和700亿参数量,庞大的数据集和参数量保证了模型的强大,官网宣称性能与gpt4相比不落下风,又因为开源使得我们可以实现本地化gpt4的梦想并且免费!我们可以通过微

    2024年02月11日
    浏览(17)
  • 保姆级教程:Win10远程连接MACBook、MACBook远程连接Win10。

            本篇给大家展示Windows远程连接连接MACBook、MACBook远程连接Windows的方法。需要明确的是,这种通过TCP远程连接的远程很稳定,基本比向日葵等软件流畅很多,但是缺点是需要保证在同一网域下,也就是同一局域网下,部分情况下需要VPN保证设备处在同一局域网。 目录

    2024年02月02日
    浏览(12)
  • win11还原win10磁贴方法ExplorerPatcher,替代Start 11、StartALLBack(开源免费~)

    微软:我不向前兼容,用户喷我兼容性差。我向前兼容,开发者就用老方法把程序写成一坨,我能怎么办,我也很绝望啊!微软献祭了一位高管,于是做出了Windows11。 于是win11,微软就把用户觉得好用的功能砍掉,一些挤牙膏似的小功能全上,并且强行改变用户之前养成的使用习

    2024年02月02日
    浏览(11)
  • Win11配置Java Path环境变量(保姆级教程)

    一、为什么要配置Java环境变量? 为了方便在开发Java程序的时候,能够使用Javac和Java这些命令,所以需要配置Path环境 二、Path环境配置 1、控制面板系统高级系统配置 2、高级环境变量系统变量新建 变量名:JAVA_HOME 变量值:安装JDK的文件路径 3、系统变量编辑path 4、新建路径

    2024年04月15日
    浏览(16)
  • 【Win11 | SSH】详细教你如何在Windows 11 下完成OpenSSH的安装(保姆级攻略)

    最近在测试github的连接时,在终端或命令行窗口中,输入以下命令测试你的 SSH 连接是否正常: 如果一切正常,命令输出以下信息: 其中 username 是你的 GitHub 用户名。 但是我的命令出错: 这个错误提示说明我的操作系统没有找到 ssh 命令,可能是因为我的计算机没有安装

    2024年02月06日
    浏览(22)
  • WIN10安装CUDA保姆级教程[2023.5.7更新]

    本系列分步记录在win10上搭建CUDA+cudnn+pytorch+YOLOv5+tensorrt等深度学习架构部署及系统搭建,欢迎关注追更! 目录 0.了解CUDA 1.注意事项  1.1显卡驱动  1.2确定关联性 1.2.1 显卡驱动与cuda的对应关系: 1.2.2 pytorch与cuda的对应关系 2.cuda安装 2.1、访问CUDA官网、配置自己的下载安装包

    2024年02月08日
    浏览(15)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包