Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问

这篇具有很好参考价值的文章主要介绍了Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具,并安装Open WebUI结合cpolar内网穿透软件,实现在公网环境也能访问你在本地内网搭建的大语言模型运行环境。

近些年来随着ChatGPT的兴起,大语言模型 LLM(Large Language Model)也成为了人工智能AI领域的热门话题,很多大厂也都推出了自己的大语言模型,并或多或少的开源了自己的大语言模型,今天就来分享一个最近很火,且对于小白来说比较好上手本地部署的运行本地LLM的工具Ollama。

在本地运行大语言模型有诸多优点:

比如可以保护隐私不会产生费用可以无视网络问题可以尝鲜各种开源模型等等。

Ollama支持当前主要的开源大模型, 比如llama2、千文qwen、mistral等,可以在Windows、Linux、MacOS系统上进行部署。稳定性和便利性都非常不错,下面就来分享一下它在Windows系统上的安装与应用。

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

1. 运行Ollama

本文安装环境为:Windows10专业版

下载: Ollama下载地址:https://ollama.com/download

在下载页面点击Windows,然后点击下载按钮。

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

安装: 下载完成后,双击下载的安装程序。

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

点击Install进行安装。

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

安装完成没有提示,我们打开一个终端,本文以Windows PowerShell为例,大家也可以使用其他的:

现在Ollama已经安装完了,我们需要在终端中输入下方命令运行一个大语言模型进行测试,这里以对在中文方面表现相对好些的千问为例,大家也可以使用其他的模型。

ollama run qwen

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

可以看到,系统正在下载qwen的模型(并保存在C盘,C:\Users<username>.ollama\models 如果想更改默认路径,可以通过设置OLLAMA_MODELS进行修改,然后重启终端,重启ollama服务。)

setx OLLAMA_MODELS "D:\ollama_model"

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

模型下载完成后,我们就可以在终端中输入问题进行使用了:

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

至此,在Windows本地部署ollama并运行qwen大语言模型就已经完成了。一键搞定,对新手体验大语言模型真的非常友好。

2. 安装Open WebUI

不过,我们现在只能在终端中使用,操作界面可能不像ChatGPT那样美观,如果能使用web页面进行交互,使用体验更好,也能保留之前的聊天记录,翻遍我们翻阅查询。

针对这个情况,我们可以在Windows上部署Open WebUI这个项目来实现类似chatgpt一样的交互界面。

本教程以Open WebUI这个项目为例,它以前的名字就叫 Formerly Ollama WebUI。可以理解为一开始就是专门适配Ollama的WebUI,它的界面也对用惯了chatgpt的小伙伴来说更相似一些。当然,大家也可以选择其他的WebUI,之后有机会也可以分享给大家。

如何在Windows系统安装Open WebUI:

2.1 在Windows系统安装Docker

首先,如果大家之前未安装过Docker,需要执行下面三个步骤进行安装:

第一步:启动Hyper-v

打开控制面板,在程序与功能页面选择启用或Windows功能

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

勾选Hyper-V、虚拟机平台、Linux子系统并点击确认

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

然后,重启计算机。

第二步:安装WSL

打开 powershell,以管理员的身份启动命令窗口,输入

wsl --update

安装

wsl --install
Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

然后再次重启电脑。

第三步:访问Docker官网进行下载

点击下载链接:https://docs.docker.com/desktop/install/windows-install/

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

选择Windows最新版本:

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

下载完成后,双击安装程序进行安装,如果是第一次安装,安装后会提示重启电脑,重启后点击桌面的Docker Desktop图标:选择先不注册直接登录即可。

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

打开Docker Desktop后,左下角显示是绿色的running就代表我们成功了:

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

视频安装教程:

【Docker教程】如何在Windows系统安装Docker

2.2 使用Docker部署Open WebUI

在Open WebUI的github页面 https://github.com/open-webui/open-webui 可以看到,如果你的Ollama和Open WebUI在同一台主机,那使用下面显示的这一行命令就可以在本地快速进行部署:

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

现在我们打开终端,比如powershell,然后输入docker,回车

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

可以看到这个命令成功运行,说明docker安装成功。

然后将上边在docker中部署Open WebUI的命令复制后粘贴到终端中,回车。

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

然后等待安装完毕即可:如下图所示

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

安装完成后,在Docker Desktop中可以看到Open WebUI的web界面地址为:https://localhost:3000

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

点击后,会在浏览器打开登录界面:

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

点击sign up注册,账号,邮箱,密码记好,下次登录时需要用到邮箱和密码登录:

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

然后点击create account创建账号即可:然后就能在浏览器中使用类似chatgpt界面的Open WebUI了!

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

点击右上角的设置,可以修改当前界面的语言为简体中文:然后点击保存即可。

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

点击上方选择一个模型旁边的加号+可以增加大模型,点击下拉按钮可以选择当前使用哪一个已安装的模型,接下来就可以愉快的跟ai聊天了!

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

3. 安装内网穿透工具

至此,我们已经成功完成在本地Windows系统使用Docker部署Open WebUI与Ollama大模型工具进行交互了!但如果想实现出门在外,也能随时随地使用Ollama Open WebUI,那就需要借助cpolar内网穿透工具来实现公网访问了!接下来介绍一下如何安装cpolar内网穿透并实现公网访问!

下面是安装cpolar步骤:

cpolar官网地址: https://www.cpolar.com

点击进入cpolar官网,点击免费使用注册一个账号,并下载最新版本的cpolar

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

登录成功后,点击下载cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到cpolar web 配置界面,结下来在web 管理界面配置即可。

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

接下来配置一下 Open WebUI 的公网地址,

登录后,点击左侧仪表盘的隧道管理——创建隧道,

创建一个 ollama1 的公网http地址隧道:

  • 隧道名称:ollama1(可自定义命名,注意不要与已有的隧道名称重复)
  • 协议:选择http
  • 本地地址:3000 (本地访问的地址)
  • 域名类型:免费选择随机域名
  • 地区:选择China Top

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是http 和https:

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

使用上面的任意一个公网地址,在手机或任意设备的浏览器进行登录访问,即可成功看到 Open WebUI 界面,这样一个公网地址且可以远程访问就创建好了,使用了cpolar的公网域名,无需自己购买云服务器,即可到公网访问 Open WebUI 了!

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

小结

如果我们需要长期异地远程访问Open WebUI,由于刚才创建的是随机的地址,24小时会发生变化。另外它的网址是由随机字符生成,不容易记忆。如果想把域名变成固定的二级子域名,并且不想每次都重新创建隧道来访问Open WebUI,我们可以选择创建一个固定的公网地址来解决这个问题。

4. 创建固定公网地址

我们接下来为其配置固定的HTTP端口地址,该地址不会变化,方便分享给别人长期查看你部署的项目,而无需每天重复修改服务器地址。

配置固定http端口地址需要将cpolar升级到专业版套餐或以上。

登录cpolar官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留,保留成功后复制保留的二级子域名名称

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

保留成功后复制保留成功的二级子域名的名称:myollama,大家也可以设置自己喜欢的名称。

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

返回登录Cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道:ollama1,点击右侧的编辑:

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名:myollama

点击更新(注意,点击一次更新即可,不需要重复提交)

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名:

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端

最后,我们使用固定的公网https地址访问,可以看到访问成功,这样一个固定且永久不变的公网地址就设置好了,可以随时随地在公网环境异地访问本地部署的 Open WebUI 了!

Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问,cpolar,windows,语言模型,前端
以上就是如何在Windows系统本地安装Ollama大模型工具并使用docker部署Open WebUI,结合cpolar内网穿透工具实现公网访问本地LLM,并配置固定不变的二级子域名公网地址实现远程访问的全部流程,感谢您的观看,有任何问题欢迎留言交流。文章来源地址https://www.toymoban.com/news/detail-853383.html

到了这里,关于Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 不需要本地部署大模型,modelscope-agent加qwen-max免费搭建自己的定制机器人

    最近阿里开源了通用大模型qwen-72b,正在为怎么本地化部署发愁,转眼看到提供了qwen-max相关接口的免费试用(据说就是基于qwen-72b大模型),这就来体验一番。 开通阿里云灵积平台,并创建api-key python:3.10+; pydantic 2.0以上,老版本pydantic会报一个tool_schema.model_dump_json的函数错误

    2024年01月25日
    浏览(13)
  • 中文大语言模型 Llama-2 7B(或13B) 本地化部署 (国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门)

            本文目的是让大家先熟悉模型的部署,简单入门;所以只需要很小的算力,单台服务器 单GPU显卡(显存不低于12GB),操作系统需要安装 Ubuntu 18.04。         准备一台服务器 单张英伟达GPU显卡(显存不低于12GB),操作系统需要安装 Ubuntu 18.04 (具体安装过程忽略)

    2024年02月08日
    浏览(18)
  • Ollama管理本地开源大模型,用Open WebUI访问Ollama接口

    现在开源大模型一个接一个的,而且各个都说自己的性能非常厉害,但是对于我们这些使用者,用起来就比较尴尬了。因为一个模型一个调用的方式,先得下载模型,下完模型,写加载代码,麻烦得很。 对于程序的规范来说,只要东西一多,我们就需要一个集中管理的平台,

    2024年03月26日
    浏览(18)
  • openWebUI+ollama&windows+不用docker+webLite本地安装

    总结一下安装教程 10核CPU 16G内存 两个web框架都可以,先说简单的 ollama-webui-lite( https://github.com/ollama-webui/ollama-webui-lite ) 轻量级,只使用nodejs 先装 https://ollama.com/download 新建文件夹 E:ProjolloamaModsSav ,cmd进入该目录 ollama run llama3,那么就会直接下载该模型到该目录下,在blob

    2024年04月27日
    浏览(10)
  • 如何试用 Ollama 运行本地模型 Mac M2

    首先下载 Ollama 安装完成之后,启动 ollma 对应的模型,这里用的是 qwen:7b 命令与模型直接交互 我的机器配置是M2 Pro/ 32G,运行 7b 模型毫无压力,而且推理时是用 GPU 进行运算的,可能就是 Ollama 底层是用 llama C++ 实现的,底层做了性能优化,对 Mac特别友好。 纯C/C++实现,没有

    2024年04月10日
    浏览(18)
  • 使用Ollama在本地运行AI大模型gemma

    本次本人用到的软件汇总:百度网盘下载 https://github.com/ollama/ollama/releases 我的电脑-右键-属性-系统-高级系统设置-环境变量-【系统环境变量】新建 变量名:OLLAMA_MODELS (固定变量名) 变量值:E:OllamaLib (写自己要存放的路径) 先配置好这个变量,这个是ollama的存储路径。

    2024年04月25日
    浏览(14)
  • Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国

    网址:https://ollama.com/ 支持macOS、Linux和Windows多个平台 1. 常用指令 2. 链接 Blog:https://ollama.com/blog Docs:https://github.com/ollama/ollama/tree/main/docs GitHub:https://github.com/ollama/ollama 模型仓库 :https://ollama.com/library 以Llama 3为例 自动安装latest的版本是8B 4-bit模型,信息如下: 如果是70B模

    2024年04月27日
    浏览(8)
  • Stable Diffusion Web UI + Anaconda环境 + 本地Windows系统部署

    最近的很多AIGC模型层出不穷,Stable Diffusion 模型作为一个开源的热门生成式模型,或许对未来的各行各业都能产生深远的影响,了解这个模型并会使用可能是很多人目前想要学习的,本篇博客还原了本人从0-1的一个安装+部署过程,希望对屏幕前的各位读者有用,谢谢!创作不

    2024年02月04日
    浏览(12)
  • 【通义千问】大模型Qwen GitHub开源工程学习笔记(3)-- 通过Qwen预训练语言模型自动完成给定的文本

    本笔记分析了使用预训练的模型生成文本的示例代码。它的步骤如下: 使用已加载的分词器 tokenizer 对输入文本进行处理,转换为模型可以理解的格式。输入文本是国家和首都的信息,最后一句是未完成的,需要模型来生成。 将处理后的输入转移到模型所在的设备上(例如

    2024年02月07日
    浏览(15)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包