Ollama管理本地开源大模型,用Open WebUI访问Ollama接口

这篇具有很好参考价值的文章主要介绍了Ollama管理本地开源大模型,用Open WebUI访问Ollama接口。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

现在开源大模型一个接一个的,而且各个都说自己的性能非常厉害,但是对于我们这些使用者,用起来就比较尴尬了。因为一个模型一个调用的方式,先得下载模型,下完模型,写加载代码,麻烦得很。

对于程序的规范来说,只要东西一多,我们就需要一个集中管理的平台,如管理pythonpip,管理js库的npm等等,而这种平台是大家争着抢着想实现的,这就有了Ollama

Ollama

Ollama 对于管理开源大模型是认真的,使用起来非常的简单,先看下如何使用:

github地址
windows 11 ollama打开公网接口,AI智能工具,本地大模型,管理,ollama,open-webui

linux 下的安装:

curl -fsSL https://ollama.com/install.sh | sh

等进度条跑完,如果不出意外的话,Ollama就已经安装成功了。

用命令试一试,比如我们想用下Dolphin Phi:

ollama run dolphin-phi

提示如下:

pulling manifest 
pulling 4eca7304a07a... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏ 1.6 GB                         
pulling 876a8d805b60... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏  10 KB                         
pulling a47b02e00552... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏  106 B                         
pulling 8b586b146d99... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏   40 B                         
pulling f02dd72bb242... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏   59 B                         
pulling c87a43ded80f... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏  555 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success 
>>>

有没有一种使用docker的感觉,Ollama 帮我们把大模型下了,还帮我们做了适配,在提示符下就可以使用了:

>>> hi
Hello! How may I assist you today? Do you have any questions or need help with anything specific? I'm here to provide information and support for any 
inquiries you might have.

速度相当的快,但是这是控制台上测试使用的,还是不方便,Ollama还提供了api的方式,Ollama 在安装成功以后,就 已经建立了11434端口:

curl http://localhost:11434/api/generate -d '{
  "model": "dolphin-phi",
  "prompt":"Why is the sky blue?"
}'

或者 对话模式:

curl http://localhost:11434/api/chat -d '{
  "model": "mistral",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

有了api的方式,那想象空间就更大了,让他也想chatgpt 一样,用网页进行访问,还能选择已经安装的模型。

但稍等一下,Ollama的默认配置是只有本地才可以访问,需要配置一下:

找到配置文件:/etc/systemd/system/ollama.servic

添加 Environment="OLLAMA_HOST=0.0.0.0:11434"

结果文件如下:

...
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart=/usr/bin/ollama serve
...

重启:

systemctl daemon-reload
systemctl restart ollama

这样,在外网就能够使用ip的方式进行访问。

Open WebUI

Open WebUI 适配了Ollama接口,提供了web的方式来访问Ollama的API,用法也非常的简单,用docker的安装方式:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果不是和Ollama 不是安装在同一台下,需要参考github

windows 11 ollama打开公网接口,AI智能工具,本地大模型,管理,ollama,open-webui

安装完成后,用浏览器 http://localhost:3000或者 http://ip:3000 打开Open WebUI。就可以看到Open WebUI的界面了。

windows 11 ollama打开公网接口,AI智能工具,本地大模型,管理,ollama,open-webui
体验了下Open WebUI,功能还是很完善的,如果安装有问题,可以评论区见。文章来源地址https://www.toymoban.com/news/detail-843537.html

到了这里,关于Ollama管理本地开源大模型,用Open WebUI访问Ollama接口的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Docker,ollama,open-webui安装使用 win11

            要先安装docker,再用docker安装ollama和open-webui,如果直接去ollama官网下载安装的话,我去打开ollama总是会闪退,虽然ollama的图标还在,但是去访问http://127.0.0.1:11434/时就会显示错误,直接用docker安装,ollama会直接显示在docker上。         本人对docker并不是很熟,本

    2024年04月17日
    浏览(51)
  • open-webui与ollama的部署最后完整之命令

    docker run -d --network=host -v open-webui:/app/backend/data -e HF_ENDPOINT=https://hf-mirror.com -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main -e HF_ENDPOINT=https://hf-mirror.com 一定要加上,要不然启动webui容器的时候会报错。

    2024年04月28日
    浏览(51)
  • 【linux 使用ollama部署运行本地大模型完整的教程,openai接口, llama2例子】

    # 安装相应的包 # 开启ollama服务端! # 启动llama2大模型(新开一个终端) # 如果不想启动运行,只下载可以 在启动完后,就可以对话了 # python接口对话   # OpenAI适配接口对话 # CUR流式接口 # 参考 llama2 (ollama.com) https://ollama.com/library/llama2 OpenAI compatibility · Ollama Blog https://ollama

    2024年03月25日
    浏览(75)
  • 免费打造个人专属的高颜值本地大模型AI助手,无限量使用 Ollama+LobeChat开源工具,在本地运行AI大模型,安全的和AI对话。

    第一步,首先安装ollama,选择对应系统的安装包 ollama官网地址:https://ollama.com/ 本问是lunix系统上安装ollama: 如果机子没有GPU显卡的话,ollama会提示只通过cpu模式运行。 测试ollama命令: 想要流畅运行,推荐配置: 4b的模型:8GB内存。 7b的模型:16GB内存。 13b模型: 32GB内存。 70b模

    2024年04月26日
    浏览(51)
  • [最新搭建教程]0基础Linux CentOS7系统服务器本地安装部署ChatGPT模型服务搭建/免费域名绑定网页Https访问/调用open AI的API/GPT3/GPT3.5/GPT4模型接口

    一、关于此文 本文介绍了如何克隆一个开源的项目,通过请求调用OpenAI ChatGPT模型接口,以使用ChatGPT的强大功能。相比于直接登录ChatGPT官网对话,此方法对话过程更为流畅,不会频频出现限流导致对话中断或网络异常;此外,部署完成后无需魔法即可访问,可分享给亲朋好

    2024年02月10日
    浏览(64)
  • 如何在本地使用Ollama运行开源LLMs

    本文将指导您下载并使用Ollama,在您的本地设备上与开源大型语言模型(LLMs)进行交互的强大工具。 与像ChatGPT这样的闭源模型不同,Ollama提供透明度和定制性,使其成为开发人员和爱好者的宝贵资源。 我们将探索如何下载Ollama并与两个令人兴奋的开源LLM模型进行交互:Me

    2024年04月27日
    浏览(41)
  • AI绘画——本地配置webui启动器教程,支持一键启动/修复/更新/模型下载管理+Lora模型推荐

    秋葉aaaki的个人空间_哔哩哔哩_bilibili https://space.bilibili.com/12566101/?spm_id_from=333.999.0.0 感谢 秋葉aaaki大佬の免费开源 目录 1.获取资源整合包 2. 下载并配置webui启动器  3.启动器功能  4.一键启动,开始实战 5.效果演示  露出鸡脚哩  幻想景色加上lora模型xiaorenshu  刘亦菲图生图

    2024年02月03日
    浏览(58)
  • 开源模型应用落地-工具使用篇-Ollama(六)

    一、前言     在AI大模型百花齐放的时代,很多人都对新兴技术充满了热情,都想尝试一下。但是,实际上要入门AI技术的门槛非常高。除了需要高端设备,还需要面临复杂的部署和安装过程,这让很多人望而却步。不过,随着开源技术的不断进步,使得入门AI变得越来越容易

    2024年03月08日
    浏览(55)
  • 如何试用 Ollama 运行本地模型 Mac M2

    首先下载 Ollama 安装完成之后,启动 ollma 对应的模型,这里用的是 qwen:7b 命令与模型直接交互 我的机器配置是M2 Pro/ 32G,运行 7b 模型毫无压力,而且推理时是用 GPU 进行运算的,可能就是 Ollama 底层是用 llama C++ 实现的,底层做了性能优化,对 Mac特别友好。 纯C/C++实现,没有

    2024年04月10日
    浏览(56)
  • 小白Windows下通过Ollama部署使用本地模型

    运行环境为 windows R9000P2021拯救者笔记本 AMD R7-5800H 32G 内存 NVIDIA RTX 3070 Laptop GPU Ollama下载exe,直接下一步下一步没有设置可以更改 windows默认安装路径: C:UserswbigoAppDataLocalProgramsOllama 安装后会自动将该路径加入环境变量 双击图标运行后状态栏会出现小图标,右键有退出、

    2024年03月13日
    浏览(66)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包