Ollama管理本地开源大模型,用Open WebUI访问Ollama接口

这篇具有很好参考价值的文章主要介绍了Ollama管理本地开源大模型,用Open WebUI访问Ollama接口。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

现在开源大模型一个接一个的,而且各个都说自己的性能非常厉害,但是对于我们这些使用者,用起来就比较尴尬了。因为一个模型一个调用的方式,先得下载模型,下完模型,写加载代码,麻烦得很。

对于程序的规范来说,只要东西一多,我们就需要一个集中管理的平台,如管理pythonpip,管理js库的npm等等,而这种平台是大家争着抢着想实现的,这就有了Ollama

Ollama

Ollama 对于管理开源大模型是认真的,使用起来非常的简单,先看下如何使用:

github地址
windows 11 ollama打开公网接口,AI智能工具,本地大模型,管理,ollama,open-webui

linux 下的安装:

curl -fsSL https://ollama.com/install.sh | sh

等进度条跑完,如果不出意外的话,Ollama就已经安装成功了。

用命令试一试,比如我们想用下Dolphin Phi:

ollama run dolphin-phi

提示如下:

pulling manifest 
pulling 4eca7304a07a... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏ 1.6 GB                         
pulling 876a8d805b60... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏  10 KB                         
pulling a47b02e00552... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏  106 B                         
pulling 8b586b146d99... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏   40 B                         
pulling f02dd72bb242... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏   59 B                         
pulling c87a43ded80f... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████▏  555 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success 
>>>

有没有一种使用docker的感觉,Ollama 帮我们把大模型下了,还帮我们做了适配,在提示符下就可以使用了:

>>> hi
Hello! How may I assist you today? Do you have any questions or need help with anything specific? I'm here to provide information and support for any 
inquiries you might have.

速度相当的快,但是这是控制台上测试使用的,还是不方便,Ollama还提供了api的方式,Ollama 在安装成功以后,就 已经建立了11434端口:

curl http://localhost:11434/api/generate -d '{
  "model": "dolphin-phi",
  "prompt":"Why is the sky blue?"
}'

或者 对话模式:

curl http://localhost:11434/api/chat -d '{
  "model": "mistral",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

有了api的方式,那想象空间就更大了,让他也想chatgpt 一样,用网页进行访问,还能选择已经安装的模型。

但稍等一下,Ollama的默认配置是只有本地才可以访问,需要配置一下:

找到配置文件:/etc/systemd/system/ollama.servic

添加 Environment="OLLAMA_HOST=0.0.0.0:11434"

结果文件如下:

...
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart=/usr/bin/ollama serve
...

重启:

systemctl daemon-reload
systemctl restart ollama

这样,在外网就能够使用ip的方式进行访问。

Open WebUI

Open WebUI 适配了Ollama接口,提供了web的方式来访问Ollama的API,用法也非常的简单,用docker的安装方式:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果不是和Ollama 不是安装在同一台下,需要参考github

windows 11 ollama打开公网接口,AI智能工具,本地大模型,管理,ollama,open-webui

安装完成后,用浏览器 http://localhost:3000或者 http://ip:3000 打开Open WebUI。就可以看到Open WebUI的界面了。

windows 11 ollama打开公网接口,AI智能工具,本地大模型,管理,ollama,open-webui
体验了下Open WebUI,功能还是很完善的,如果安装有问题,可以评论区见。文章来源地址https://www.toymoban.com/news/detail-843537.html

到了这里,关于Ollama管理本地开源大模型,用Open WebUI访问Ollama接口的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

原文地址:https://blog.csdn.net/weixin_40425640/article/details/136700562

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【linux 使用ollama部署运行本地大模型完整的教程,openai接口, llama2例子】

    # 安装相应的包 # 开启ollama服务端! # 启动llama2大模型(新开一个终端) # 如果不想启动运行,只下载可以 在启动完后,就可以对话了 # python接口对话   # OpenAI适配接口对话 # CUR流式接口 # 参考 llama2 (ollama.com) https://ollama.com/library/llama2 OpenAI compatibility · Ollama Blog https://ollama

    2024年03月25日
    浏览(10)
  • [最新搭建教程]0基础Linux CentOS7系统服务器本地安装部署ChatGPT模型服务搭建/免费域名绑定网页Https访问/调用open AI的API/GPT3/GPT3.5/GPT4模型接口

    一、关于此文 本文介绍了如何克隆一个开源的项目,通过请求调用OpenAI ChatGPT模型接口,以使用ChatGPT的强大功能。相比于直接登录ChatGPT官网对话,此方法对话过程更为流畅,不会频频出现限流导致对话中断或网络异常;此外,部署完成后无需魔法即可访问,可分享给亲朋好

    2024年02月10日
    浏览(9)
  • 开源模型应用落地-工具使用篇-Ollama(六)

    一、前言     在AI大模型百花齐放的时代,很多人都对新兴技术充满了热情,都想尝试一下。但是,实际上要入门AI技术的门槛非常高。除了需要高端设备,还需要面临复杂的部署和安装过程,这让很多人望而却步。不过,随着开源技术的不断进步,使得入门AI变得越来越容易

    2024年03月08日
    浏览(11)
  • 小白Windows下通过Ollama部署使用本地模型

    运行环境为 windows R9000P2021拯救者笔记本 AMD R7-5800H 32G 内存 NVIDIA RTX 3070 Laptop GPU Ollama下载exe,直接下一步下一步没有设置可以更改 windows默认安装路径: C:UserswbigoAppDataLocalProgramsOllama 安装后会自动将该路径加入环境变量 双击图标运行后状态栏会出现小图标,右键有退出、

    2024年03月13日
    浏览(20)
  • 如何试用 Ollama 运行本地模型 Mac M2

    首先下载 Ollama 安装完成之后,启动 ollma 对应的模型,这里用的是 qwen:7b 命令与模型直接交互 我的机器配置是M2 Pro/ 32G,运行 7b 模型毫无压力,而且推理时是用 GPU 进行运算的,可能就是 Ollama 底层是用 llama C++ 实现的,底层做了性能优化,对 Mac特别友好。 纯C/C++实现,没有

    2024年04月10日
    浏览(12)
  • AI绘画——本地配置webui启动器教程,支持一键启动/修复/更新/模型下载管理+Lora模型推荐

    秋葉aaaki的个人空间_哔哩哔哩_bilibili https://space.bilibili.com/12566101/?spm_id_from=333.999.0.0 感谢 秋葉aaaki大佬の免费开源 目录 1.获取资源整合包 2. 下载并配置webui启动器  3.启动器功能  4.一键启动,开始实战 5.效果演示  露出鸡脚哩  幻想景色加上lora模型xiaorenshu  刘亦菲图生图

    2024年02月03日
    浏览(22)
  • Windows本地搭建开源企业管理套件Odoo并实现公网访问

    Odoo是全球流行的开源企业管理套件,是一个一站式全功能ERP及电商平台。 开源性质:Odoo是一个开源的ERP软件,这意味着企业可以自由选择部署方式(如云端或本地服务器),并根据自身需求进行定制开发。这为企业提供了更大的灵活性和控制权。 ​ 其功能涵盖了客户管理

    2024年02月04日
    浏览(10)
  • 【ollama】(2):在linux搭建环境,编译ollama代码,测试qwen大模型,本地运行速度飞快,本质上是对llama.cpp 项目封装

    https://github.com/ollama/ollama/tree/main/docs https://www.bilibili.com/video/BV1oS421w7aM/ 【ollama】(2):在linux搭建环境,编译ollama代码,测试qwen大模型,本地运行速度飞快,本质上是对llama.cpp 项目封装 要是失败执行,子模块更新: 需要编译 llama.cpp 的代码, 然后经过漫长的编译,就而可以

    2024年04月08日
    浏览(11)
  • 开源内容管理框架Drupal在Docker本地部署并实现公网远程访问

    💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老 导航 檀越剑指大厂系列:全面总

    2024年02月03日
    浏览(26)
  • 开源图床LightPicture本地搭建图片管理系统并远程访问【无需公网IP】

    现在的手机越来越先进,功能也越来越多,而手机的摄像功能也愈发强大,所拍摄的照片越来越清晰,但也让数码照片的体积暴涨。对于像笔者这样经常拍照的人来说,手机容量经常告警,因此笔者将家里的电脑改造成能随时上传下载和访问的图片服务器。今天,笔者就为大

    2024年02月04日
    浏览(13)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包