【linux 使用ollama部署运行本地大模型完整的教程,openai接口, llama2例子】

这篇具有很好参考价值的文章主要介绍了【linux 使用ollama部署运行本地大模型完整的教程,openai接口, llama2例子】。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

# 安装相应的包

# linux 安装

curl -fsSL https://ollama.com/install.sh | sh

pip install ollama

# 开启ollama服务端!

$ ollama serve

# 启动llama2大模型(新开一个终端)

# autodl开启加速(其他平台省略)
$ source /etc/network_turbo

$ ollama run llama2-uncensored:7b-chat-q6_K

# 如果不想启动运行,只下载可以

# 拉取模型

$ ollama pull llama2-uncensored:7b-chat-q6_K

在启动完后,就可以对话了

ollama 对齐 openai 的 api,LLM,完整项目,linux,ollama,llama2,本地部署,openai接口

# python接口对话

import ollama

response = ollama.chat(model='llama2', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response['message']['content'])

ollama 对齐 openai 的 api,LLM,完整项目,linux,ollama,llama2,本地部署,openai接口 

# OpenAI适配接口对话

from openai import OpenAI

client = OpenAI(
    base_url = 'http://localhost:11434/v1',
    api_key='ollama', # required, but unused
)

response = client.chat.completions.create(
  model="llama2",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Who won the world series in 2020?"},
    {"role": "assistant", "content": "The LA Dodgers won in 2020."},
    {"role": "user", "content": "Where was it played?"}
  ]
)
print(response.choices[0].message.content)

ollama 对齐 openai 的 api,LLM,完整项目,linux,ollama,llama2,本地部署,openai接口

# CUR流式接口

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt":"Why is the sky blue?"
 }'

ollama 对齐 openai 的 api,LLM,完整项目,linux,ollama,llama2,本地部署,openai接口

# 参考

llama2 (ollama.com)https://ollama.com/library/llama2

OpenAI compatibility · Ollama Bloghttps://ollama.com/blog/openai-compatibility文章来源地址https://www.toymoban.com/news/detail-843341.html

到了这里,关于【linux 使用ollama部署运行本地大模型完整的教程,openai接口, llama2例子】的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 本地部署开源大模型的完整教程:LangChain + Streamlit+ Llama

    在过去的几个月里,大型语言模型(llm)获得了极大的关注,这些模型创造了令人兴奋的前景,特别是对于从事聊天机器人、个人助理和内容创作的开发人员。 大型语言模型(llm)是指能够生成与人类语言非常相似的文本并以自然方式理解提示的机器学习模型。这些模型使用广泛

    2024年02月11日
    浏览(12)
  • Linux平台利用Ollama和Open WebUI部署大模型

    在当今的人工智能领域,部署大型深度学习模型是一个挑战,尤其是对于那些不熟悉复杂技术栈的用户而言。然而,随着开源技术的不断发展,出现了一些强大的工具,如 Ollama 和 Open WebUI,使得部署大型模型变得更加简单和高效。 Ollama 是一个功能强大的开源平台,专门用于

    2024年04月14日
    浏览(11)
  • Elasticsearch:使用在本地计算机上运行的 LLM 以及 Ollama 和 Langchain 构建 RAG 应用程序

    无需 GPU 的隐私保护 LLM。在本博客中,我将演示使用不同的工具 Ollama 构建的 RAG 应用程序。 与本文相关的所有源代码均已发布在 github上。 请克隆存储库以跟随文章操作。我们可以通过如下的方式来克隆: Ollama 是一个轻量级且灵活的框架,专为在个人计算机上本地部署 LL

    2024年04月16日
    浏览(5)
  • Linux平台利用Ollama和Open WebUI部署大模型_open webui 如何添加模型(1)

    Ollama 的安装步骤如下: 安装 Docker : 首先,确保您的系统已经安装了 Docker。您可以按照 Docker 官方文档提供的指南来安装 Docker:https://docs.docker.com/get-docker/ 2. 拉取 Ollama 镜像 : 打开终端或命令提示符,运行以下命令来拉取 Ollama 镜像: 这将从 Docker Hub 上下载 Ollama 的最新版

    2024年04月12日
    浏览(12)
  • Ollama管理本地开源大模型,用Open WebUI访问Ollama接口

    现在开源大模型一个接一个的,而且各个都说自己的性能非常厉害,但是对于我们这些使用者,用起来就比较尴尬了。因为一个模型一个调用的方式,先得下载模型,下完模型,写加载代码,麻烦得很。 对于程序的规范来说,只要东西一多,我们就需要一个集中管理的平台,

    2024年03月26日
    浏览(14)
  • 【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程

    目录 感谢B站秋葉aaaki大佬 前言 部署资源 部署流程  实机演示 ChatGML微调(人格炼成)(个人感觉蛮有趣的地方)  分享有趣の微调人格  实机演示(潘金莲人格) 秋葉aaaki的个人空间_哔哩哔哩_bilibili https://space.bilibili.com/12566101 由于ChatGLM-6B的规模较小,目前已知其具有相当

    2024年02月06日
    浏览(14)
  • 将谷歌 Gemma AI大模型 部署安装本地教程(可离线使用)

    作者主页: 点击! ————前言———— 谷歌 Gemma 是一个基于 Python 的图像分析工具,提供快速和准确的物体检测、定位、分类和风格迁移功能。它使用 TensorFlow Lite 模型,使它可以快速运行在移动设备上。 主要功能 物体检测: Gemma 可以识别图像中的物体,并标出其位置

    2024年04月17日
    浏览(6)
  • 【chatglm2】使用Python在CPU环境中运行 chatglm.cpp 可以实现本地使用CPU运行chatglm2模型,速度也特别的快可以本地部署,把现有项目进行AI的改造。

    https://github.com/li-plus/chatglm.cpp.git 这个项目和llama.cpp 项目类似,使用C++ 去运行模型的。 项目使用了 ggml 这个核心模块,去运行的。 可以支持在 cpu 上面跑模型。 ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀

    2024年02月08日
    浏览(24)
  • 【AI】在docker中部署ollama体验AI模型

    1.2.1.安装英伟达容器工具包(以Ubuntu22.04为例) 其他系统请参考:英伟达官方文档 1.2.2.docker使用GPU运行ollama ollama模型仓库

    2024年03月21日
    浏览(18)
  • 微同城生活源码系统:专业搭建本地生活服务平台 附带完整的安装部署教程

    随着移动互联网的普及,人们越来越依赖手机进行日常生活中的各种活动,包括购物、餐饮、娱乐等。而传统的本地生活服务平台往往存在着功能单一、用户体验差等问题,无法满足用户日益增长的需求。因此,开发一款功能强大、易用性强的本地生活服务平台成为了市场的

    2024年02月04日
    浏览(16)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包