不需要本地部署大模型,modelscope-agent加qwen-max免费搭建自己的定制机器人

这篇具有很好参考价值的文章主要介绍了不需要本地部署大模型,modelscope-agent加qwen-max免费搭建自己的定制机器人。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

最近阿里开源了通用大模型qwen-72b,正在为怎么本地化部署发愁,转眼看到提供了qwen-max相关接口的免费试用(据说就是基于qwen-72b大模型),这就来体验一番。

1.前期准备

开通阿里云灵积平台,并创建api-key

2.环境搭建

python:3.10+;

pydantic 2.0以上,老版本pydantic会报一个tool_schema.model_dump_json的函数错误,可以通过相关命令升级:

css 复制代码

pip install --upgrade pydantic
pip install --upgrade fastapi

3.项目部署

拉取项目代码,并安装相关依赖

bash 复制代码

git clone https://github.com/modelscope/modelscope-agent.git
cd modelscope-agent
pip install -r requirements.txt

将\apps\agentfabric目录下面的所有文件复制到项目根目录,并安装相关依赖

复制代码

pip install -r requirements.txt

发现有两个文件app.py和appBot.py,先启动app.py(实际差不多,appBot.py没有左边的配置栏),打开创建的网址可以发现提示api_key错误,我们将阿里云灵积平台创建的api-key填写到环境变量中并重启服务。

这时候可以正常使用了,点击config可以修改配置信息(根据自己需求填写)

实际上在/config/build_config.json文件里直接填写效果更好,删除缓存也不怕丢失

json 复制代码

{
  "name": "学业规划助手",
  "avatar": "custom_bot_avatar.png",
  "description": "一个专为学生设计的学业规划助手,通过个性化的测试和分析帮助你找到最适合的专业和学校。",
  "instruction": "1. 理解并回应用户的指令;2. 提供专业的学术知识和技能的简易测试;3. 根据用户的需求和测试结果生成个性化适配报告;4. 基于用户需求和偏好推荐适合的专业和学校;5. 考虑用户对地区和国家的偏好进行更精准的推荐;6.当用户需要完整智能评测时提供完整智能评测的网址;7.给出用户日常学习和生活的建议辅导",
  "language": "zh",
  "prompt_recommend": [
    "你可以帮我生成一个关于职业能力的简易测试吗?",
    "你会推荐我学习哪个专业的课程?",
    "你能分析一下我对专业的适配度吗?",
    "能否推荐一些大学给我?",
    "完整智能评估"
  ],
  "knowledge": [],
  "tools": {
    "get_test_url":{
      "name": "完整智能评估",
      "is_active": true,
      "use": true 
    }
  },
  "model": "qwen-max"
}

保存重启并体验一下

4.自定义工具类加载

在tool文件夹内创建get_test_url.py

python 复制代码

from .tool import Tool
class GetTestUrl(Tool):
    name = "get_test_url"
    description = "该工具用户返回智能评估的网址。"
    description += """
    下面是一些对话场景:
    场景1:
    <用户>: 智能评估
    <助手>: 好的,正在查询中

    场景2:
    <用户>:查看智能评估的网站
    <助手>: 好的,正在查询中
    """
    parameters = [
        {
            'name': 'test_url',
            'description': '查询智能评估的网址',
            'required': False
        }
    ]
    def __call__(self, remote=False, *args, **kwargs):
        if self.is_remote_tool or remote:
            return self._remote_call(*args, **kwargs)
        else:
            return self._local_call(*args, **kwargs)

    def _remote_call(self, *args, **kwargs):
        pass

    def _local_call(self, *args, **kwargs):
        test_url = kwargs.get("test_url", "")
        result = {
            "test_url": 'http://www.baidu.com',
        }
        return {"result": result}

修改对应的config文件/config/tool_config.json

json 复制代码

  "modelscope_text-translation-en2zh": {
      "name": "英译中",
      "url": "https://api-inference.modelscope.cn/api-inference/v1/models/damo/nlp_csanmt_translation_en2zh",
      "use": false,
      "is_active": false,
      "is_remote_tool": true
  },
  "modelscope_text-translation-zh2en": {
      "name": "中译英",
      "url": "https://api-inference.modelscope.cn/api-inference/v1/models/damo/nlp_csanmt_translation_zh2en",
      "use": false,
      "is_active": false,
      "is_remote_tool": true
  },
  "get_test_url":{
    "name": "完整智能评估",
    "is_active": true,
    "use": true 
  }

修改/config/build_config.json(上文已经添加过了,不在赘述)。

修改/tools/init.py

javascript 复制代码

from .amap_weather import AMAPWeather
from .code_interperter import CodeInterpreter
from .code_interpreter_jupyter import CodeInterpreterJupyter
from .hf_tool import HFTool
from .image_chat_tool import ImageChatTool
from .pipeline_tool import ModelscopePipelineTool
from .plugin_tool import LangchainTool
from .qwen_vl import QWenVL
from .style_repaint import StyleRepaint
from .text_address_tool import TextAddressTool
from .text_ie_tool import TextInfoExtractTool
from .text_ner_tool import TextNerTool
from .text_to_image_tool import TextToImageTool
from .text_to_speech_tool import TexttoSpeechTool
from .text_to_video_tool import TextToVideoTool
from .tool import Tool
from .translation_en2zh_tool import TranslationEn2ZhTool
from .translation_zh2en_tool import TranslationZh2EnTool
from .web_browser import WebBrowser
from .web_search import WebSearch
from .wordart_tool import WordArtTexture
from .get_test_url import GetTestUrl
TOOL_INFO_LIST = {
    'modelscope_text-translation-zh2en': 'TranslationZh2EnTool',
    'modelscope_text-translation-en2zh': 'TranslationEn2ZhTool',
    'modelscope_text-ie': 'TextInfoExtractTool',
    'modelscope_text-ner': 'TextNerTool',
    'modelscope_text-address': 'TextAddressTool',
    'image_gen': 'TextToImageTool',
    'modelscope_video-generation': 'TextToVideoTool',
    'modelscope_image-chat': 'ImageChatTool',
    'modelscope_speech-generation': 'TexttoSpeechTool',
    'amap_weather': 'AMAPWeather',
    'code_interpreter': 'CodeInterpreterJupyter',
    'wordart_texture_generation': 'WordArtTexture',
    'web_search': 'WebSearch',
    'web_browser': 'WebBrowser',
    'qwen_vl': 'QWenVL',
    'style_repaint': 'StyleRepaint',
    'get_test_url': 'GetTestUrl',
}

重启服务看下效果

完工~


作者:suzumiyahr
链接:https://juejin.cn/spost/7317252368546054184
来源:稀土掘金
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

不需要本地部署大模型,modelscope-agent加qwen-max免费搭建自己的定制机器人文章来源地址https://www.toymoban.com/news/detail-824026.html

到了这里,关于不需要本地部署大模型,modelscope-agent加qwen-max免费搭建自己的定制机器人的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • modelscope下载模型

    # 私有模型下载,前提是您有响应模型权限 方法1 git lfs install git clone http://oauth2:your_git_token@www.modelscope.cn/namespace/model-name.git  如何获取git token 用您的账号登录https://www.modelscope.cn ,在个人中心-访问令牌,拷贝git token.  

    2024年01月22日
    浏览(28)
  • modelscope下载特定模型

    2024年02月21日
    浏览(27)
  • 【ModelScope】部署一个属于自己的AI服务

    技术栈是Fastapi。 FastAPI 是一个现代、快速(基于 Starlette 和 Pydantic)、易于使用的 Python web 框架,主要用于构建 RESTful API。以下是 FastAPI 的一些优势: 性能卓越: FastAPI 基于 Starlette 框架,并使用 Pydantic 进行数据验证,因此具有出色的性能。它通过异步编程利用 Python 3.7+ 中

    2024年02月03日
    浏览(34)
  • 大语言模型下载,huggingface和modelscope加速

    如果服务器翻墙了,不用租机器 如果服务器没翻墙,可以建议使用下面的方式 可以租一台**autodl**不用显卡的机器,一小时只有1毛钱,启动学术加速,然后下载,下载完之后,用scp拷贝到目标机器 autodl学术加速启动 source /etc/network_turbo 不需要翻墙 下载模型代码 huggingface镜像

    2024年01月18日
    浏览(56)
  • docker部署llm模型的项目,需要安装什么驱动

    Docker容器中部署大型语言模型(LLM)项目,尤其是需要利用GPU进行加速的情况下,确保主机系统正确安装了NVIDIA驱动和CUDA是第一步。接着,你需要使用NVIDIA提供的Docker工具,如NVIDIA Container Toolkit,来确保容器可以访问宿主机的GPU资源。 步骤1: 确保主机上安装了NVIDIA驱动和C

    2024年02月22日
    浏览(29)
  • 基于达摩院modelscope语音模型, 实现20句话声音克隆合成

    基于达摩院modelscope语音模型, 实现20句话声音克隆合成

    2024年02月06日
    浏览(37)
  • 零基础手把手训练实践-图像分类模型-基于达摩院modelscope

    -基于达摩院modelscope 导读:图像分类模型是最简单的,也是最基础的计算机视觉任务,应用非常广泛。本文将手把手介绍零基础训练图像分类模型的实践过程。文章主要介绍如何在标注好的数据集基础上,进行微调,使模型能够在新的数据上重新适配一个新的分类任务。 阅读

    2024年02月13日
    浏览(30)
  • 离线生成双语字幕,一键生成中英双语字幕,基于AI大模型,ModelScope

    离线生成双语字幕整合包,一键生成中英双语字幕,基于AI大模型 制作双语字幕的方案网上有很多,林林总总,不一而足。制作双语字幕的原理也极其简单,无非就是人声背景音分离、语音转文字、文字翻译,最后就是字幕文件的合并,但美中不足之处这些环节中需要接口api的

    2024年02月21日
    浏览(35)
  • ModaHub魔搭社区: AI模型社区ModelScope和Hugging Face行业分析报告

    目录 引言: 一、github星数: 二、模型数: 三、数据集: 四、演示应用程序数: 五、下载数: 六、开发者、付费企业和公司用户数: 结论: AI模型开源社区在近年来迅速发展,为研究人员、开发者和企业提供了丰富的资源和工具。本报告将对两个知名

    2024年02月13日
    浏览(53)
  • 本地部署中文LLaMA模型实战教程,民间羊驼模型

    博文1:本地部署中文LLaMA模型实战教程,民间羊驼模型(本博客) 博文2:本地训练中文LLaMA模型实战教程,民间羊驼模型 博文3:精调训练中文LLaMA模型实战教程,民间羊驼模型 LLaMA大部分是英文语料训练的,讲中文能力很弱。如果我们想微调训练自己的LLM模型,基于一个大

    2024年02月04日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包