书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系

这篇具有很好参考价值的文章主要介绍了书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

视频链接:(1)书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili

01-背景介绍

大模型的快速发展

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

以语言模型和大语言模型为关键词的检索记录呈指数级上升;

以ChatGPT为代表的大语言模型技术成果引起了广泛的使用兴趣。

走向通用人工智能需要大模型

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

深度学习与强化学习模型在许多特定领域建立了许多富有成效的专用模型,用于解决特定领域的特定问题;

通用大模型的核心在于,使用一个模型应对具有多种模态的多种任务

书生·浦语大模型开源历程

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

上海人工智能实验室推出的书生·浦语大模型包含轻量级、中量级、重量级三种,分别具有7B、20B、123B规模的模型参数,能够满足社区开发、商业应用、全面落地等不同的需要。

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

性能方面,以20B开源大模型为例,书生·浦语在各种能力性能方面全面领先相近量级的开源模型,并且以不到三分之一的参数量达到其他70B规模参数大模型的性能水平。

大模型的应用

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

大模型的常见应用包括智能客服、个人助手、专业行业应用等;

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

从大模型到实际应用,需要涉及到模型选型、参数调整、模型评测、模型部署这四步,其中具体要对应用场景的复杂程度、算力大小、环境交互需求等对应用过程进行具体调整;

02-书生·浦语全链条开源开放体系

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

书生·浦语针对大模型的全链条建立完整的了开源开放体系,包括数据支持、预训练、参数微调、模型部署、模型评测、智能体应用等功能。

数据

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

开放的数据包括文本数据、图像-文本数据、视频数据等,共计2TB,并且这些数据均进行了多模态融合、精细化处理、价值观对齐等处理;

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

此外在OpenDataLab中提供了更为丰富多样的开放数据

预训练

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

预训练工具与算法框架具备高可扩展性、极致性能优化、兼容主流生态、开箱即用等特点。

微调

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

大语言模型的常用微调方法包括增量续调、有监督微调

增量续调多用于垂直领域的模型,包括文字、图像、代码等,格式和预训练一致;

有监督微调的训练数据以高质量的对话、问答数据为主,所需数据量要小于预训练和增量续调。

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

提供了高效微调框架XTuner,能够适配多种微调算法、开源生态,能够自动优化加速,并且能够适配多种硬件,包括消费级显卡与数据中心等。

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

例如,显存为8GB的消费级显卡也能够轻松适用于微调算法。

评测

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

目前国内外评测体系可分为客观评测、主观评测,其中以客观评测类型为主;

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

提供了OpenCompass评测体系,包含学科、语言、知识、理解、推理、安全共6大维度,有超过40w+道评测题目;

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

评测平台包括模型层、能力层、方法层、工具层共四个层次。

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

OpenCompass具有丰富的模型支持、实现了分布式高效评测、提供了便捷的数据集接口、具备敏捷的能力迭代等优点。

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

部署

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

针对大语言模型的特点以及所对应的技术挑战,提出合适的部署方案;

大语言模型具有内存开销巨大、动态Shape、模型结构相对简单等特点,对设备、推理、服务提出了技术挑战,对应的部署方案具备模型并行、低比特量化、Attetion优化、计算和访存优化、Continuous Batching等技术点。

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

提供了LMDeploy框架,实现了大模型在GPU上部署的全流程解决方案,包括模型轻量化、推理、服务等,提供了高效的推理引擎与完备易用的工具链,包括有关接口、轻量化、推理引擎、服务等的支持。

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

基于LMDeploy部署方案的模型在静态与动态推理性能方面具有显著的优势。

应用:从大语言模型到智能体

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

大语言模型具有一定的局限性,包括最新信息与知识的获取、回复的可靠性、数学计算、工具使用和交互等问题,单纯的大语言模型不等于通用人工智能体

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

Lagent是一个轻量级的智能体框架,能够支持多种类型的智能体能力多种大语言模型,并且具有丰富的工具支持

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

AgentLego是一个多模态智能体工具箱,是一个工具集合,具有丰富的工具集合、支持多个主流智能体系统、具备灵活的多模态工具调用接口、可一键远程工具部署等。

书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系,书生·浦语大模型实战营,语言模型,开源,人工智能,AIGC

扫描二维码查看书生·浦语的Github主页,获取相关支持。文章来源地址https://www.toymoban.com/news/detail-790805.html

到了这里,关于书生·浦语大模型实战营:Ch1-书生·浦语大模型全链路开源体系的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 《书生·浦语大模型全链路开源开放体系》笔记第五课 LMDeploy 的量化和部署

    首先我们可以使用  vgpu-smi  查看显卡资源使用情况。 可以点击终端(TERMINAL)窗口右侧的「+」号创建新的终端窗口。大家可以新开一个窗口,执行下面的命令实时观察 GPU 资源的使用情况。 结果如下图所示,该窗口会实时检测 GPU 卡的使用情况。 接下来我们切换到刚刚的终

    2024年01月21日
    浏览(12)
  • 《书生·浦语大模型全链路开源开放体系》第五课作业 LMDeploy 的量化和部署

    使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型,生成 300 字的小故事(需截图) 这一部分主要涉及本地推理和部署。我们先看一张图。 我们把从架构上把整个服务流程分成下面几个模块。 模型推理/服务。主要提供模型本身的推理,一般来说

    2024年03月09日
    浏览(15)
  • 书生浦语大模型--开源体系

    2024年01月20日
    浏览(11)
  • 书生·浦语大模型开源体系(二)笔记

    💗💗💗欢迎来到我的博客,你将找到有关如何使用技术解决问题的文章,也会找到某个技术的学习路线。无论你是何种职业,我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章,也欢迎在文章下方留下你的评论和反馈。我期待着与你分享知识、互

    2024年04月09日
    浏览(14)
  • 书生·浦语:大模型全链路开源体系(二)——InternLM、Lagent、浦语·灵笔Demo调用

    pip、conda换源: pip临时换源: 设置pip默认源,避免每次下载依赖包都要加上一长串的国内源 conda换源: 镜像站提供了 Anaconda 仓库与第三方源(conda-forge、msys2、pytorch 等),各系统都可以通过修改用户目录下的  .condarc  文件来使用镜像站。 不同系统下的  .condarc  目录如下

    2024年02月02日
    浏览(10)
  • 书生.浦语大模型实战一

    从专用模型到通用大模型 书生.万卷1.0 文本 图像-文本 视频数据 OpenDataLab开放平台 图像:ImageNet tokens语料:WikiQA 音频 视频:MovieNet 3D模型 增量续训 使用场景:让基座模型学习到一些新知识,如某个垂类领域知识 训练数据:文章、书籍、代码等 有监督微调 使用场景:让模型

    2024年01月16日
    浏览(9)
  • 书生·浦语大模型实战营-学习笔记4

    常见的两种微调策略:增量预训练、指令跟随 指令跟随微调 数据是一问一答的形式 对话模板构建 每个开源模型使用的对话模板都不相同 指令微调原理: 由于只有答案部分是我们期望模型来进行回答的内容,所以我们只对答案部分进行损失的计算 增量预训练微调 数据都是

    2024年01月22日
    浏览(10)
  • 书生·浦语大模型实战营-第四课笔记

    期待已久的微调课 增量预训练和指令跟随是两种微调模式,即两种微调策略。   1)增量预训练 投喂新的领域知识即可,例如书籍、文章、代码 2)指令跟随 采用高质量对话和问答数据进行训练 两者是微调的方法,即算法。 xtuner是一种微调框架。

    2024年02月21日
    浏览(12)
  • 【书生·浦语大模型实战】“PDF阅读小助手”学习笔记

    《新版本Lmdeploy量化手册与评测》 项目主页:【tcexeexe / pdf阅读小助手】 在InternStudio平台中选择 A100 (1/4) 的配置,镜像选择 Cuda11.7-conda ,可以选择已有的开发机 langchain ; Note: /home/tcexeexe/data/model/sentence-transformer :此路径来自于make_knowledge_repository.py 以上脚本会生成数据库文

    2024年01月24日
    浏览(12)
  • 书生·浦语大模型实战营第四次课堂笔记

    哈哈到这才想起来写笔记 倒回去看发现要求将不要葱姜蒜换成自己的名字和昵称! 好好好我就是不配玩(换成管理员也不行!) 诶怎么能进这个环境?要进双系统ubuntu? 现在看视频发现原来是我进入成功了,可以接着往下做omygod!!!! 但是 还是看看视频吧 微调是在海量

    2024年01月20日
    浏览(13)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包