图片生成视频来了:Stable Video Diffusion使用教程

这篇具有很好参考价值的文章主要介绍了图片生成视频来了:Stable Video Diffusion使用教程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

11月22日 Stability AI 发布了一个AI视频的开源项目:Stable Video Diffusion,它可以基于一张图片生成数秒钟的视频,效果比较惊艳,本文就给大家分享下如何安装和使用。

视频不方便分享,我这里做成了gif动图,可以看到画面很稳定,基本上是没有闪烁的。

这个程序对显卡的要求比较高,如果你的电脑没有二三十G的显存,不建议本地安装,建议试试云环境,比如AutoDL、青椒云等。

如果你使用AutoDL,也可以直接使用我制作好的镜像,免去繁琐的安装步骤,具体方法请看本文中的“云环境镜像”一节。

如果你既不想安装,也不想使用镜像,也有社区提供的免费演示空间,只不过可能需要特殊网络设置,请看本文中的“社区免费空间”一节。

手动安装

为了方便安装,这里使用的测试程序对Stability AI官方发布的 Stable Video Diffusion 做了一个简单的包装,也是一个开源项目:

github.com/xx025/stabl…

首先你需要在运行环境中安装Git和Conda,这两个网上介绍的比较多,这里不啰嗦了。

然后下面的步骤都通过执行命令行来完成。

通过git将代码复制到本地:

bash
复制代码git clone https://github.com/xx025/stable-video-diffusion-webui.git

进入程序目录:

bash
复制代码cd stable-video-diffusion-webui

通过 Conda 配置 Python 虚拟环境:

ini
复制代码conda create -n svd python=3.10

激活Python虚拟环境:

复制代码conda activate svd

如果上面的命令不能成功执行,请换成下面这个(因为新版本的conda不支持activate):

bash
复制代码source activate svd

使用 install.py 进行安装,主要是用来安装程序需要的依赖包:

复制代码python install.py

因为依赖的包很多,这个安装可能比较耗时,请耐心等待。

安装完成之后,我们还需要去下载大模型,然后才能用来生成视频。

创建存放大模型的目录:

arduino
复制代码mkdir checkpoints

下载大模型到这个目录中:

ruby
复制代码wget https://huggingface.co/vdo/stable-video-diffusion-img2vid-xt/resolve/main/svd_xt.safetensors?download=true -P checkpoints/ -O svd_xt.safetensors

大模型发布在HuggingFace 上,文件大小接近10G,直接下载可能比较慢,随后我会上传到网盘,如果被封了,你也可以加我的微信 yinghuojun007 获取。

然后我们就可以启动程序了。

arduino
复制代码python run.py

启动成功后,会有类似下文的提示,我们可以在浏览器中打开这个链接:

云环境镜像

为了方便测试,我在AutoDL上制作了一个 Stable Video Diffusion WebUI 的容器镜像,可以直接启动使用。

在创建实例时,镜像这里选择“社区镜像”,下方输入 yinghuo。

在弹出的镜像提示中选中“yinghuoai-svd-webui” 。

实例启动后,在容器实例控制台,点击进入容器实例的 JupyterLab 工具。

在JupyterLab 中打开“启动器”,点击工具栏中的这个按钮启动程序。

它会先下载大模型,然后再启动WebUI,显示以下信息代表启动成功 。

最后在AutoDL容器实例列表中点击对应实例的“自定义服务”,就可以在浏览器打开程序的使用界面了。

社区演示站

Huggingface 上有两个推荐的演示空间,可以直接体验图片生成视频的效果。

不过这个网站经常访问不了,可能需要特殊的网络设置;另外因为是免费公开的,如果同时生成的人比较多,可能需要排队,等的时间比较长。

huggingface.co/spaces/mult…

huggingface.co/spaces/Just…

工具使用

这个工具的使用界面比较简单(其实隐藏了很多参数设置),我们按照顺序看一下:

1、这里上传用来生成视频的图片。

2、这里是一些高级参数设置,展开就能看到了,比如每秒的视频帧数,建议默认就行了。

3、点击这里就开始生成视频了。

4、视频生成成功后,会展示在这里,可以进行预览播放。

OK,以上就是本文的主要内容了。有兴趣的同学赶紧去试试吧。SVD WebUI的作者创建了一个微信交流群,进群请添加好友 yinghuojun007。

资源下载

最近,我整理了自己输出的关于 Stable Diffusion 的所有教程,包括基础篇、ControlNet、插件、实战、模型训练等多个方面,比较全面、体系化,特别适合新手和想要系统化学习Stable Diffusion的同学。

关注/微/信/公/众/号:萤火遛AI(yinghuo6ai),发消息:SD,即可获取最新AI绘画教程和资源的下载地址。文章来源地址https://www.toymoban.com/news/detail-851518.html

到了这里,关于图片生成视频来了:Stable Video Diffusion使用教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 阿里云免费使用stable diffusion三个月【ai生成图片】详细教程【保姆级】

    这两天关注了ai生成图片,尝试了mijiourney服务【比较贵没入手】,结果免费的没有了,没用上,换了国内的一些小程序体验了下 综合体验式是太慢了,而他们是基于国外开源的stable diffiusion模型开发的【可以比肩mijiourney】,所以我动了开发一个自己用的念头 不会的同学可以

    2024年02月05日
    浏览(95)
  • Stable Diffusion 视频和图片帧互换以及AI动画帧生成

    Stable Diffusion 只做AI动画是基于把原有视频按照帧进行提取之后对每一帧的图像进行标准化流程操作,中间可以掺杂Controlnet对人物进行控制,使用对画面进行控制,但是很多小伙伴不太会掌握一些编辑视频软件或者python的操作导致视频转帧,帧转视频会出现一些问题。

    2023年04月09日
    浏览(60)
  • 使用 Docker 和 Diffusers 快速上手 Stable Video Diffusion 图生视频大模型

    本篇文章聊聊,如何快速上手 Stable Video Diffusion (SVD) 图生视频大模型。 月底计划在机器之心的“AI技术论坛”做关于使用开源模型 “Stable Diffusion 模型” 做有趣视频的实战分享。 因为会议分享时间有限,和之前一样,比较简单的部分,就用博客文章的形式来做补充分享吧。

    2024年01月24日
    浏览(65)
  • 使用stable diffusion生成图片

    requirements.txt 内容如下 保存为stable_diffusion.py并执行  

    2024年02月13日
    浏览(67)
  • Stable Diffusion 使用 SadTalker 生成图片数字人

    Heygen和D-ID等照片转视频的工具,都需要在线付费使用。本次介绍一个SadTalker数字人。SadTalker有多种使用方式,包括完整安装程序和stable diffusion插件模式。安装程序操作较繁琐,因此推荐stable diffusion插件模式。 打开SD进入扩展复制链接 https://github.com/OpenTalker/SadTalker.git 到安装

    2024年02月13日
    浏览(63)
  • Python 使用 Stable Diffusion API 生成图片示例

    代码: 输出: 说明: 运行后,图片以及 JSON 将会输出到当前目录下 output 中; TIP: 当然前提是你已经部署好 Stable Diffusion API 服务; 并且安装好跟我一样的模型以及一些相关的 LoRA ;

    2024年02月16日
    浏览(63)
  • 【教程篇】AI绘画Stable Diffusion入门教程之提示词和生成图片步骤 最简单上手方法

    实在不会就照葫芦画瓢~ 这个主要是说电脑端,本地使用Stable Diffusion软件出图的教程,手机用户和移动端用户请看副推文~ 这是一个直接给出图照葫芦画瓢的教程,给0基础小白上手出图的一个简单教程,更多东西还是要自己多去学习和摸索,下面给出的也只是根据我本地测试

    2024年02月21日
    浏览(171)
  • AI图片生成Stable Diffusion参数及使用方式详细介绍

            Stable Diffusion环境搭建与运行请参考上一篇博文《AI图片生成Stable Diffusion环境搭建与运行》,地址为“https://blog.csdn.net/suiyingy/article/details/128896426”。运行成功后,网页浏览器显示页面主要包括txt2img、img2img、Extras、PNG Info、Checkpoint Merger、Train、Settings和Extensions等八

    2024年02月08日
    浏览(75)
  • 最强AI软件教程来了!教你如何使用stable diffusion快速出景观建筑效果图

    Stable Diffusion效果图教程 要说哪款AI软件最适合建筑设计类?那必然是midjourney和Stable Diffusion!之前我们也看到了他们生成的图虽然很漂亮,但现有阶段md生成图对我们建筑景观类把控不是很友好,而且md属于收费软件,所以今天我们主要介绍Stable Diffusion(后简称SD)的一些用法。

    2024年04月10日
    浏览(70)
  • 最近超火的Stable Diffusion来了,用文本AI生成图像!

    前言 Stable Diffusion 应该是目前最流行的两个项目之一,另外一个就是大名鼎鼎的 ChatGPT前几天也给大家更新过 。     软件介绍 最近抖音小红人刷屏的AI人物,基本都是这款软件做的,相信很多做设计的小伙伴都知道它 ,只需要描述一段文字,它就能帮你生成一张图片。

    2024年02月10日
    浏览(68)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包