生成视频图像拖拽生成视频

这篇具有很好参考价值的文章主要介绍了生成视频图像拖拽生成视频。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

motionctrl

DragNUWA

依赖项安装deepspeed

依赖项 clip

预训练模型：

motionctrl

该工具的多功能性使其成为视频制作领域的一项重要创新。它不仅能与现有的视频生成工具如LVDM和VideoCrafter1无缝集成，还能与SVD等其他视频生成方法兼容，为视频创造提供更多可能性。此外，MotionCtrl的泛化能力使其能适应广泛的相机姿态和轨迹。

技术上，MotionCtrl包含两个关键模块：相机运动控制模块（CMCM）和物体运动控制模块（OMCM）。CMCM通过集成相机姿态序列控制相机动作，而OMCM则使用卷积层和降采样从物体轨迹中提取特征，指导物体运动。这一架构设计基于扩展的去噪U-Net结构，有效处理视频中的运动元素。

MotionCtrl的最大优势在于其能够提供细致且独立的相机和物体运动控制，与其他方法相比，其对视频中物体的外观或形状影响最小，极大地增强了视频的视觉体验。简而言之，MotionCtrl不仅是一种工具，更是推动视频创造和表现艺术发展的重要力量。作者：AI_Fox https://www.bilibili.com/read/cv28883277/?jump_opus=1 出处：bilibili

开源地址：

GitHub - TencentARC/MotionCtrl

DragNUWA

介绍宣传：

【AI 视频工具】SVD 视频工具变得无敌了，通过DragNUWA ，实现图片物体的运动轨迹精确控制

微软亚研院发布可控视频生成技术：DragNUWA，可以控制镜头运动

依赖项安装deepspeed

deepspeed 安装 Windows-CSDN博客

依赖项 clip

预训练模型没有：

CLIP-ViT-H-14-laion2B-s32B-b79K

open_clip_pytorch_model.bin

DragNUWA支持三种可选输入：文本p、图像s和轨迹g，并侧重于从三个方面设计轨迹。

首先，轨迹采样器（TS）从开域视频流中动态采样轨迹。

其次，多尺度融合（MF）将轨迹与文本和图像深度融合到UNet 架构的每个区块中。

最后，自适应训练（AT）可根据光流条件调整模型，使轨迹更友好。

最终，DragNUWA 能够处理包含多个物体及其复杂轨迹的开域视频。

项目主页：

https://www.microsoft.com/en-us/research/project/dragnuwa/

Github：

https://github.com/ProjectNUWA/DragNUWA?tab=readme-ov-file

论文：

https://arxiv.org/abs/2308.08089

预训练模型：

https://drive.usercontent.google.com/download?id=1Z4JOley0SJCb35kFF4PCc6N6P1ftfX4i&export=download&authuser=0文章来源地址https://www.toymoban.com/news/detail-809716.html

到了这里，关于生成视频图像拖拽生成视频的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！