stable diffusion 也能生成视频了！

你没听错，stability ai 推出了一款新的文本生成动画工具包 stable animation sdk，可支持文本、文本 初始图像、文本 视频多种输入方式。

使用者可以调用包括 stable diffusion 2.0、stable diffusion xl 在内的所有 stable diffusion 模型，来生成动画。

stable animation sdk 的强大功能一经展现，网友惊呼:

哇哦，等不及想试试了！

目前，stability ai 疑似还在对这个新工具进行技术优化，不久后将公开驱动动画 api 的组件源代码。

stable animation sdk 可支持三种创建动画的方式:

1、文本转动画:用户输入文 prompt 并调整各种参数以生成动画。

2、文本输入 初始图像输入:用户提供一个初始图像，该图像作为动画的起点。图像与文本 prompt 结合，生成最终的输出动画。

3、视频输入 文本输入:用户提供一个初始视频作为动画的基础。通过调整各种参数，根据文本 prompt 生成最终的输出动画。

除此之外，stable animation sdk 对生成视频的时长没有限制，但是长视频将需要更长的时间来生成。

stability ai 发布了 stable animation sdk 后，有很多网友分享了自己测试效果，让我们一起看下吧:

stable animation sdk 可以设置许多参数，例如 steps、sampler、scale、seed。

还有下面这么多的预设风格可选择:

3d 模型、仿真胶片、动漫、电影、漫画书、数码艺术、增强幻想艺术、等距投影、线稿、低多边形、造型胶土、霓虹朋克、折纸、摄影、像素艺术。

目前，动画功能 api 的使用是以积分计费的，10 美元可抵 1000 积分。

使用 stable diffusion v1.5 模型，在默认设置值下，生成 100 帧(大约 8 秒)视频将消耗 37.5 积分。

默认情况下，每生成 1 帧，cadence 值设置为 1 个静止图像，可根据不同的动画模式选择较低或较高的 cadence 值。cadence 值的上限是动画中的总帧数，即至少生成一张静止图像。视频转视频的 cadence 必须为 1:1。

官方也给出了一个示例，可以看出生成 100 帧标准动画的标准静止图像，随着 cadence 值变化，积分的使用情况:

简单来说，受参数、时长等各种因素的影响，生成视频的费用并不固定。

效果和价格我们都了解了，那如何安装并调用 api 呢？

要创建动画并测试 sdk 的功能，只需要两个步骤即可运行用户界面:

在开发应用程序时，需要先设置一个 python 虚拟环境，并在其中安装 animation sdk:

具体使用说明书放在文末啦！

越发火热的视频生成

最近，视频生成领域变得越来越热闹了。

比如，ai 视频生成新秀 gen-2 内测作品流出，网友看完作品直呼:太不可思议了！

gen-2 的更新更是一口气带来了八大功能:

还有一位名叫 ammaar reshi 的湾区设计师用 chatgpt 和 midjourney 两个生成 ai 模型，成功做出一部蝙蝠侠的动画小电影，效果也是非常不错。

自 stable diffusion 开源后，一些开发者通过 google colab 等形式分享了各种魔改后的功能，自动生成动画功能一步步被开发出来。

像国外视频特效团队 corridor，他们基于 stable diffusion，对 ai 进行训练，最终能让 ai 把真人视频转换为动画版本……

大家在对新工具的出现兴奋不已的同时，也有网友对 stable animation sdk 生成的视频所展现出的效果发出质疑:

这与 deforum 有什么区别？没有时间线都不连贯，只有非常松散的一帧接一帧的图像。

那么你玩过这些工具了吗？感觉效果如何？

传送门:

参考链接: