和 AI 一起做动画 | 将人工智能融入动画工作流的案例和实践经验

嗨！我是海辛，最近在尝试用 AI 将写实视频风格化，上面做的这个效果在 DY 拿到了 17 万喜欢和 1.8 万评。很多朋友希望我能分享是怎么做的，刚好最近一直在探索将 AI 用于动画制作的生产，积累了许多 demo，决定趁机做一个梳理总结。

目前用 AI 制作动画有许多不同的路径，大致包括：A. 根据参考视频进行风格迁移、B. 文本生成动画、C. 根据静态图生成动画等。不同的方式也存在不同的技术路径。（在每一大类的末尾，我都会附上我推荐的教程，这些教程都是免费的，对我在探索的过程中起了很大的帮助。）

一、根据参考视频进行风格迁移

▶ 代表工具：Runway Gen-1, Stable Diffusion + EbSynth,  Rerender, Warpfusion

比起从文本生成视频，我更关注根据参考视频生成 AI 动画，因为视觉艺术业内的工作流程一直是从草稿【画面】细化到成品【画面】；而从文本生成画面的工具，由于可控性太低，会导致生产效率也很低。

放到 AI 时代的视角来看，从电影分镜到成片，本质是一种 style transfer.  而这就是 Runway Gen-1 在做的事。

1. Runway Gen-1 

Runway Gen-1 [1] 就是建立在风格迁移的基础之上的工具，提供原视频 + 参考图，就可以生成一个针对该参考图的新的视频。Karen X.Cheng 在她的 twitter 账户上分享了很多自己的测试 [2] 

效果还不错，但似乎目前的 Gen-1 更多只能停留在玩具的水准，我在实际使用过程中，发现 Gen-1 没有办法完全按照我提供的参考图进行风格的迁移，导致基本不能用到真实的项目中。

比如我提供了铃芽之旅中的镜头，以及我希望转绘成的真人风格，最后 runway 生成的画面不是很符合我的预期…… ↓

2. Stable Diffusion + EbSynth 

如果想让 AI 稳定地按照我希望的风格进行迁移，我不能依赖于目前的 Gen-1. 我也不能用 Stable Diffusion 去跑画面的每一帧，如果重绘幅度高（即参考视频对 AI 的影响低，AI 发挥空间大），生成的画面抖动会非常厉害；如果重绘幅度低（即参考视频对 AI 的影响高，AI 发挥空间小），生成的画面虽然不抖了，但和原视频区别也不大，这种 AI 动画也没什么太大意义。

于是我想，提高稳定性的思路不是让 AI 算每一帧，而是让 AI 算关键帧。关键帧以外的部分通过其他工具来根据 AI 算的关键帧来进行迁移。这样才能既保证 AI 的想象力，又能节省算力，又能维持画面稳定。

在这个过程中我想起了老牌开源 AI 风格迁移工具 EbSynth [3] 于是我打算用 Stable Diffusion 来绘制关键帧，再用 EbSynth 根据原视频+关键帧将其余帧补齐。

确定合适的关键帧是 key，通常我的经验是 当画面引入全新的信息时就要新建一个关键帧（eg：侧面镜头时抬低头不算引入新的信息，但侧面镜头中的人物忽然扭脖子转到正面，就是引入了全新的信息）

在上面这个测试里，我每个镜头都只用了 1-2 个关键帧，因为是侧面镜头的原因，我需要设置的关键帧很少，基本只在角色睁眼和闭眼的时候。

ps：这个测试也得到了 AK 和很多我喜欢的开发者在 twitter 上的转发。❤

这个工作流也是目前我最喜欢的方式。在这套玩法上面，还可以结合传统的影视抠像工具进行叠加，从而指定 AI 仅对画面部分内容进行风格迁移。

上面这个视频中，我先将人物进行动态抠像，然后只对人物进行 AI 渲染。目前动态抠像生成遮罩的工具中，我最常用的是 Runway 提供的遮罩生成功能，免费且效果好。

这套流程在 Stable Diffusion 的 Reddit 版面也得到了很多关注。

3. Rerender

Stable Diffusion + EbSynth 这套工作流中，最重要的是保持不同关键帧中的信息要连续和一致，目前基于 diffusion 模型算不同的关键帧，算完后还是需要人手动来修。所以目前的技术方案还是会需要人来“肝”，其实“肝”的工作量就是调整关键帧之间信息的连续性。

最近看到一个不错的解决方案：Rerender A Video [4] - 这个解决方案也认为并不应该让 diffusion 模型来算每一帧，而是只算关键帧。Rerender A Video 添加价值的地方是：TA 会自动判断需要哪些关键帧，并且保证每个关键帧之间是相似的。

Rerender 这个工具我还没有机会尝试，但是我很认可他的解决思路。目前这个工具在 Hugging Face 上可以测试 demo[5]，完整代码尚未开源，值得持续关注。

4. AI + AE

最近我发现 Reddit Stable Diffusion 版面里 AI 动画特效做得好的人，大多数都是影视/游戏/特效的背景。其实这是合理的，因为他们知道如何将 AI 生成的画面结合到其他管线的工具中，从而提升画面效果。

比如下面这个视频 [6] 是一名达拉斯的影视从业者根据 Marc Rebillet 的著名打碟视频 Your New Morning Alarm（你的早安闹铃）[7] 制作的 AI 渲染版，他结合使用了 Warp Fusion （一种基于 SD 的动画脚本，由 Sxela 开发 [8] ）+ AE 转场效果 + PR 剪辑。

忽然意识到可以用更多影视行业的特效和剪辑工具后，我更加受到启发，于是根据 DY @子康 老师的滑板视频，制作了一个 AI 动画版本。

在这组镜头中，我测试了不同镜头里对 AI 抖动幅度不同的控制力会带来怎样的效果差异，我发现运动幅度越大的镜头，AI 闪烁反而会加强镜头的动态效果。

当我希望画面更稳定的时候，比如镜2，我只会用 Stable Diffusion 渲染一个关键帧，然后使用 EbSynth 来补完剩余的画面；当我希望画面动态感更强的时候，比如镜1和镜3，我会用 SD 渲染多个关键帧，从而带来帧与帧之间更多的差异。

镜头4 换脸的部分，我通过使用 Photoshop Generative Fill 的功能，对画面进行局部修改（inpainting）后，使用 EbSynth 来生成多个镜头片段，再在 PR 里进行剪辑，从而完成比较连续丝滑的换脸。

镜1、2、4的画面过度是在 AE 里完成的，这个转场效果需要使用到镜头本身的深度视频，深度视频和遮罩我目前都使用 Runway 来帮我生成。