跳转到正文
全部教程
简体中文

AI motion control

视频参考生成动画:用一段视频控制角色动作

把角色图片和参考视频交给 AnimGen:选取动作片段,决定是否转为深度,写好提示词,再把生成结果整理成透明动画或游戏精灵素材。

AnimGen更新于 11 分钟阅读
本文目录

让角色“向前翻滚,然后站起来”,模型还要自己决定怎样下蹲、转身和起身。参考视频把整套动作直接展示给它:角色图片提供外观,视频引导动作。

AnimGen 的这套 AI motion control(AI 动作控制) 流程在引用生视频模式中使用:放入角色图和一段短视频,选好片段,然后生成。心里已经有某个攻击、跳跃或手势,而且演示节奏比文字描述更容易时,它最能派上用场。

下面的例子里,橙色机器人跟随一段渲染的三维翻滚动作。生成使用 Seedance 2.0 Fast,4 秒、480p、1:1,并开启了转为深度。机器人翻滚一次、站起来,然后保持姿势。下载的原片实测为 640 × 640、24 FPS、97 帧。它的起始姿势和参考不同,所以要看完整个动作,不能只看结尾。

左侧为 4 秒动作参考;右侧完整保留生成的 97 帧,按原始 24 FPS 播放,只进行了去背景。参考保持原速,在输出多出的极短时间里停留于最后一帧。

先选一段起落完整的动作

参考来自 Quaternius Universal Animation Library 中的翻滚动作,该资源库采用 CC0 许可。我们用固定机位渲染这段动作,再在末尾保持站姿,补足到 4 秒;动作本身按原速播放。

用于输入的动作参考:完整翻滚、起身,随后保持结束姿势。这是三维动画的渲染视频,并非 AnimGen 生成的结果。

选择单个角色、固定镜头、视角接近目标效果的片段。手、脚和武器在整个动作中都要留在画面里。如果裁得太紧、看不到落地,模型在收势时能参考的信息就少了。

起势和收势也要保留。跳跃要看到起跳和落地,攻击要看到蓄力和收招。先去掉无关动作和切镜,再让模型做某一个具体动作。

想用同样的设置跟着做,可以下载这里的翻滚参考视频和机器人图片。

在引用生视频模式中放入角色和视频

打开 AnimGen 工作台,切换到引用生视频(侧栏简称“引用”),把角色图放在第一张参考图的位置。第一次尝试时,一张清楚的全身图效果最好。

在这个模式里,角色图只负责角色外观,不会被当作固定的第一帧,所以生成结果的第一帧不一定是图片里的姿势。首帧生视频和首尾帧生视频模式不接受视频参考。

在视频参考区域,选择上传新文件,或者点资源复用当前工作区里已有的视频。支持 MP4、MOV 和 WebM,源视频需要 2–30 秒、不超过 100 MB,宽高比在 2:5 到 5:2 之间。如果浏览器无法预览,可以先转成 H.264 编码的 MP4。

然后选择模型。放入视频后,模型列表只保留支持视频参考的模型。

生成前先给动作留出空间。这个翻滚案例使用扩大画布(Expand Canvas),设置为 1:1 画布、主体 67%、居中,因为向前扑出时,身体会比站姿宽得多。透明处理使用 Alpha Key,并手动选择绿色作为临时底色。

在时间轴里选出需要的那一段

拖动选区两端设置开始和结束位置,也可以拖动整段选区,在较长的源视频里换个位置。配合播放选区、逐帧按钮和循环播放选区,确认送给模型的到底是哪一段。

当前工作台的视频参考面板:已选中 4 秒翻滚片段,转为深度处于开启状态

选区为 2–5 秒,部分模型的上限更短;面板会在选区时长旁边显示当前模型的上限。这里的源视频本身就是 4 秒,保留整个选区即可。较长的录像里,只选一个完整动作,不要把几段无关的动作放在一起。

选区时长和生成视频的时长是两项独立设置:选了 2 秒参考,输出不会自动变成 2 秒。按完整动作设置输出时长,再看模型怎样处理多出来的时间。我们的机器人在这段时间里保持了最后的姿势。

决定是否开启“转为深度”

转为深度默认关闭。关闭时,AnimGen 会按原画面发送选好的片段,画面里的颜色、面部和背景都会一起送给模型。只想让视频提供动作时再开启:深度转换保留动作和身体形态,去掉颜色、面部和背景,但生成开始前会多花一些处理时间。

这次翻滚开启了深度,所以模型只拿到渲染人偶的动作,没有拿到它灰色的三维表面。如果你的片段拍的是真人,也要开启:含真人的片段按原画面发送时,可能会被拒绝。

开启状态的“转为深度”开关,以及面板对开启和关闭的说明

预览会一直显示原视频,因为深度转换只在点击生成后执行;打开开关后,预览不会变成灰色。

深度转换只能处理镜头里看得见的内容。被遮住的手、出了画面的脚,它都补不回来,也没法把被遮挡的动作变成精确的骨骼。

提示词:分清谁管外观、谁管动作

在提示词里写明每个输入的用途:图片1决定角色长什么样,视频1决定角色怎么动。关闭转为深度时,这一点尤其重要,因为模型还会看到参考视频里人物的颜色和服装。

我们的提示词原本就是中文。下面是原文,只去掉了“纯绿色背景,无阴影”这一句:开启 Alpha Key 后,AnimGen 会自动加入抠像底色的要求。

图片1是唯一角色外观参考。保持橙色机器人的配色、身体比例、卡通线条和在输入图片中较小的主体大小,不要把角色放大到填满画面。严格跟随视频1的动作顺序和节奏,向前翻滚一次并站起来,然后保持准备姿势直到视频结束。不要重复翻滚。固定镜头,不缩放,不切镜;角色全身及双手、双脚始终完整留在画面内,四周保持充分的动作空间。不添加其他角色或物体。

设置输出时长、分辨率和画幅后,先看积分预估再生成。加入参考视频会改变报价,不能沿用只用角色图时看到的价格。11 月 11 日,我们 4 秒、480p 的生成每次报价 43 积分;一共生成了两次,合计 86 积分。

第一次测试用合适的最小输出尺寸,先确认动作,再决定是否花更多积分生成更大的版本。修改提示词时保持其他输入不变,才能看清改动的效果。

先检查动作,再导出

按正常速度对照参考和完整结果,看动作顺序、动作次数、角色朝向和收势是否符合需要。然后逐帧查看动作最快的部分,检查脸部、四肢和身体比例。

我们正是靠逐帧检查弃用了第一次生成。那次机器人翻滚一次并站了起来,但第 13、14 帧右手出了画布。那次也没有用扩大画布,自动选择的抠像色是洋红,去背景后留下了明显的溢色。第二次按上文加了扩大画布的空间,并手动选了绿色,97 帧就都没有碰到画面边缘。

AI motion transfer(动作迁移)引导的是一段新生成的表演,不会逐个关节照搬参考。模型可能改变节奏,或者用自己的方式理解某个动作。如果游戏依赖某个落地或命中的时刻,就直接检查那几帧,不要只看缩略图判断。

动作确认可用后,再剪掉没用的开头和结尾,保留足够的收势衔接下一个状态。挥剑动作编辑案例介绍了选取片段怎样影响攻击手感;连续跑动或行走可以参考行走循环教程。

把结果整理成透明动画或精灵素材

整理游戏素材时,我们保留了第 0–53 帧,共 54 个连续帧,24 FPS 下为 2.25 秒。翻滚和站起都在,剪掉的是后面较长的保持姿势;中间没有抽帧,也没有加速。

选出的 54 帧翻滚动画,按 24 FPS 播放。这个 MP4 加了深色底便于观看,下面的下载素材保留透明通道。

可以下载透明 WebM或54 帧 PNG 序列,两者都是同一段 2.25 秒的动作;完整的生成过程在文章开头的对照视频里。

使用 Alpha Key 时,导出透明文件会去掉临时底色。把角色放进场景之前,先在浅色和深色背景上检查边缘。

逐帧修改可以导出 PNG 序列,游戏运行时可以用精灵图,目标平台支持时也可以导出透明视频。24 FPS 的源动画保持 24 FPS,除非你有意改变节奏。透明动画制作和视频转精灵图介绍了后续步骤。

视频参考动画的几个常见问题

可以使用自己拍摄的动作吗?

可以,前提是文件符合输入限制,而且你有权使用其中的内容。单人、清楚的动作和稳定的镜头,更便于模型理解。因为画面里是真人,请开启转为深度:含真人的片段按原画面发送时,可能会被拒绝。

这能导出动作捕捉的骨骼吗?

不能。这套流程输出的是生成的动画视频,可以继续处理成图像帧或其他支持的素材,但不导出 3D 骨骼、FBX 绑定或可编辑的关节动画。

为什么生成结果重复做了几次动作?

先检查参考选区是否已经包含重复,以及输出时长是否比动作长很多。在提示词里写明动作次数和结束姿势,然后检查新的结果;只靠文字并不能保证次数完全准确。

能通过 API 或 MCP 使用视频参考吗?

可以。除了 Web 工作台,AnimGen 也通过 API 和 MCP 服务器支持视频参考,可以接入自己的工具或 AI 工作流。API 输入说明列出了请求字段和限制。本文演示的是 Web 工作台。

ANIMGEN STUDIO

让你自己的角色,迈出下一步。

从一张图开始。预览动作,留下可用的帧,导出透明循环动画、精灵图或引擎资源包。

免费开始,无需绑卡

  1. 上传角色图

    PNG 或 JPG,角色全身都在画面里。

  2. 描述动作

    走、跑、跳或攻击,然后预览动起来的效果。

  3. 裁剪并导出

    留下可用的帧,导出透明循环动画、精灵图、PNG 序列或 Godot 资源包。

查看图片细节