本文目录
让角色“向前翻滚,然后站起来”,模型还要自己决定怎样下蹲、转身和起身。参考视频把整套动作直接展示给它:角色图片提供外观,视频引导动作。
AnimGen 的这套 AI motion control(AI 动作控制) 流程在引用生视频模式中使用:放入角色图和一段短视频,选好片段,然后生成。心里已经有某个攻击、跳跃或手势,而且演示节奏比文字描述更容易时,它最能派上用场。
下面的例子里,橙色机器人跟随一段渲染的三维翻滚动作。生成使用 Seedance 2.0 Fast,4 秒、480p、1:1,并开启了转为深度。机器人翻滚一次、站起来,然后保持姿势。下载的原片实测为 640 × 640、24 FPS、97 帧。它的起始姿势和参考不同,所以要看完整个动作,不能只看结尾。
先选一段起落完整的动作
参考来自 Quaternius Universal Animation Library 中的翻滚动作,该资源库采用 CC0 许可。我们用固定机位渲染这段动作,再在末尾保持站姿,补足到 4 秒;动作本身按原速播放。
选择单个角色、固定镜头、视角接近目标效果的片段。手、脚和武器在整个动作中都要留在画面里。如果裁得太紧、看不到落地,模型在收势时能参考的信息就少了。
起势和收势也要保留。跳跃要看到起跳和落地,攻击要看到蓄力和收招。先去掉无关动作和切镜,再让模型做某一个具体动作。
想用同样的设置跟着做,可以下载这里的翻滚参考视频和机器人图片。
在引用生视频模式中放入角色和视频
打开 AnimGen 工作台,切换到引用生视频(侧栏简称“引用”),把角色图放在第一张参考图的位置。第一次尝试时,一张清楚的全身图效果最好。
在这个模式里,角色图只负责角色外观,不会被当作固定的第一帧,所以生成结果的第一帧不一定是图片里的姿势。首帧生视频和首尾帧生视频模式不接受视频参考。
在视频参考区域,选择上传新文件,或者点资源复用当前工作区里已有的视频。支持 MP4、MOV 和 WebM,源视频需要 2–30 秒、不超过 100 MB,宽高比在 2:5 到 5:2 之间。如果浏览器无法预览,可以先转成 H.264 编码的 MP4。
然后选择模型。放入视频后,模型列表只保留支持视频参考的模型。
生成前先给动作留出空间。这个翻滚案例使用扩大画布(Expand Canvas),设置为 1:1 画布、主体 67%、居中,因为向前扑出时,身体会比站姿宽得多。透明处理使用 Alpha Key,并手动选择绿色作为临时底色。
在时间轴里选出需要的那一段
拖动选区两端设置开始和结束位置,也可以拖动整段选区,在较长的源视频里换个位置。配合播放选区、逐帧按钮和循环播放选区,确认送给模型的到底是哪一段。
选区为 2–5 秒,部分模型的上限更短;面板会在选区时长旁边显示当前模型的上限。这里的源视频本身就是 4 秒,保留整个选区即可。较长的录像里,只选一个完整动作,不要把几段无关的动作放在一起。
选区时长和生成视频的时长是两项独立设置:选了 2 秒参考,输出不会自动变成 2 秒。按完整动作设置输出时长,再看模型怎样处理多出来的时间。我们的机器人在这段时间里保持了最后的姿势。
决定是否开启“转为深度”
转为深度默认关闭。关闭时,AnimGen 会按原画面发送选好的片段,画面里的颜色、面部和背景都会一起送给模型。只想让视频提供动作时再开启:深度转换保留动作和身体形态,去掉颜色、面部和背景,但生成开始前会多花一些处理时间。
这次翻滚开启了深度,所以模型只拿到渲染人偶的动作,没有拿到它灰色的三维表面。如果你的片段拍的是真人,也要开启:含真人的片段按原画面发送时,可能会被拒绝。
预览会一直显示原视频,因为深度转换只在点击生成后执行;打开开关后,预览不会变成灰色。
深度转换只能处理镜头里看得见的内容。被遮住的手、出了画面的脚,它都补不回来,也没法把被遮挡的动作变成精确的骨骼。
提示词:分清谁管外观、谁管动作
在提示词里写明每个输入的用途:图片1决定角色长什么样,视频1决定角色怎么动。关闭转为深度时,这一点尤其重要,因为模型还会看到参考视频里人物的颜色和服装。
我们的提示词原本就是中文。下面是原文,只去掉了“纯绿色背景,无阴影”这一句:开启 Alpha Key 后,AnimGen 会自动加入抠像底色的要求。
图片1是唯一角色外观参考。保持橙色机器人的配色、身体比例、卡通线条和在输入图片中较小的主体大小,不要把角色放大到填满画面。严格跟随视频1的动作顺序和节奏,向前翻滚一次并站起来,然后保持准备姿势直到视频结束。不要重复翻滚。固定镜头,不缩放,不切镜;角色全身及双手、双脚始终完整留在画面内,四周保持充分的动作空间。不添加其他角色或物体。
设置输出时长、分辨率和画幅后,先看积分预估再生成。加入参考视频会改变报价,不能沿用只用角色图时看到的价格。11 月 11 日,我们 4 秒、480p 的生成每次报价 43 积分;一共生成了两次,合计 86 积分。
第一次测试用合适的最小输出尺寸,先确认动作,再决定是否花更多积分生成更大的版本。修改提示词时保持其他输入不变,才能看清改动的效果。
先检查动作,再导出
按正常速度对照参考和完整结果,看动作顺序、动作次数、角色朝向和收势是否符合需要。然后逐帧查看动作最快的部分,检查脸部、四肢和身体比例。
我们正是靠逐帧检查弃用了第一次生成。那次机器人翻滚一次并站了起来,但第 13、14 帧右手出了画布。那次也没有用扩大画布,自动选择的抠像色是洋红,去背景后留下了明显的溢色。第二次按上文加了扩大画布的空间,并手动选了绿色,97 帧就都没有碰到画面边缘。
AI motion transfer(动作迁移)引导的是一段新生成的表演,不会逐个关节照搬参考。模型可能改变节奏,或者用自己的方式理解某个动作。如果游戏依赖某个落地或命中的时刻,就直接检查那几帧,不要只看缩略图判断。
动作确认可用后,再剪掉没用的开头和结尾,保留足够的收势衔接下一个状态。挥剑动作编辑案例介绍了选取片段怎样影响攻击手感;连续跑动或行走可以参考行走循环教程。
把结果整理成透明动画或精灵素材
整理游戏素材时,我们保留了第 0–53 帧,共 54 个连续帧,24 FPS 下为 2.25 秒。翻滚和站起都在,剪掉的是后面较长的保持姿势;中间没有抽帧,也没有加速。
可以下载透明 WebM或54 帧 PNG 序列,两者都是同一段 2.25 秒的动作;完整的生成过程在文章开头的对照视频里。
使用 Alpha Key 时,导出透明文件会去掉临时底色。把角色放进场景之前,先在浅色和深色背景上检查边缘。
逐帧修改可以导出 PNG 序列,游戏运行时可以用精灵图,目标平台支持时也可以导出透明视频。24 FPS 的源动画保持 24 FPS,除非你有意改变节奏。透明动画制作和视频转精灵图介绍了后续步骤。
视频参考动画的几个常见问题
可以使用自己拍摄的动作吗?
可以,前提是文件符合输入限制,而且你有权使用其中的内容。单人、清楚的动作和稳定的镜头,更便于模型理解。因为画面里是真人,请开启转为深度:含真人的片段按原画面发送时,可能会被拒绝。
这能导出动作捕捉的骨骼吗?
不能。这套流程输出的是生成的动画视频,可以继续处理成图像帧或其他支持的素材,但不导出 3D 骨骼、FBX 绑定或可编辑的关节动画。
为什么生成结果重复做了几次动作?
先检查参考选区是否已经包含重复,以及输出时长是否比动作长很多。在提示词里写明动作次数和结束姿势,然后检查新的结果;只靠文字并不能保证次数完全准确。
能通过 API 或 MCP 使用视频参考吗?
可以。除了 Web 工作台,AnimGen 也通过 API 和 MCP 服务器支持视频参考,可以接入自己的工具或 AI 工作流。API 输入说明列出了请求字段和限制。本文演示的是 Web 工作台。

