本文目錄
要求角色「向前翻滾,再站起來」,模型還得自己決定怎麼蹲下、轉身和起身。參考影片把整套動作直接呈現給它:角色圖片提供外觀,影片引導動作。
AnimGen 的 AI motion control(AI 動作控制) 流程在引用生成影片模式中使用:放入角色圖和一段短片,選好片段,再生成動畫。心裡已經有某個攻擊、跳躍或手勢,而且示範節奏比文字描述更容易時,它最能派上用場。
下面的例子中,橘色機器人跟著一段渲染的三維翻滾動作。生成使用 Seedance 2.0 Fast,4 秒、480p、1:1,並開啟轉為深度。機器人翻滾一次、站起來,接著保持姿勢。下載的原片實測為 640 × 640、24 FPS、97 影格。它的起始姿勢和參考不同,所以要看完整個動作,不能只看結尾。
選擇包含起勢與收勢的完整動作
參考來自 Quaternius Universal Animation Library 的翻滾動作,這套資源採用 CC0 授權。我們以固定鏡位渲染,再延長最後的站姿,讓參考影片補足 4 秒;動作本身維持原速。
選擇單一角色、固定鏡頭,視角也接近目標畫面的片段。手、腳和武器在整個動作中都要留在畫面內。如果裁得太緊、看不到落地,模型在收勢時能參考的資訊就少了。
起勢和收勢也要保留。跳躍要看到起跳和落地,攻擊要看到蓄力和收招。先刪去不相關的動作和切鏡,再讓模型做某一個具體動作。
想用同樣的設定跟著做,可以下載這裡的翻滾參考影片和機器人圖片。
在引用生成影片模式加入角色與影片
開啟 AnimGen 工作台,切換到引用生成影片(側欄簡稱「引用」),把角色圖放在第一張參考圖的位置。第一次嘗試時,一張清楚的全身圖效果最好。
在這個模式中,角色圖只負責角色外觀,不會被當成固定的第一個影格,所以生成結果的開頭不一定是圖片裡的姿勢。起始影格和起始+結束影格模式不接受影片參考。
在影片參考區域,選擇上傳新檔案,或點素材重複使用目前工作空間裡已有的影片。支援 MP4、MOV 和 WebM,來源影片需要 2–30 秒、不超過 100 MB,長寬比介於 2:5 到 5:2 之間。如果瀏覽器無法預覽,可以先轉成 H.264 編碼的 MP4。
接著選擇模型。加入影片後,模型清單只會保留支援影片參考的模型。
生成前先替動作留出空間。這個翻滾案例使用擴大畫布(Expand Canvas),設定為 1:1 畫布、主體 67%、置中,因為向前撲出時,身體會比站姿寬得多。透明處理使用 Alpha Key,並手動選擇綠色作為暫時底色。
用時間軸選出需要的片段
拖曳選區兩端設定開始和結束位置,也可以拖曳整段選區,在較長的來源影片裡換個位置。搭配播放選區、逐影格按鈕和循環播放選區,確認送給模型的究竟是哪一段。
選區為 2–5 秒,部分模型的上限更短;面板會在選區長度旁顯示目前模型的上限。截圖使用英文介面。這裡的來源影片本身就是 4 秒,保留整個選區即可。較長的錄影中,只選一個完整動作,不要把幾段不相關的動作放在一起。
選區長度和生成影片的長度是兩項獨立設定:選了 2 秒參考,輸出不會自動變成 2 秒。依完整動作設定輸出長度,再看模型怎麼處理多出來的時間。我們的機器人在這段時間裡維持了最後的姿勢。
決定是否開啟「轉為深度」
轉為深度預設關閉。關閉時,AnimGen 會按原畫面傳送選好的片段,畫面中的顏色、臉部和背景都會一起送給模型。只想讓影片提供動作時再開啟:深度轉換保留動作和身體形態,去掉顏色、臉部和背景,但生成開始前會多花一些處理時間。
這次翻滾開啟了深度,所以模型只拿到渲染人偶的動作,沒有拿到它灰色的三維表面。如果你的片段拍的是真人,也要開啟:含真人的片段按原畫面傳送時,可能會被拒絕。
預覽會一直顯示原影片,因為深度轉換只在按下生成後執行;打開開關後,預覽不會變成灰色。
深度轉換只能處理鏡頭裡看得見的內容。被遮住的手、出了畫面的腳,它都補不回來,也無法把被遮擋的動作變成精確的骨架。
提示詞:分清楚誰管外觀、誰管動作
在提示詞裡寫明每個輸入的用途:圖片1決定角色的長相,影片1決定角色怎麼動。關閉轉為深度時,這一點特別重要,因為模型還會看到參考影片中人物的顏色和服裝。
我們的提示詞原本以簡體中文撰寫。以下改寫為繁體中文用語,只省略了「純綠色背景,無陰影」這一句:開啟 Alpha Key 後,AnimGen 會自動加入去背底色的要求。
圖片1是唯一的角色外觀參考。保持橘色機器人的配色、身體比例、卡通線條和在輸入圖片中較小的主體大小,不要把角色放大到填滿畫面。嚴格跟隨影片1的動作順序和節奏,向前翻滾一次並站起來,然後維持準備姿勢直到影片結束。不要重複翻滾。固定鏡頭,不縮放,不切鏡;角色全身及雙手、雙腳始終完整留在畫面內,四周保持充分的動作空間。不添加其他角色或物體。
設定輸出長度、解析度和比例後,先看點數預估再生成。加入參考影片會改變報價,不能沿用只用角色圖時看到的價格。11 月 11 日,我們 4 秒、480p 的生成每次報價 43 點數;一共生成兩次,合計 86 點數。
第一次測試用合適的最小輸出尺寸,先確認動作,再決定是否花更多點數生成更大的版本。修改提示詞時保持其他輸入不變,才能看清楚改動的效果。
先檢查動作,再匯出
以正常速度對照參考與完整結果,看動作順序、動作次數、角色朝向和收勢是否符合需要。接著逐影格查看動作最快的部分,檢查臉部、四肢和身體比例。
我們正是靠逐影格檢查,捨棄了第一次的生成結果。那次機器人翻滾一次並站了起來,但第 13、14 影格的右手超出了畫布。那次也沒有使用擴大畫布,自動選擇的去背色是洋紅色,去背後留下明顯的溢色。第二次照上文加上擴大畫布的空間,並手動選了綠色,97 個影格就都沒有碰到畫面邊緣。
AI motion transfer(動作轉移)引導的是一段新生成的表演,不會逐個關節照搬參考。模型可能改變節奏,或用自己的方式詮釋某個動作。如果遊戲依賴某個落地或命中的時刻,請直接檢查那幾個影格,不要只看縮圖判斷。
確認動作可用後,再剪掉多餘的開頭和結尾,保留足夠的收勢銜接下一個狀態。揮劍動作編輯案例說明選取片段如何影響攻擊手感;連續跑動或行走可以參考行走循環教學。
把結果整理成透明動畫或精靈圖
整理遊戲素材時,我們保留了第 0–53 影格,共 54 個連續影格,24 FPS 下為 2.25 秒。翻滾和站起都在,剪掉的是後面較長的停留;中間沒有抽掉影格,也沒有加速。
可以下載透明 WebM或54 影格 PNG 序列,兩者都是同一段 2.25 秒的動作;完整的生成過程在文章開頭的對照影片裡。
使用 Alpha Key 時,匯出透明檔案會去掉暫時底色。把角色放進場景之前,先在淺色和深色背景上檢查邊緣。
逐影格修改可以匯出 PNG 序列,遊戲執行時可以用精靈圖,目標平台支援時也可以匯出透明影片。24 FPS 的來源動畫維持 24 FPS,除非你刻意要改變節奏。透明動畫製作和影片轉精靈圖介紹了後續步驟。
影片參考動畫的常見問題
可以使用自己拍攝的影片嗎?
可以,前提是檔案符合輸入限制,而且你有權使用其中的內容。單人、清楚的動作和穩定的鏡頭,比較容易讓模型理解。由於畫面中是真人,請開啟轉為深度:含真人的片段按原畫面傳送時,可能會被拒絕。
能匯出動作捕捉的骨架嗎?
不能。這套流程輸出的是生成的動畫影片,可以再整理成影像影格或其他支援的素材,但不會匯出 3D 骨架、FBX 綁定或可編輯的關節動畫。
為什麼生成結果重複了動作?
先檢查參考選區是否已經包含重複,以及輸出長度是否比動作長很多。在提示詞中寫明動作次數和結束姿勢,再檢查新的結果;只靠文字無法保證次數完全準確。
能透過 API 或 MCP 使用影片參考嗎?
可以。除了 Web 工作台,AnimGen 也透過 API 和 MCP 伺服器支援影片參考,可以接入自己的工具或 AI 工作流程。API 輸入說明列出了請求欄位和限制。本文示範的是 Web 工作台。

