部落格

如何讓 AI 影片的每個鏡頭都是同一個角色:臉、服裝和聲音

· Sumi Studio 團隊

你生成了一個很滿意的第一個鏡頭。到了第二個鏡頭,鼻子有點不一樣,夾克換了顏色,等她終於開口,聽起來又像換了一個人。這是 AI 影片最常見的問題之一,故事的鏡頭越多,問題越明顯。

這篇指南談的是觀眾要相信「這是同一個人」時必須保持不變的三件事:臉、服裝和聲音。大多數教學只講到臉,而很多 AI 短片偏偏就是在聲音上露餡,所以這裡特別用一個部分來談聲音。

每一步都在 Sumi Studio 畫布上完成,大部分步驟都附有可以直接複製的提示詞。

怎麼閱讀這篇指南

如果你是第一次嘗試,先做個小測試:一個角色、兩個鏡頭、一句台詞。用它走一遍第 2、3、4 部分,就能看懂整個流程。

如果你正在籌備一部完整的短片或一個系列,請依序讀完。第 5 部分列出最容易破壞一致性的鏡頭,能幫你省下大量重新生成。

畫布上各部分的作用如下:

畫布上的部分作用
圖片節點生成角色和角色設定圖,需要時也用來生成鏡頭的首影格
語音節點把文字轉成語音,也是複刻或設計角色音色的地方
元素儲存角色的圖片、描述和音色,任何節點都能用 @ 呼叫
影片節點根據參考和提示詞生成影片片段
你確認角色的外觀和聲音,判斷每個鏡頭是否合格

第 1 部分:為什麼角色一直在變

每次生成都是從零開始。模型不記得你上一段生成的影片,它手上只有你在這一次請求裡給它的東西:提示詞,以及你附上的參考圖或音訊。

所以當參考只有文字時,模型每次對「一位三十多歲、黑色短髮的女性」的理解都會略有不同。十個鏡頭下來,小差異層層累積,到最後就變成另一個人。

解決辦法是在每個鏡頭裡都給模型同一份視覺參考和同一份聲音參考,並且每次都用同樣的方式寫描述。放到畫布上,就是一個角色只儲存一次,然後連到每個鏡頭。

第 2 部分:鎖定臉和服裝

2.1 在畫布上建立角色

開一個新畫布,按住 Tab 叫出節點輪盤,選擇「圖片」新增一個圖片節點。

在節點下方的提示詞框裡描述角色,畫風要和成片想要的一致。把所有必須固定的東西都寫清楚:臉型、髮型、膚色、體型,以及從頭到腳的每一件衣服,一直寫到鞋子。要求生成純色背景上的全身圖,這樣場景裡就沒有東西分散對角色的注意力。

小細節要寫明位置。「左眉上方有一道小疤」或「右手戴著一枚銀戒指」會一直留在原處;只寫「一道疤」「一枚戒指」,它們就會在鏡頭之間跑來跑去。

如果結果不對,就重新生成這個節點。每個節點都會保留歷史紀錄,後面的結果更差時,可以回到之前的版本。

2.2 做成角色設定圖

只有一張圖還不夠。模型需要從多個角度看到角色,否則它會自己編造後腦勺、側臉和鞋子的樣子。

點擊角色節點側邊的加號,拖出一個新的圖片節點,角色圖就會作為參考圖進入新節點。把下面的提示詞貼到新節點裡。它適用於任何角色,可以原封不動地重複使用。

角色設定圖提示詞(圖片節點)
Create a character reference sheet of the character in the reference image. Keep the character's design exactly as shown: same face, hairstyle, hair color, eye color, skin tone, body proportions, outfit, accessories and colors. Do not redesign, restyle or add anything.

Layout: one single horizontal row of four full-body views on the left, side by side, never stacked on top of each other. The large face close-up sits on the right side of the sheet. Every full-body view has the same height and runs from the top of the head to the bottom of the feet, with empty gray space above the head and below the feet.

1. Full-body front view: facing the camera, standing straight, arms slightly away from the body, showing the face, full outfit and accessories.
2. Full-body side view: exact 90 degree profile, standing straight, showing the nose, jawline, hair shape and outfit from the side.
3. Full-body 3/4 view: body and face turned diagonally, about 45 degrees from the camera, standing straight.
4. Full-body back view: standing straight, showing the hairstyle, the back of the outfit, the back of the legs and both feet.
5. Large face close-up: head and shoulders, facing the camera, neutral expression, sharp and detailed.

The character has the same face in every view, with the full head visible in all poses. All four full-body views show the complete body including knees, calves, ankles and feet, nothing cropped, same scale, same standing pose and same neutral expression. Plain medium gray studio background, soft even studio lighting, no props, no text, no labels, no extra characters.

在節點的參數裡,如果模型支援,就把畫面比例設為 21:9,否則設為 16:9。寬畫面能避免四個全身視圖被裁切掉。

繼續之前先檢查設定圖。每個視圖都應該是同一張臉、同樣的髮型、同樣的衣服。如果某個視圖不對,現在就重新生成,因為設定圖上的錯誤會被複製到每一個用到它的鏡頭裡。

畫布上的角色設定圖:由一張角色圖生成的四個全身視圖(正面、側面、3/4 側面和背面)和一張大尺寸臉部特寫。

2.3 把角色儲存為元素

Sumi Studio 靠元素來記住角色。元素包含名稱、簡短的引用名、參考圖和音色。在任一節點的提示詞裡輸入 @ 加上引用名,這些圖片就會自動作為參考附加到這次生成裡。

最快的方法是直接在畫布上操作:

  1. 在角色設定圖節點上按右鍵,選擇「建立元素」。「新增元素」視窗會打開,設定圖已經作為參考圖加好了。
  2. 把分類設為「角色」,填寫名稱和引用名,例如 @mara。
  3. 在描述裡用幾個短語寫下固定的細節。每次生成時,描述都會和名稱一起送出,所以只寫永遠不會變的東西:「黑色短鮑伯頭,左眉上方有一道小疤,橄欖綠飛行外套,白色運動鞋」。
  4. 點擊「建立」。

你也可以在「資產」的元素頁面裡建立:點擊「新增元素」,再用「新增參考圖」上傳設定圖。臉部特寫也可以作為單獨的一張圖片加進去。

如果你用的是 Kling O3 或更新的版本,還可以加入一段角色影片(MP4 或 MOV,3 到 8 秒,1920×1080 或 1080×1920)。Kling 會把它當作影片主體,其他模型只使用圖片。

在角色設定圖節點上按右鍵並選擇「建立元素」,會打開「新增元素」視窗,設定圖已經作為參考圖加好了。

2.4 一套服裝對應一個元素

如果角色在故事裡換了衣服,就為第二套服裝再建立一個元素,例如 @mara 和 @mara-night。在畫布上,把角色設定圖連到一個新的圖片節點,要求生成穿著新服裝的同一個角色,再為新造型做一張設定圖,儲存為第二個元素。兩個元素裡的臉部特寫保持一致。

把兩套服裝放進同一個元素,等於對同一個問題給了模型兩個答案,結果會是兩者的混合。

繼續之前,檢查這幾項:

  • 設定圖上每個視圖的臉和衣服都一樣
  • 小細節都寫明了位置(左或右、上或下)
  • 元素描述只列出永遠不變的東西
  • 每套服裝都有自己的元素
同一角色的第二套服裝:第一張角色設定圖接入新的圖片節點,新造型有自己的設定圖和自己的元素。

第 3 部分:鎖定聲音

一個角色就算在每個鏡頭裡都長得分毫不差,聲音一變,觀眾還是會覺得不對勁。會生成對白的影片模型,如果你不給它一個可以參照的聲音,每次都會自己挑一個。

在 Sumi Studio 裡,音色是元素的一部分。你可以先在畫布上做好音色,再把它綁定到元素上。

3.1 在畫布上複刻音色

點擊左側選單裡的加號,進入「音訊」,選擇「語音」。這樣會新增一個語音節點(在畫布上顯示為「文生音訊」)。在節點下方的列裡,點擊模型旁邊目前的音色名稱,打開「音色選擇」,裡面有音色庫、你自己的音色、收藏和各個元素的音色。

點擊「複刻新音色」。你可以朗讀一小段文字 10 到 20 秒,或者上傳一段錄音。

複刻畫面會顯示該語音模型對錄音的要求。以 Qwen Audio 3.1 TTS Plus 為例,錄音需要至少 5 秒的連續說話,停頓不超過 2 秒,不能有音樂、歌聲或雜音,格式為 WAV、MP3 或 M4A,檔案不超過 10 MB、長度不超過 60 秒。只複刻你自己的聲音,或你有權使用的聲音。

3.2 或者根據描述設計音色

如果角色的聲音不像你認識的任何人,就根據描述來設計。用同樣的方式從語音節點打開「音色選擇」,點擊「設計新音色」,然後填寫表單:

  1. 音色名稱:用角色的名字,例如 Mara,方便之後查找。
  2. 模型:選擇語音模型。音色費用只收一次,在你第一次用這個音色生成語音時收取。
  3. 預覽文字:模型朗讀的一段台詞,讓你聽聽這個音色的效果。必填,最多 500 個字元,依長度計費。寫一段角色真的會說的話,用你想要的語氣。
  4. 聲音描述:從年齡、語氣和語速來描述聲音。避免「酷」「好聽」這類模糊的詞,模型可能有很多種解讀。
  5. 語言和性別:都依角色來設定。
  6. 點擊「生成音色」。
預覽文字
I told you I'd come back, and here I am. It's been a long time since I walked these streets at night. The rain hasn't changed, the neon signs haven't changed, and you still leave the back door open. Don't look so surprised. I'm not here to make trouble. I just need one answer, and then I'll be gone before the sun comes up. So sit down, pour yourself a drink, and tell me the truth this time. Who sold us out that night? Take your time. I've waited three years, I can wait a little longer.
聲音描述
A woman in her early 30s, low and slightly husky voice, calm and measured pace, speaks quietly but clearly, a little dry and sarcastic.

新音色會出現在「音色選擇」的「我的音色」裡。

從語音節點打開的「設計新音色」表單:音色名稱、模型、預覽文字、聲音描述、語言和性別。

3.3 把音色綁定到角色

回到「元素」裡的這個元素。有兩個地方可以設定聲音:

  • 在「音色」下,從「我的複刻音色」裡選擇你複刻或設計的音色。
  • 在「角色參考音色」下,選擇或上傳一段 2 到 10 秒的片段。當你 @ 這個角色時,Seedance、Wan 和 Hailuo 會使用這段片段。

好的參考片段裡只有一個人清楚地說話,沒有音樂和背景雜音,語氣是你最常用的那種。如果角色大多數時候很冷靜,就不要用她大吼大叫的片段。

Kling 只使用在 Kling 上複刻的音色。如果想讓角色在 Kling 影片裡保持同一個聲音,請在「音色」下選擇用 Kling 複刻的音色。

還有一點:畫布上的節點取得元素的音色時,會保存一份副本。之後如果你在元素裡更換了音色,已經做好的節點仍然使用舊音色。所以先把音色定下來,再建立鏡頭。

元素的音色設定:「音色」下是複刻或設計的音色,「角色參考音色」下是一段 2 到 10 秒的片段。

第 4 部分:在每個鏡頭裡使用角色

4.1 一律用 @ 呼叫角色

按住 Tab,為每個鏡頭新增一個影片節點。在節點下方的提示詞框裡輸入 @ 並選擇你的角色,設定圖和音色就是這樣附加上去的。只用文字描述角色卻忘了 @ 的那個鏡頭,就是臉會走樣的那個鏡頭。

新的影片節點預設是「文生影片」模式,不會使用角色的參考。生成前先切換:點擊提示詞下方的設定列(顯示的內容類似「文生影片 · 16:9 · 480P · 8s」)打開「參數」,在「生成方式」裡選擇「全能參考」。在這個模式下,模型會同時使用角色的圖片和音色。

4.2 提示詞寫鏡頭,外觀交給元素

鏡頭提示詞應該描述發生了什麼:動作、運鏡、地點、光線和對白。不需要再描述一次臉,每個鏡頭都換個說法重寫一遍,反而可能把模型從參考上拉偏。

背景寫得簡短,但要具體。不寫的話,很多模型會給你一個空蕩蕩的場景。

鏡頭提示詞(影片節點,全能參考)
8-second shot.
@mara walks toward the camera along a narrow street at night, wet pavement with neon reflections, a few closed shops in the background.
Medium shot, eye level, slow push-in.
She stops, looks up and says quietly: "I told you I'd come back."
Calm, low voice. Only the sound of rain and her footsteps. No music, no subtitles.

點擊生成之前,節點會顯示這個鏡頭需要多少點數。

4.3 最重要的鏡頭,從首影格開始

遇到特寫或關鍵時刻,先用圖片做出首影格。新增一個圖片節點,@ 角色並描述這個鏡頭的構圖。首影格滿意之後,點擊它側邊的加號,拖到一個影片節點上,從設定列打開「參數」,把「生成方式」設為「圖生影片」;如果你也做了尾影格,就設為「首尾影格」。

這樣影片模型就有了一個固定的起點,正確的臉已經在畫面裡,這通常是保持角色一致最可靠的方法。而且試錯成本更低,因為重新生成一張圖比重新生成一段影片便宜。

一些在影片進行中容易消失的小東西,例如帽子、刺青或眼鏡,應該在首影格裡就看得到。如果只寫在文字裡,它們常常會在中途消失。

下面是 Mara 穿夜間服裝的例子。

圖片節點(首影格)
@mara-night in a close-up, standing under a flickering streetlight in a narrow alley at night, light rain falling, wet brick wall behind her slightly out of focus. Warm orange streetlight from the left, cool blue neon glow from the right. Her coat collar is turned up and she looks just past the camera with a calm, tired expression. Her face sits on the right third of the frame. Eye level, 50mm lens, shallow depth of field. Photorealistic cinematic, natural skin texture, 35mm film look. No text, no watermark.
影片節點(圖生影片,連接上面的首影格)
5-second shot.
Use the reference image as the first frame and keep its composition, lighting and framing exactly the same. @mara-night stays under the streetlight in the rain. She slowly lifts her eyes to the camera, lets out a short breath and the corner of her mouth tightens. She does not speak.
Close-up, eye level, very slow push-in.
Rain falls steadily, the streetlight flickers once, a car's headlights sweep across the brick wall behind her.
Only the sound of rain and a car passing in the distance. No music, no subtitles.

4.4 所有鏡頭都從同一份參考出發

不需要為每個鏡頭重新上傳角色設定圖。從設定圖節點拖出連線,連到每個需要它的影片節點。前一個節點裡的內容會傳進下一個節點,所以一份參考可以供給任意多個鏡頭。

如果某個鏡頭出了問題,只重新生成那個節點,畫布上的其他內容維持原樣。如果想在工作時把專案裡所有的圖片和影片片段都擺在眼前,可以在畫布上放一個堆疊節點。

鏡頭都準備好後,打開「智慧剪輯」。你在畫布上生成的所有內容都已經在裡面,可以直接放上時間軸。

繼續之前,檢查這幾項:

  • 每個出現角色的鏡頭提示詞裡都有 @handle
  • 鏡頭提示詞描述動作、運鏡和地點,不寫臉
  • 關鍵鏡頭從確認好的首影格開始
  • 帽子、眼鏡和刺青在首影格裡看得到

第 5 部分:容易破壞一致性的鏡頭

有些鏡頭對影片模型來說難得多。寫故事時就先避開它們,重新生成的次數會少很多。

出了什麼問題怎麼避免
角色轉身再轉回來時,臉變了讓臉一直留在畫面裡,或者在轉身處切鏡,下一個鏡頭從新的首影格開始
兩個角色融成一個,或者互換了特徵給每個角色各自建立元素,寫明誰在左、誰在右,並且不讓他們的走位交錯
遠景裡的臉不對遠景裡臉只佔很少的像素。遠景用來交代地點和動作,臉放在中景和特寫裡呈現
正上方俯拍時臉不見了用仍然看得到臉的高角度,或者把俯拍留給不需要辨認身分的時刻
服裝在一段影片裡變了一套服裝對應一個元素,並確保首影格裡看得到完整的服裝
某個鏡頭裡聲音聽起來不一樣檢查這個鏡頭有沒有寫 @handle,以及做好節點之後有沒有改過音色
角色不說話時嘴巴卻在動在提示詞裡為這個角色寫上「不說話」
一段影片裡發生的事太多每段影片只放一兩個動作。一長串連續動作最容易讓臉和手出錯
光線讓臉變了樣同一場戲裡保持光線一致:方向相同、冷暖相同。光線變化太大,同一張臉也可能被看成另一個人

常見錯誤

  • 角色設定圖還沒確認就開始做影片(2.2)
  • 小細節沒寫位置,結果在鏡頭之間跑來跑去(2.1)
  • 一個元素裡放了兩套服裝(2.4)
  • 元素沒有設定音色,模型每個鏡頭都挑一個新聲音(第 3 部分)
  • 鏡頭建好之後又改了元素的音色(3.3)
  • 某個鏡頭忘了寫 @handle(4.1)
  • 每個鏡頭提示詞裡都重新描述一次臉(4.2)
  • 關鍵特寫直接用文字生成(4.3)
  • 在最需要看清臉的地方用遠景和轉身鏡頭(第 5 部分)

先設定好你的第一個角色,在建立整部片子之前,從一個兩鏡頭的小測試開始。想進一步了解畫布、元素和各個模型,請看 Sumi Studio 學院。