Як зберегти того самого персонажа в кожному кадрі ШІ-відео: обличчя, одяг і голос

Ви згенерували чудовий перший кадр. У другому в героїні трохи інший ніс, куртка змінила колір, а коли вона нарешті заговорила, голос виявився чужим. Це одна з найпоширеніших проблем ШІ-відео, і що більше кадрів в історії, то вона помітніша.

У цьому посібнику — три речі, які мають залишатися незмінними, щоб глядач повірив, що перед ним та сама людина: обличчя, одяг і голос. Більшість посібників зупиняється на обличчі. А саме на голосі розвалюється багато ШІ-короткометражок, тому йому тут присвячено окрему частину.

Усі кроки виконуються на полотні Sumi Studio, і для більшості є промпт, який можна скопіювати.

Як читати цей посібник

Якщо пробуєте вперше, зробіть невеликий тест: один персонаж, два кадри, одна репліка. Пройдіть із ним частини 2, 3 і 4 — і побачите, як працює весь процес.

Якщо плануєте повноцінну короткометражку чи серіал, читайте все по порядку. У частині 5 перелічено кадри, які найчастіше ламають послідовність, — це позбавить вас багатьох перегенерацій.

Ось що робить кожна частина полотна:

Частина 1. Чому персонаж постійно змінюється

Кожна генерація починається з нуля. Модель не пам’ятає попереднього кліпу. У неї є лише те, що ви передали в цьому конкретному запиті: промпт і прикріплені референсні зображення чи аудіо.

Тому, коли єдиний референс — текст, модель щоразу трохи по-своєму розуміє «жінку років 30 із коротким темним волоссям». Дрібні відмінності накопичуються за десять кадрів, і наприкінці це вже інша людина.

Рішення — давати моделі той самий візуальний референс і той самий голосовий зразок у кожному кадрі та щоразу писати опис однаково. На полотні це означає: один персонаж, збережений один раз і під’єднаний до всіх кадрів.

Частина 2. Зафіксуйте обличчя й одяг

2.1 Створіть персонажа на полотні

Відкрийте нове полотно й затисніть Tab, щоб викликати колесо вузлів. Виберіть «Зображення», щоб додати вузол «Зображення».

Опишіть персонажа в полі промпту під вузлом — у тому самому художньому стилі, що й у фінальному фільмі. Опишіть усе, що має лишатися незмінним: форму обличчя, волосся, шкіру, статуру й кожен елемент одягу аж до взуття. Попросіть зображення на повний зріст на однотонному тлі, щоб ніщо в сцені не відволікало від персонажа.

Вказуйте, де розташована кожна дрібна деталь. «Невеликий шрам над лівою бровою» чи «срібна каблучка на правій руці» залишаться на місці. «Шрам» і «каблучка» переміщуватимуться від кадру до кадру.

Якщо результат не той, перегенеруйте вузол. Кожен вузол зберігає свою історію, тож можна повернутися до попереднього варіанту, якщо новий вийшов гіршим.

2.2 Зробіть аркуш персонажа

Одного зображення замало. Модель має бачити персонажа з кількох ракурсів, інакше вона сама вигадає потилицю, профіль і взуття.

Натисніть «+» збоку від вузла персонажа й витягніть із нього новий вузол «Зображення». Зображення персонажа потрапить у новий вузол як референс. Вставте в новий вузол промпт нижче. Він підходить для будь-якого персонажа, тож його можна використовувати як є.

Create a character reference sheet of the character in the reference image. Keep the character's design exactly as shown: same face, hairstyle, hair color, eye color, skin tone, body proportions, outfit, accessories and colors. Do not redesign, restyle or add anything.

Layout: one single horizontal row of four full-body views on the left, side by side, never stacked on top of each other. The large face close-up sits on the right side of the sheet. Every full-body view has the same height and runs from the top of the head to the bottom of the feet, with empty gray space above the head and below the feet.

1. Full-body front view: facing the camera, standing straight, arms slightly away from the body, showing the face, full outfit and accessories.
2. Full-body side view: exact 90 degree profile, standing straight, showing the nose, jawline, hair shape and outfit from the side.
3. Full-body 3/4 view: body and face turned diagonally, about 45 degrees from the camera, standing straight.
4. Full-body back view: standing straight, showing the hairstyle, the back of the outfit, the back of the legs and both feet.
5. Large face close-up: head and shoulders, facing the camera, neutral expression, sharp and detailed.

The character has the same face in every view, with the full head visible in all poses. All four full-body views show the complete body including knees, calves, ankles and feet, nothing cropped, same scale, same standing pose and same neutral expression. Plain medium gray studio background, soft even studio lighting, no props, no text, no labels, no extra characters.

У параметрах вузла виберіть співвідношення сторін 21:9, якщо модель його підтримує, інакше 16:9. У широкому форматі чотири види на повний зріст не обрізаються.

Перевірте аркуш, перш ніж іти далі. На всіх видах має бути те саме обличчя, та сама зачіска й той самий одяг. Якщо якийсь вид не вдався, одразу перегенеруйте вузол: помилка в аркуші копіюється в усі кадри, які його використовують.

2.3 Збережіть персонажа як елемент

Елемент — це те, за допомогою чого Sumi Studio запам’ятовує персонажа. У ньому зберігаються ім’я, короткий ідентифікатор, референсні зображення й голос. Коли ви пишете @ та ідентифікатор у промпті будь-якого вузла, зображення автоматично прикріплюються до цієї генерації як референси.

Найшвидше зробити це просто на полотні:

1. Клацніть правою кнопкою миші на вузлі з аркушем персонажа й виберіть «Створити елемент». Відкриється вікно «Новий елемент», де аркуш уже додано як референсне зображення.
2. Виберіть категорію «Персонаж» і задайте назву та ідентифікатор, наприклад @mara.
3. В описі перелічіть незмінні деталі кількома короткими фразами. Опис надсилається разом з іменем під час кожної генерації, тому залиште в ньому лише те, що ніколи не змінюється: «коротке чорне каре, невеликий шрам над лівою бровою, оливковий бомбер, білі кеди».
4. Натисніть «Створити».

Створити елемент можна й у «Бібліотеці матеріалів», у розділі «Елементи». Натисніть «Новий елемент» і завантажте аркуш через «Додати референс». Великий план обличчя теж можна додати окремим зображенням.

Якщо ви працюєте з Kling O3 або новішою версією, можна додати й коротке відео персонажа (MP4 або MOV, 3–8 секунд, 1920×1080 або 1080×1920). Kling використовує його як відеосуб’єкт. Інші моделі використовують лише зображення.

2.4 Один образ — один елемент

Якщо за сюжетом персонаж перевдягається, створіть другий елемент для другого образу, наприклад @mara і @mara-night. На полотні з’єднайте аркуш персонажа з новим вузлом «Зображення», попросіть того самого персонажа в новому одязі, потім зробіть із результату аркуш і збережіть його як другий елемент. Великий план обличчя в обох залиште однаковим.

Два образи в одному елементі — це дві відповіді на одне запитання, і ви отримаєте суміш обох.

Перш ніж іти далі, перевірте:

• На всіх видах аркуша те саме обличчя й той самий одяг
• Для дрібних деталей указано розташування (ліворуч чи праворуч, угорі чи внизу)
• В описі елемента лише те, що ніколи не змінюється
• Кожен образ має власний елемент

Частина 3. Зафіксуйте голос

Персонаж може виглядати бездоганно в кожному кадрі й однаково здаватися чужим, якщо змінюється голос. Відеомоделі, які генерують діалоги, щоразу самі обирають голос, якщо не дати їм зразка.

У Sumi Studio голос — частина елемента. Голос можна створити на полотні, а потім прив’язати до елемента.

3.1 Клонуйте голос на полотні

Натисніть «+» у лівому меню, перейдіть до «Аудіо» й виберіть «Голос». Так додається вузол «Голос» (на полотні він називається «Текст у голос»). На панелі під вузлом натисніть назву поточного голосу поруч із моделлю. Відкриється вікно «Вибір голосу» з бібліотекою голосів, вашими голосами, обраним і голосами ваших елементів.

Натисніть «Клонувати голос». Прочитайте вголос короткий уривок протягом 10–20 секунд або завантажте запис.

На екрані клонування вказано вимоги голосової моделі до запису. Для Qwen Audio 3.1 TTS Plus потрібно щонайменше 5 секунд безперервного мовлення, паузи коротші за 2 секунди й жодної музики, співу чи шуму; підійде файл WAV, MP3 або M4A розміром до 10 МБ і тривалістю до 60 секунд. Клонуйте лише свій голос або голос, на використання якого у вас є дозвіл.

3.2 Або створіть голос за описом

Якщо голос персонажа не схожий на голос когось із ваших знайомих, створіть його за описом. Так само відкрийте «Вибір голосу» з вузла «Голос», натисніть «Створити голос» і заповніть форму:

1. «Назва голосу»: використайте ім’я персонажа, наприклад Мара, щоб потім легко його знайти.
2. «Модель»: виберіть голосову модель. Плата за голос стягується один раз — коли ви вперше генеруєте мовлення цим голосом.
3. «Текст для прослуховування»: фраза, яку модель прочитає, щоб ви почули голос. Поле обов’язкове, вміщує до 500 символів, оплата залежить від довжини. Напишіть те, що персонаж справді міг би сказати, і в потрібному тоні.
4. «Опис голосу»: опишіть голос через вік, тембр і темп. Уникайте розмитих слів на кшталт «крутий» чи «приємний» — модель може зрозуміти їх по-різному.
5. «Мова» і «Стать»: виберіть відповідно до персонажа.
6. Натисніть «Створити голос».

I told you I'd come back, and here I am. It's been a long time since I walked these streets at night. The rain hasn't changed, the neon signs haven't changed, and you still leave the back door open. Don't look so surprised. I'm not here to make trouble. I just need one answer, and then I'll be gone before the sun comes up. So sit down, pour yourself a drink, and tell me the truth this time. Who sold us out that night? Take your time. I've waited three years, I can wait a little longer.

A woman in her early 30s, low and slightly husky voice, calm and measured pace, speaks quietly but clearly, a little dry and sarcastic.

Новий голос з’явиться на вкладці «Мої голоси» у вікні «Вибір голосу».

3.3 Прив’яжіть голос до персонажа

Поверніться до елемента в розділі «Елементи». Голос задається у двох місцях:

• У полі «Голос» виберіть у «Мій клонований голос» голос, який ви клонували або створили.
• У полі «Голосовий зразок персонажа» виберіть або завантажте запис тривалістю від 2 до 10 секунд. Seedance, Wan і Hailuo використовують його, коли ви посилаєтеся на персонажа через @.

Добрий зразок — це одна людина, яка говорить чітко, без музики й фонового шуму, тим тоном, який вам потрібен найчастіше. Якщо персонаж здебільшого спокійний, не беріть запис, де він кричить.

Kling використовує лише голоси, клоновані в Kling. Щоб у відео Kling персонаж мав той самий голос, виберіть у полі «Голос» голос, клонований у Kling.

І ще: коли вузол на полотні бере голос елемента, він зберігає його копію. Якщо згодом змінити голос в елементі, уже створені вузли залишаться зі старим. Визначтеся з голосом до того, як збирати кадри.

Частина 4. Використовуйте персонажа в кожному кадрі

4.1 Завжди викликайте персонажа через @

Затисніть Tab і додайте вузол «Відео» для кожного кадру. У полі промпту під вузлом введіть @ і виберіть персонажа. Саме це прикріплює аркуш і голос. Кадр, де ви описали персонажа словами, але забули @, — той самий кадр, де обличчя «попливе».

Новий вузол «Відео» відкривається в режимі «Текст у відео», який не використовує референсів персонажа. Перемкніть його перед генерацією: натисніть панель налаштувань під промптом (там написано щось на кшталт «Текст у відео · 16:9 · 480P · 8s»), щоб відкрити «Параметри», і в розділі «Спосіб генерації» виберіть «Omni Reference». У цьому режимі модель використовує і зображення, і голос персонажа.

4.2 Описуйте кадр, а зовнішність залиште елементу

Промпт кадру має описувати, що відбувається: дію, камеру, місце, світло й репліки. Обличчя описувати знову не потрібно: якщо щоразу переказувати його іншими словами, модель може відійти від референсу.

Тло описуйте коротко, але конкретно. Без нього багато моделей видають порожню безлику декорацію.

8-second shot.
@mara walks toward the camera along a narrow street at night, wet pavement with neon reflections, a few closed shops in the background.
Medium shot, eye level, slow push-in.
She stops, looks up and says quietly: "I told you I'd come back."
Calm, low voice. Only the sound of rain and her footsteps. No music, no subtitles.

Перед генерацією вузол показує, скільки кредитів буде списано за кадр.

4.3 Для ключових сцен спершу зробіть перший кадр

Для великого плану чи ключового моменту спершу зробіть перший кадр як зображення. Додайте вузол «Зображення», пошліться на персонажа через @ і опишіть композицію кадру. Коли кадр вдався, натисніть «+» збоку від вузла, протягніть з’єднання до вузла «Відео», відкрийте «Параметри» через панель налаштувань і виберіть у «Спосіб генерації» режим «Зображення у відео» або «Перший і останній кадр», якщо ви зробили й останній кадр.

Так відеомодель отримує фіксовану стартову точку з правильним обличчям, і зазвичай це найнадійніший спосіб зберегти персонажа незмінним. До того ж так дешевше досягти результату: перегенерувати зображення дешевше, ніж відео.

Дрібні деталі, які зазвичай зникають упродовж кліпу, — капелюх, татуювання, окуляри — мають бути видимими на першому кадрі. Якщо вони є лише в тексті, то часто зникають посередині.

Ось приклад із Марою в нічному образі.

@mara-night in a close-up, standing under a flickering streetlight in a narrow alley at night, light rain falling, wet brick wall behind her slightly out of focus. Warm orange streetlight from the left, cool blue neon glow from the right. Her coat collar is turned up and she looks just past the camera with a calm, tired expression. Her face sits on the right third of the frame. Eye level, 50mm lens, shallow depth of field. Photorealistic cinematic, natural skin texture, 35mm film look. No text, no watermark.

5-second shot.
Use the reference image as the first frame and keep its composition, lighting and framing exactly the same. @mara-night stays under the streetlight in the rain. She slowly lifts her eyes to the camera, lets out a short breath and the corner of her mouth tightens. She does not speak.
Close-up, eye level, very slow push-in.
Rain falls steadily, the streetlight flickers once, a car's headlights sweep across the brick wall behind her.
Only the sound of rain and a car passing in the distance. No music, no subtitles.

4.4 Будуйте всі кадри від одного референсу

Завантажувати аркуш персонажа заново для кожного кадру не потрібно. Протягніть з’єднання від вузла з аркушем до кожного вузла «Відео», якому він потрібен. Усе, що є в першому вузлі, передається в наступний, тому один референс може живити скільки завгодно кадрів.

Якщо один кадр не вдався, перегенеруйте лише цей вузол. Решта полотна залишиться як була. Щоб під час роботи бачити всі зображення й кліпи проєкту, додайте на полотно вузол «Стек».

Коли кадри готові, відкрийте «Розумний монтаж». Усе, що ви згенерували на полотні, уже там, і це можна одразу викладати на таймлайн.

Перш ніж іти далі, перевірте:

• У кожному промпті кадру з персонажем є @handle
• Промпти кадрів описують дію, камеру й місце, а обличчя не описують
• Ключові кадри починаються з затвердженого першого кадру
• Капелюхи, окуляри й татуювання видно на першому кадрі

Частина 5. Кадри, які ламають послідовність

Деякі кадри даються відеомоделям набагато важче за інші. Якщо врахувати їх іще на етапі сюжету, перегенерацій буде значно менше.

Поширені помилки

• Переходити до відео, не затвердивши аркуш персонажа (2.2)
• Описувати дрібні деталі без розташування, через що вони переміщуються між кадрами (2.1)
• Два образи в одному елементі (2.4)
• Елемент без голосу, і модель у кожному кадрі обирає новий (частина 3)
• Змінювати голос елемента після того, як кадри вже зібрано (3.3)
• Забути @handle у кадрі (4.1)
• Знову описувати обличчя в кожному промпті кадру (4.2)
• Генерувати ключові великі плани одразу з тексту (4.3)
• Загальні плани й розвороти там, де обличчя найважливіше (частина 5)

Налаштуйте першого персонажа й почніть із тесту з двох кадрів, перш ніж збирати весь фільм. Більше про полотно, елементи й моделі — в Sumi Studio Academy.