Генерация видео локально: как я собрал ролик по кадрам

Опубликовано 12.11.202610 мин чтенияСредний
Артемий Миллер в кепке с логотипом Qwen рядом с надписью «ГЕНЕРАЦИЯ ВИДЕО ЛОКАЛЬНО» и логотипами Qwen.
Что узнаешь
  • Какие модели использованы для сцен, речи и таймингов субтитров
  • Что проверить перед передачей результата следующей модели
  • Как оценивать память, затраты и права на компоненты
Средний
15просмотров

Ролик на локальных моделях я собрал на RTX 5080 Laptop с 16 ГБ видеопамяти и 64 ГБ RAM. Qwen 3.8 Flash-Next разложила готовый сценарий по кадрам, FLUX.2 Klein 4B нарисовал сцены, Kokoro-82M озвучил их, а Whisper расставил тайминги для субтитров.

Для первого русского ролика поручите агенту собрать картинки FLUX, русскую речь и субтитры в FFmpeg. Начните с 1 сцены: картинка, реплика, подпись. Затем добавляйте остальные. Получится ролик с озвучкой и приближением картинки; персонаж от такого монтажа ходить не начнёт.

Что делает каждая модель в моём ролике?

Готовый сценарий → раскладка сцен → изображения → речь → распознанный текст с таймингами. Так распределились задачи между моделями в моём ролике.

Начните с монтажа из картинок: FFmpeg соединит их с голосом и субтитрами. Фильтр zoompan добавит приближение и сдвиг. Идущего человека или поворот головы так не получить.

Для картинок передавайте FLUX описание сцены; для речи - реплику; для Whisper - её запись. Silero TTS и FFmpeg дальше предложены для вашей русской пробы, отдельно от состава моего ролика.

Другой путь к первому ИИ-мультику - навык «Мультик» и облачная генерация; его я разобрал в отдельной статье.

Если пробуете локальные модели, приходите в канал:

Что по железу: хватит ли памяти?

У меня RTX 5080 Laptop с 16 ГБ видеопамяти и 64 ГБ RAM. Для своей машины смотрите требования выбранной модели и режима запуска, а не только название моей видеокарты.

Что сравниваемЗначение и источникЧто это означает
Компьютер, на котором собран роликRTX 5080 Laptop, 16 ГБ видеопамяти, 64 ГБ RAMМоя конфигурация, не обязательная покупка для любого ролика
FLUX.2 [klein] 4BОколо 13 ГБ видеопамяти в карточке моделиОриентир для отдельной модели, не всей сборки
WhisperTurbo - около 6 ГБ, tiny и base - около 1 ГБ в таблице OpenAIПотребность зависит от выбранного варианта распознавания

Не складывайте эти значения: сначала выясните, какие модели будут находиться в памяти одновременно. Указанные для FLUX и Whisper объёмы памяти - не замер всей сборки на моей машине.

В примере FLUX вызов enable_model_cpu_offload() экономит видеопамять, перенося модель на CPU. Попросите агента сохранить его и проверить RAM. Запуск на любой карте это не обещает.

Перед пробой запишите модель карты, объём видеопамяти, RAM, ОС, версии компонентов и режимы запуска. Проверьте отдельную модель на коротком фрагменте: сохранился ли результат, можно ли передать его дальше? Так вы проверите свою карту на своей задаче, вместо того чтобы ориентироваться только на чужую конфигурацию.

Как пройти цепочку: от готового сценария до таймингов субтитров?

В Claude Code или другом агенте с доступом к терминалу можно начать с такого задания. Имена файлов здесь предложены для вашей папки:

Подготовь локальную пробу моего русского сценария. Проверь ОС, VRAM и RAM. В отдельное Python-окружение поставь совместимый PyTorch, Diffusers и openai-whisper; отдельно - FFmpeg с subtitles. Получи scene.png через FLUX.2 [klein] 4B, voice.wav через Silero v5_ru на CPU, voice.srt через Whisper. Собери first.mp4 командой из статьи. Медиа в облако не отправляй. При ошибке остановись и покажи её. Оставь команды повторного запуска.

Начните с 1 сцены. Silero v5_ru здесь - для личной некоммерческой пробы.

  1. Подготовьте сценарий и разложите его по сценам.

    Для каждой сцены запишите, какую мысль она передаёт, что произносится и что должно быть на картинке. Сверьте раскладку с готовым сценарием: все ли мысли на месте, в том ли порядке? Пропуски исправляйте до генерации картинок.

    Для работы над сценарием я выбираю самую умную модель. И проверяет его тоже умная модель. Передайте ей и сценарий, и раскладку сцен, чтобы она могла сравнить их между собой. Если изменили реплики, обновите текст для озвучки.

  2. Получите и проверьте изображения.

    В карточке FLUX.2 [klein] 4B есть установка Diffusers и Python-пример. Поручите агенту сохранить его в файл .py, заменить prompt описанием сцены, имя выхода - на scene.png. Остальные настройки примера пока оставьте.

    Сравните картинку с описанием сцены. Проверьте, передаёт ли она нужную мысль, сочетается ли с соседними сценами, правильно ли написан текст. В карточке FLUX указаны искажения надписей и возможное расхождение с запросом. Даже красивую картинку нужно переделать, если надпись меняет смысл.

    При ошибке уточните описание этой сцены и повторите генерацию. Картинки, которые уже проверили и оставили, без причины не переделывайте.

  3. Получите и прослушайте озвучку.

    В моём составе был Kokoro. Его официальный пример - для английской речи. Для русской пробы возьмите Silero TTS: модель v5_ru сохраняет WAV на CPU.

    Поручите агенту взять пример Standalone Use, подставить реплику в example_text, оставить голос baya и частоту из примера, сохранить voice.wav. Прослушайте реплику: все ли слова на месте, верны ли ударения и названия. Для рекламы этот вариант без проверки прав не берите: лицензия v5_ru ограничивает коммерческое использование.

  4. Распознайте речь и сверьте тайминги субтитров.

    Whisper распознаёт речь и сохраняет её текстом. В отдельном окружении агенту понадобится пакет из README:

    sh
    pip install -U openai-whisper

    Для вашей русской дорожки команда такая:

    sh
    whisper voice.wav --model turbo --language Russian --output_format srt --output_dir .

    Она создаёт voice.srt рядом с записью; флаги языка и формата есть в официальном коде Whisper. FFmpeg должен быть установлен отдельно. Видеофайл эта команда пока не собирает.

    Сверьте текст с тем, что слышно в записи. Проверьте, совпадают ли начало и конец каждой реплики в субтитрах с голосом. Если заменили озвучку, заново проверьте тайминги: субтитры должны совпадать с новой дорожкой.

    Локальное распознавание речи для голосового ввода я разобрал в отдельной статье.

  5. Соберите проверенные части в ролик.

    Для пробы положите scene.png, voice.wav и voice.srt в одну папку. Поручите агенту выполнить в ней:

    sh
    ffmpeg -loop 1 -i scene.png -i voice.wav -vf "scale=1280:720:force_original_aspect_ratio=increase,crop=1280:720,zoompan=z='min(zoom+0.0005,1.1)':x='iw/2-iw/zoom/2':y='ih/2-ih/zoom/2':d=1:s=1280x720:fps=25,subtitles=voice.srt" -c:v libx264 -pix_fmt yuv420p -c:a aac -shortest first.mp4

    В first.mp4 будет приближение картинки, голос и субтитры. -shortest завершает видео вместе с аудио; для subtitles нужны libass и кириллический шрифт. См. документацию FFmpeg. Затем поручите агенту сделать такие клипы для остальных реплик и склеить их по сценарию.

Чтобы не пропустить проверку между моделями, держите перед собой эту таблицу:

ШагЧто передаём → что получаемЧто проверитьЧто делать при ошибке
Раскладка сценарияГотовый сценарий → описание и порядок сценВсе мысли на месте, нет пропусков и противоречийИсправить сцену до генерации картинки
ИзображенияОписание и выбранные образцы → картинкиСоответствие сцене, общий визуальный облик, точность надписейУточнить описание сцены и проверить новую картинку
ОзвучкаПроверенный текст → речьВсе слова слышны, названия произнесены верно, текст сохранёнИсправить текст или выбор голоса и прослушать фрагмент
СубтитрыЗапись речи → текст с таймингамиСлова и время реплик совпадают со звукомИсправить текст и тайминги, снова сверить с дорожкой

Кстати, я снял видео о связке инструментов для первого агента Hermes Agent, обязательно посмотрите.

Видео загрузится при скролле
Полный гайд - Связка для первого агента Hermes Agent

Внутри есть главы «CLI: программы для агента» с 16:08 и «Whisper: бесплатная расшифровка» с 17:16. Посмотрите их, чтобы разобраться с командным интерфейсом и ролью распознавания речи.

Когда собранный файл можно считать готовым?

Откройте итоговый файл, который собираетесь использовать. Даже с исправными исходными файлами в сборке можно перепутать картинки или обрезать реплики.

Просмотрите ролик от начала до конца:

  • Сцены идут в порядке сценария.
  • Реплика успевает прозвучать, пока показана её сцена.
  • Все картинки на месте, реплики не обрезаны.
  • Субтитры совпадают с голосом по словам и времени.
  • Надписи читаются и передают нужный смысл.

Если нашли ошибку, определите, где она появилась. Сцена передаёт не ту мысль - вернитесь к раскладке. Картинка не соответствует описанию - переделайте изображение. Пропали слова - проверьте озвучку. Голос в порядке, но текст опаздывает - проверьте тайминги и расположение субтитров в сборке.

Обрезанную реплику сначала сравните с исходной дорожкой. Если там она полная, исправляйте её размещение в ролике, а не отправляйте правильный текст на повторную озвучку.

При проверке учитывайте ограничения моделей: FLUX может искажать надписи, в Kokoro язык должен соответствовать голосу, качество Whisper различается между языками. Команда может завершиться успешно и при этом выдать результат, который придётся исправлять.

После правки просмотрите изменённое место вместе с соседними сценами. Если поменяли голосовую дорожку, сверьте субтитры с новой записью. Для оценки затрат берите файл, в котором картинки, речь и субтитры уже согласованы.

Если вы собираете свои проекты с ИИ-агентами, посмотрите программу практикума СмыслоКода.

Практикум по вайб-кодингу
+Твой второй мозг
3 вечера - инструменты, метод, первый проект
Старт 24–26 ноября  ·  2 000 ₽
Записаться →

Следующий вопрос: сколько роликов машина выдаст за день?

Следующий вопрос - сколько роликов 1 машина может выдать за день. Для своей пробы запишите по каждой модели:

  • Версия модели и режим запуска: ______
  • Время первого запуска: ______
  • Время повторного запуска: ______
  • Пик видеопамяти: ______
  • Пик оперативной памяти: ______
  • Объём выходных файлов: ______

Рядом укажите число неудачных картинок и повторных озвучек, время ручной правки и монтажа. Удалённые варианты тоже заняли машину и ваше время; включите их в расходы на ролик.

Чтобы оценить, сколько роликов получится за день, замерьте весь путь от сценария до готового файла. Скорость генерации удачной картинки ещё ничего не говорит о времени на озвучку, распознавание, сборку и исправления.

Из расходов на генерацию только электричество. Так я описал свой локальный опыт. Если решаете, покупать ли компьютер, учитывайте его стоимость отдельно. Если планируете регулярно делать ролики, записывайте и время человека. Когда компьютер уже есть, укажите это в сравнении: покупка новой машины и работа на имеющейся - разные условия.

Локальный и облачный варианты сравнивайте с учётом числа роликов в месяц, готовности поддерживать программы на своей машине и затрат на готовый результат. Для облака берите действующие условия официального производителя. Локальная генерация не обязательно окажется дешевле.

Как считать цену решённой задачи вместе с переделками, я разобрал в отдельной статье.

Можно ли использовать такой ролик в коммерческом проекте?

Проверяйте лицензии конкретных моделей и права на материалы, которые вошли в ролик. Разрешение использовать программу в коммерческой работе не заменяет проверку содержания готового файла.

КомпонентНазначениеУсловия и ограниченияПервоисточник
FLUX.2 [klein] 4BИзображенияApache 2.0, заявлено коммерческое использование открытых весов. Отдельно учитываются товарные знаки и чужие праваКарточка FLUX
Kokoro-82MСинтез речиВеса под Apache, допускается применение в производственных проектах. Проверьте язык и выбранный голосКарточка Kokoro, репозиторий
WhisperРаспознавание речиКод и веса под MIT. При распространении копий или существенных частей ПО сохраняются уведомления об авторском праве и разрешенииРепозиторий, лицензия

Отдельно сверьте условия текстовой модели, выбранного голоса, исходных изображений и музыки, если добавляете её. Лицензия одного компонента не распространяется на всё, что оказалось в кадре или звуке.

Условия FLUX.2 [klein] 4B относятся именно к этой модели, не ко всей линейке. У Whisper сохранение уведомлений по MIT связано с распространением копий или существенных частей программы. Не переносите это требование автоматически на каждый видеофайл: сначала определите, отдаёте ли вы только ролик или ещё и программу с её частями.

У Silero v5_ru из русской пробы лицензия с ограничением NonCommercial. Не переносите на него более свободные условия других моделей Silero.

Какой ролик вы хотите собрать локально и что уже попробовали на своей машине? Напишите в комментариях в канале.

Частые вопросы

Источники

Практикум по вайб-кодингу
+Твой второй мозг
3 вечера - инструменты, метод, первый проект
Старт 24–26 ноября  ·  2 000 ₽
Записаться →

Новые материалы - дайджестом, без спама

Гайды выходят регулярно. Подпишись, чтобы не пропускать: пришлю подборку в Telegram или на email. Раз в неделю или каждый день - выбираешь сам.

Была инструкция полезна?
Артемий Миллер
Автор
Артемий Миллер
Предприниматель и вайб-кодер

Артемий Миллер - предприниматель и вайб-кодер. Бывший программист, собирает продукты исключительно вместе с ИИ-агентами, без найма разработчиков.

Связанные инструкции

OpenCode и Ollama: локальная модель - проверяем результат

OpenCode подключается к Ollama командой ollama launch opencode. Выберите локальную модель с контекстом 64k или больше и проверьте её на создании файла в отдельной тестовой папке.

7 мин

Whisper AI: расшифруйте запись и проверьте субтитры

Whisper AI распознаёт запись локально и сохраняет текст и субтитры. Выберите многоязычную модель, получите TXT и SRT, затем сверьте слова и время реплик со звуком.

9 мин

Kokoro TTS: озвучьте свой текст и проверьте - приятно ли на звук

Для локальной озвучки в Kokoro TTS используйте официальную библиотеку kokoro. Выберите поддерживаемый язык, сохраните все части в WAV и сверьте речь с текстом. Русского в официальном перечне нет.

6 мин

FLUX.2 Klein: сцены для ролика и приёмка результата

FLUX.2 Klein 4B нарисовал мне сцены локально на ноутбуке с 16 ГБ видеопамяти. Для своего ролика получите пробное изображение и проверьте его по заданным признакам, прежде чем собирать серию.

5 мин