Ролик на локальных моделях я собрал на RTX 5080 Laptop с 16 ГБ видеопамяти и 64 ГБ RAM. Qwen 3.8 Flash-Next разложила готовый сценарий по кадрам, FLUX.2 Klein 4B нарисовал сцены, Kokoro-82M озвучил их, а Whisper расставил тайминги для субтитров.
Для первого русского ролика поручите агенту собрать картинки FLUX, русскую речь и субтитры в FFmpeg. Начните с 1 сцены: картинка, реплика, подпись. Затем добавляйте остальные. Получится ролик с озвучкой и приближением картинки; персонаж от такого монтажа ходить не начнёт.
Что делает каждая модель в моём ролике?
Готовый сценарий → раскладка сцен → изображения → речь → распознанный текст с таймингами. Так распределились задачи между моделями в моём ролике.
Начните с монтажа из картинок: FFmpeg соединит их с голосом и субтитрами. Фильтр zoompan добавит приближение и сдвиг. Идущего человека или поворот головы так не получить.
Для картинок передавайте FLUX описание сцены; для речи - реплику; для Whisper - её запись. Silero TTS и FFmpeg дальше предложены для вашей русской пробы, отдельно от состава моего ролика.
Другой путь к первому ИИ-мультику - навык «Мультик» и облачная генерация; его я разобрал в отдельной статье.
Если пробуете локальные модели, приходите в канал:
Что по железу: хватит ли памяти?
У меня RTX 5080 Laptop с 16 ГБ видеопамяти и 64 ГБ RAM. Для своей машины смотрите требования выбранной модели и режима запуска, а не только название моей видеокарты.
| Что сравниваем | Значение и источник | Что это означает |
|---|---|---|
| Компьютер, на котором собран ролик | RTX 5080 Laptop, 16 ГБ видеопамяти, 64 ГБ RAM | Моя конфигурация, не обязательная покупка для любого ролика |
| FLUX.2 [klein] 4B | Около 13 ГБ видеопамяти в карточке модели | Ориентир для отдельной модели, не всей сборки |
| Whisper | Turbo - около 6 ГБ, tiny и base - около 1 ГБ в таблице OpenAI | Потребность зависит от выбранного варианта распознавания |
Не складывайте эти значения: сначала выясните, какие модели будут находиться в памяти одновременно. Указанные для FLUX и Whisper объёмы памяти - не замер всей сборки на моей машине.
В примере FLUX вызов enable_model_cpu_offload() экономит видеопамять, перенося модель на CPU. Попросите агента сохранить его и проверить RAM. Запуск на любой карте это не обещает.
Перед пробой запишите модель карты, объём видеопамяти, RAM, ОС, версии компонентов и режимы запуска. Проверьте отдельную модель на коротком фрагменте: сохранился ли результат, можно ли передать его дальше? Так вы проверите свою карту на своей задаче, вместо того чтобы ориентироваться только на чужую конфигурацию.
Как пройти цепочку: от готового сценария до таймингов субтитров?
В Claude Code или другом агенте с доступом к терминалу можно начать с такого задания. Имена файлов здесь предложены для вашей папки:
Подготовь локальную пробу моего русского сценария. Проверь ОС, VRAM и RAM. В отдельное Python-окружение поставь совместимый PyTorch, Diffusers и openai-whisper; отдельно - FFmpeg с subtitles. Получи scene.png через FLUX.2 [klein] 4B, voice.wav через Silero v5_ru на CPU, voice.srt через Whisper. Собери first.mp4 командой из статьи. Медиа в облако не отправляй. При ошибке остановись и покажи её. Оставь команды повторного запуска.
Начните с 1 сцены. Silero v5_ru здесь - для личной некоммерческой пробы.
-
Подготовьте сценарий и разложите его по сценам.
Для каждой сцены запишите, какую мысль она передаёт, что произносится и что должно быть на картинке. Сверьте раскладку с готовым сценарием: все ли мысли на месте, в том ли порядке? Пропуски исправляйте до генерации картинок.
Для работы над сценарием я выбираю самую умную модель. И проверяет его тоже умная модель. Передайте ей и сценарий, и раскладку сцен, чтобы она могла сравнить их между собой. Если изменили реплики, обновите текст для озвучки.
-
Получите и проверьте изображения.
В карточке FLUX.2 [klein] 4B есть установка Diffusers и Python-пример. Поручите агенту сохранить его в файл
.py, заменитьpromptописанием сцены, имя выхода - наscene.png. Остальные настройки примера пока оставьте.Сравните картинку с описанием сцены. Проверьте, передаёт ли она нужную мысль, сочетается ли с соседними сценами, правильно ли написан текст. В карточке FLUX указаны искажения надписей и возможное расхождение с запросом. Даже красивую картинку нужно переделать, если надпись меняет смысл.
При ошибке уточните описание этой сцены и повторите генерацию. Картинки, которые уже проверили и оставили, без причины не переделывайте.
-
Получите и прослушайте озвучку.
В моём составе был Kokoro. Его официальный пример - для английской речи. Для русской пробы возьмите Silero TTS: модель
v5_ruсохраняет WAV на CPU.Поручите агенту взять пример Standalone Use, подставить реплику в
example_text, оставить голосbayaи частоту из примера, сохранитьvoice.wav. Прослушайте реплику: все ли слова на месте, верны ли ударения и названия. Для рекламы этот вариант без проверки прав не берите: лицензия v5_ru ограничивает коммерческое использование. -
Распознайте речь и сверьте тайминги субтитров.
Whisper распознаёт речь и сохраняет её текстом. В отдельном окружении агенту понадобится пакет из README:
shpip install -U openai-whisperДля вашей русской дорожки команда такая:
shwhisper voice.wav --model turbo --language Russian --output_format srt --output_dir .Она создаёт
voice.srtрядом с записью; флаги языка и формата есть в официальном коде Whisper. FFmpeg должен быть установлен отдельно. Видеофайл эта команда пока не собирает.Сверьте текст с тем, что слышно в записи. Проверьте, совпадают ли начало и конец каждой реплики в субтитрах с голосом. Если заменили озвучку, заново проверьте тайминги: субтитры должны совпадать с новой дорожкой.
Локальное распознавание речи для голосового ввода я разобрал в отдельной статье.
-
Соберите проверенные части в ролик.
Для пробы положите
scene.png,voice.wavиvoice.srtв одну папку. Поручите агенту выполнить в ней:shffmpeg -loop 1 -i scene.png -i voice.wav -vf "scale=1280:720:force_original_aspect_ratio=increase,crop=1280:720,zoompan=z='min(zoom+0.0005,1.1)':x='iw/2-iw/zoom/2':y='ih/2-ih/zoom/2':d=1:s=1280x720:fps=25,subtitles=voice.srt" -c:v libx264 -pix_fmt yuv420p -c:a aac -shortest first.mp4В
first.mp4будет приближение картинки, голос и субтитры.-shortestзавершает видео вместе с аудио; дляsubtitlesнужны libass и кириллический шрифт. См. документацию FFmpeg. Затем поручите агенту сделать такие клипы для остальных реплик и склеить их по сценарию.
Чтобы не пропустить проверку между моделями, держите перед собой эту таблицу:
| Шаг | Что передаём → что получаем | Что проверить | Что делать при ошибке |
|---|---|---|---|
| Раскладка сценария | Готовый сценарий → описание и порядок сцен | Все мысли на месте, нет пропусков и противоречий | Исправить сцену до генерации картинки |
| Изображения | Описание и выбранные образцы → картинки | Соответствие сцене, общий визуальный облик, точность надписей | Уточнить описание сцены и проверить новую картинку |
| Озвучка | Проверенный текст → речь | Все слова слышны, названия произнесены верно, текст сохранён | Исправить текст или выбор голоса и прослушать фрагмент |
| Субтитры | Запись речи → текст с таймингами | Слова и время реплик совпадают со звуком | Исправить текст и тайминги, снова сверить с дорожкой |
Кстати, я снял видео о связке инструментов для первого агента Hermes Agent, обязательно посмотрите.
Внутри есть главы «CLI: программы для агента» с 16:08 и «Whisper: бесплатная расшифровка» с 17:16. Посмотрите их, чтобы разобраться с командным интерфейсом и ролью распознавания речи.
Когда собранный файл можно считать готовым?
Откройте итоговый файл, который собираетесь использовать. Даже с исправными исходными файлами в сборке можно перепутать картинки или обрезать реплики.
Просмотрите ролик от начала до конца:
- Сцены идут в порядке сценария.
- Реплика успевает прозвучать, пока показана её сцена.
- Все картинки на месте, реплики не обрезаны.
- Субтитры совпадают с голосом по словам и времени.
- Надписи читаются и передают нужный смысл.
Если нашли ошибку, определите, где она появилась. Сцена передаёт не ту мысль - вернитесь к раскладке. Картинка не соответствует описанию - переделайте изображение. Пропали слова - проверьте озвучку. Голос в порядке, но текст опаздывает - проверьте тайминги и расположение субтитров в сборке.
Обрезанную реплику сначала сравните с исходной дорожкой. Если там она полная, исправляйте её размещение в ролике, а не отправляйте правильный текст на повторную озвучку.
При проверке учитывайте ограничения моделей: FLUX может искажать надписи, в Kokoro язык должен соответствовать голосу, качество Whisper различается между языками. Команда может завершиться успешно и при этом выдать результат, который придётся исправлять.
После правки просмотрите изменённое место вместе с соседними сценами. Если поменяли голосовую дорожку, сверьте субтитры с новой записью. Для оценки затрат берите файл, в котором картинки, речь и субтитры уже согласованы.
Если вы собираете свои проекты с ИИ-агентами, посмотрите программу практикума СмыслоКода.
Следующий вопрос: сколько роликов машина выдаст за день?
Следующий вопрос - сколько роликов 1 машина может выдать за день. Для своей пробы запишите по каждой модели:
- Версия модели и режим запуска: ______
- Время первого запуска: ______
- Время повторного запуска: ______
- Пик видеопамяти: ______
- Пик оперативной памяти: ______
- Объём выходных файлов: ______
Рядом укажите число неудачных картинок и повторных озвучек, время ручной правки и монтажа. Удалённые варианты тоже заняли машину и ваше время; включите их в расходы на ролик.
Чтобы оценить, сколько роликов получится за день, замерьте весь путь от сценария до готового файла. Скорость генерации удачной картинки ещё ничего не говорит о времени на озвучку, распознавание, сборку и исправления.
Из расходов на генерацию только электричество. Так я описал свой локальный опыт. Если решаете, покупать ли компьютер, учитывайте его стоимость отдельно. Если планируете регулярно делать ролики, записывайте и время человека. Когда компьютер уже есть, укажите это в сравнении: покупка новой машины и работа на имеющейся - разные условия.
Локальный и облачный варианты сравнивайте с учётом числа роликов в месяц, готовности поддерживать программы на своей машине и затрат на готовый результат. Для облака берите действующие условия официального производителя. Локальная генерация не обязательно окажется дешевле.
Как считать цену решённой задачи вместе с переделками, я разобрал в отдельной статье.
Можно ли использовать такой ролик в коммерческом проекте?
Проверяйте лицензии конкретных моделей и права на материалы, которые вошли в ролик. Разрешение использовать программу в коммерческой работе не заменяет проверку содержания готового файла.
| Компонент | Назначение | Условия и ограничения | Первоисточник |
|---|---|---|---|
| FLUX.2 [klein] 4B | Изображения | Apache 2.0, заявлено коммерческое использование открытых весов. Отдельно учитываются товарные знаки и чужие права | Карточка FLUX |
| Kokoro-82M | Синтез речи | Веса под Apache, допускается применение в производственных проектах. Проверьте язык и выбранный голос | Карточка Kokoro, репозиторий |
| Whisper | Распознавание речи | Код и веса под MIT. При распространении копий или существенных частей ПО сохраняются уведомления об авторском праве и разрешении | Репозиторий, лицензия |
Отдельно сверьте условия текстовой модели, выбранного голоса, исходных изображений и музыки, если добавляете её. Лицензия одного компонента не распространяется на всё, что оказалось в кадре или звуке.
Условия FLUX.2 [klein] 4B относятся именно к этой модели, не ко всей линейке. У Whisper сохранение уведомлений по MIT связано с распространением копий или существенных частей программы. Не переносите это требование автоматически на каждый видеофайл: сначала определите, отдаёте ли вы только ролик или ещё и программу с её частями.
У Silero v5_ru из русской пробы лицензия с ограничением NonCommercial. Не переносите на него более свободные условия других моделей Silero.
Какой ролик вы хотите собрать локально и что уже попробовали на своей машине? Напишите в комментариях в канале.
Частые вопросы
Источники
- Black Forest Labs: FLUX.2 [klein] 4B - назначение модели, память, пример запуска, ограничения и лицензия.
- Hexgrad: репозиторий Kokoro - синтез речи, языки, выбор голоса и пример сохранения звука.
- Hexgrad: Kokoro-82M - условия использования весов.
- OpenAI: Whisper - установка, распознавание, требования к памяти и условия замеров скорости.
- OpenAI: лицензия Whisper - MIT и условия распространения ПО.
Новые материалы - дайджестом, без спама
Гайды выходят регулярно. Подпишись, чтобы не пропускать: пришлю подборку в Telegram или на email. Раз в неделю или каждый день - выбираешь сам.

