Whisper AI: расшифруйте запись и проверьте субтитры

Опубликовано 13.11.20269 мин чтенияСредний
Артемий Миллер в кепке с буквами ИИ рядом с надписью «ЗАПИСЬ В СУБТИТРЫ».
Что узнаешь
  • Как выбрать многоязычную модель под доступную память
  • Как получить TXT и SRT из своей записи локально
  • Как сверить слова, паузы и границы субтитров со звуком
Средний
9просмотров

Вот у вас произошла встреча, вы получили видео. Whisper AI распознаёт запись прямо у вас на компьютере и сохраняет текст и субтитры. Перед монтажом сверьте слова, паузы и время показа субтитров со звуком.

Для русской записи выберите многоязычную модель и сделайте первый тестовый прогон. На выходе нужны TXT с расшифровкой и SRT с субтитрами.

У меня Kokoro-82M озвучил сцены, а Whisper расставил время для субтитров.

Что такое Whisper AI: модель, API или сайт?

Под названием Whisper AI можно найти модель OpenAI, облачный API и сторонний сайт. Для локального запуска берите программу и модель из открытого репозитория OpenAI.

Через облачный API OpenAI файл отправляют на /v1/audio/transcriptions. Локальная команда whisper распознаёт запись на вашем компьютере.

whisperai.com - отдельный сервис: он использует модель OpenAI и добавляет собственные возможности. Условия загрузки и оплаты на этом сайте не относятся к установке локального Whisper.

Здесь работаем с уже записанным файлом. Если нужна диктовка прямо в поле ввода приложения, голосовой ввод разобран в отдельной статье.

Вопросы о работе с ИИ можно обсудить в канале:

Что по железу: какую модель взять для русского?

Русский поддерживается. Выбирайте многоязычную модель без окончания .en: варианты с этим окончанием предназначены только для английского. В команде язык задаётся как ru.

Для первого запуска можно взять small и проверить качество на своей записи. Если памяти мало, начните с tiny или base.

МодельПримерная VRAMРешение для первого запуска
tiny / baseоколо 1 ГБПопробуйте при небольшом запасе видеопамяти
smallоколо 2 ГБМодель для основной команды
mediumоколо 5 ГБРассматривайте при достаточном запасе памяти
turboоколо 6 ГБПодходит для распознавания, не для перевода
largeоколо 10 ГБПроверьте доступную память перед выбором

VRAM - видеопамять. В таблице приведены приблизительные значения из README OpenAI. Сравнивайте их с памятью видеокарты, а не с оперативной памятью компьютера.

Whisper работает и на CPU, процессоре компьютера. Если доступна CUDA, по умолчанию программа использует видеокарту, иначе - процессор. Время обработки зависит от оборудования и записи.

transcribe оставляет исходный язык: русская запись превращается в русский текст. translate переводит речь на английский. Для русских субтитров нужен transcribe.

Как подготовить локальный запуск и FFmpeg?

Для запуска на Ubuntu или Debian нужны уже установленные Python, pip и отдельное рабочее окружение. В README OpenAI указана ожидаемая совместимость с Python 3.8-3.11.

Подготовьте свою запись с разрешением на использование и рабочую папку. Для видео сначала подготовьте аудиодорожку. Сохраните исходную запись: по ней будете проверять слова и субтитры.

Установите системный FFmpeg. Команда из раздела Setup официального репозитория:

bash
sudo apt update && sudo apt install ffmpeg

Дождитесь завершения без ошибки. Установка Python-пакета Whisper системный FFmpeg не заменяет.

Затем в подготовленном окружении установите Whisper:

bash
pip install -U openai-whisper

Проверьте, что команда доступна именно в этом окружении:

bash
whisper --help

Должна появиться справка с параметрами запуска. Если вместо неё ошибка об отсутствующей команде, проверьте, какое окружение открыто и завершилась ли в нём установка. Переходите к распознаванию, когда команда покажет справку.

Для macOS с установленным Homebrew команда установки FFmpeg - brew install ffmpeg. Для Windows с Chocolatey - choco install ffmpeg, со Scoop - scoop install ffmpeg. Используйте тот менеджер, который у вас установлен; параметры Whisper те же.

При установке может потребоваться Rust, если для tiktoken нет готового пакета под вашу платформу. При сообщении No module named 'setuptools_rust' README предлагает:

bash
pip install setuptools-rust

Эта команда нужна при указанной ошибке, добавлять её к каждой установке на всякий случай не требуется. При другом сообщении ищите причину по его тексту.

Первый тестовый прогон: как получить TXT и SRT?

Откройте рабочую папку с аудиозаписью. В примере файл называется recording.wav: замените это имя на своё. Команду запускайте там, где находится запись, либо укажите путь к файлу.

Сделайте первый тестовый прогон:

bash
whisper recording.wav --model small --language ru --task transcribe --output_format all --output_dir whisper-out

Параметры команды описаны в исходнике OpenAI:

  • --model small выбирает многоязычную small.
  • --language ru задаёт русский язык записи.
  • --task transcribe оставляет речь на исходном языке.
  • --output_format all сохраняет доступные форматы, включая TXT и SRT.
  • --output_dir whisper-out задаёт папку для результата - whisper-out.

Если нужен только SRT, замените all на srt; для одного текста - на txt. При all сохраняются и другие доступные форматы.

После завершения откройте whisper-out. Найдите непустые TXT и SRT. Сравните начало TXT с аудио: тот ли файл распознавался, тот ли язык получился. В SRT проверьте, есть ли текст и время начала и конца каждой реплики.

Если распознали не ту запись, укажите нужный файл и повторите запуск до вычитки. Если язык результата не совпадает с речью, проверьте значение --language в команде.

Для времени отдельных слов есть экспериментальный параметр --word_timestamps True. Ручную сверку границ он не заменяет. Для основной команды не требуется.

Проверьте слова, паузы и границы реплик

Сохраните автоматический SRT без изменений. Сделайте рабочую копию и откройте её вместе с исходной записью в редакторе субтитров или монтажа, которым уже пользуетесь. Так останется с чем сравнить исправления или результат повторного распознавания.

Проверьте отдельно слова, паузы и время показа. Правильно написанная строка может появляться раньше речи.

Слова. Включите реплику и сравните услышанное с текстом. Отдельно вычитайте имена, названия продуктов и рабочие термины. Написание имени участника встречи или названия проекта сверьте с исходными материалами.

Неразборчивую фразу прослушайте ещё раз. Не поручайте другой нейросети угадывать содержание: правдоподобная фраза ещё не значит, что человек произнёс именно её.

Паузы и повторы. Прослушайте промежутки между репликами. Whisper может дописывать текст, которого в аудио нет, или повторять распознанную фразу. Если появилась подозрительная строка, послушайте, что звучит в записи в это время.

Повтор в субтитрах сам по себе ещё не ошибка: человек мог повториться в записи. Удаляйте строку только после сверки со звуком. То же относится к тексту на паузе - сначала послушайте участок, затем исправляйте.

Границы реплик. Сравните появление субтитра с началом речи, исчезновение - с её концом. Начало и конец правьте отдельно: сдвиг всей строки может исправить время появления и одновременно испортить окончание.

После изменения текста прослушайте реплику с субтитрами ещё раз: проверьте и исправленные слова, и время показа. Если реплика разбита на соседние субтитры, прослушайте переход целиком, чтобы увидеть, как строки сменяют друг друга.

Для найденных расхождений ведите таблицу:

ТаймкодАвтоматический вариантЧто слышноИсправление
Начало и конец строки из исходного SRTБуквальная строка до правкиСлова или пауза по записиИсправленный текст и/или новые границы

Вносите сюда расхождения из своей записи: исходный текст копируйте из автоматического SRT, услышанное записывайте после прослушивания. Если правили только время, укажите новые границы в последнем столбце. По такой записи можно вернуться к нужной реплике и проверить, почему изменился текст или время.

Если в реплике ошибок нет, оставьте её как есть. В таблицу заносите только найденные расхождения.

Сохраните рабочий SRT под отдельным именем. У вас должны остаться автоматическая версия, исправленный файл и запись, по которой можно проверить каждую правку.

Кстати, я снял полный гайд про связку для первого агента Hermes Agent, обязательно посмотрите.

Видео загрузится при скролле
Полный гайд - Связка для первого агента Hermes Agent

На 17:16 - фрагмент про Whisper и бесплатную расшифровку. В нём показано, как программа распознавания работает вместе с агентом и как сделать первый тестовый прогон.

Whisper можно включить в работу агента. Проверку полученного файла по записи при этом оставьте отдельным шагом.

Если вы собираете свои проекты с ИИ-агентами, посмотрите программу практикума СмыслоКода.

Практикум по вайб-кодингу
+Твой второй мозг
3 вечера - инструменты, метод, первый проект
Старт 24–26 ноября  ·  2 000 ₽
Записаться →

Что делать, если Whisper повторяется или пишет на тишине?

Найдите подозрительный участок в исходной записи и сравните его с автоматическим SRT. Сначала убедитесь, что лишнюю фразу добавила программа, а человек её не произносил. Затем можно повторить распознавание с другими параметрами и сравнить результаты на этом участке.

Если модель повторяет один и тот же текст, попробуйте отключить передачу предыдущего распознанного фрагмента как подсказки следующему. К основной команде добавьте:

bash
--condition_on_previous_text False

Это дополнительный параметр команды whisper, отдельно его запускать не нужно. Для новой попытки задайте другой --output_dir, чтобы сохранить прежний результат.

При этом текст соседних фрагментов обработки может стать менее согласованным. Сравните проблемный участок до и после, затем проверьте переходы рядом с ним. Исчезнувший повтор ещё не означает, что остальное распозналось лучше.

Если Whisper выдумывает фразы на тишине, можно попробовать --hallucination_silence_threshold. Этот параметр работает вместе с --word_timestamps True: при обнаружении возможного выдуманного текста программа пропускает длинные периоды тишины. В базовую команду добавлять его не нужно.

Порог подбирайте по своей записи, сравнивая результат с исходным. Параметр не гарантирует, что исчезнут все лишние строки. После повторного запуска снова послушайте паузы, где раньше появлялся текст, и проверьте соседние реплики.

Если не хватает памяти, вернитесь к таблице моделей. Выберите меньшую многоязычную модель и повторите запуск с тем же языком и задачей. Для работы на процессоре есть --device cpu.

После смены модели сравните распознанные слова и реплики на той же записи. Проверьте и места прежних ошибок, и участки, которые раньше распознались верно: смена модели сама по себе не подтверждает, что весь файл стал лучше.

Когда субтитры можно передавать в монтаж?

После сохранения исправленного SRT откройте его вместе с нужной записью. Воспроизведите её с субтитрами от начала до конца. Особое внимание уделите местам правок и переходам между репликами: проверьте, как строки появляются и сменяют друг друга подряд.

Перед передачей проверьте комплект:

  • TXT относится к нужной записи и содержит её распознанный текст.
  • Автоматический SRT сохранён, исправленная версия лежит отдельно.
  • Слова сверены со звуком, имена и названия вычитаны.
  • На проверенных паузах нет текста, которого не слышно в записи.
  • Начало и конец реплик сопоставлены с речью.
  • Исправленный SRT открывается с этой записью в редакторе и прошёл контрольное воспроизведение.

Для ролика с озвучкой проверяйте субтитры по дорожке, которая пойдёт в монтаж. Заменили её после сверки - снова проверьте текст и время показа.

Создание и проверка локальной озвучки на Kokoro разобраны в отдельной статье.

Whisper выполнил автоматическую часть. До контрольного воспроизведения SRT остаётся рабочей версией.

Как встроить звук и субтитры в локальную сборку ролика, разбираю в отдельной статье.

Частые вопросы

А где у вас больше ручных правок после распознавания: в именах и терминах или во времени появления субтитров? Напишите в комментариях в канале.

Источники

Практикум по вайб-кодингу
+Твой второй мозг
3 вечера - инструменты, метод, первый проект
Старт 24–26 ноября  ·  2 000 ₽
Записаться →

Новые материалы - дайджестом, без спама

Гайды выходят регулярно. Подпишись, чтобы не пропускать: пришлю подборку в Telegram или на email. Раз в неделю или каждый день - выбираешь сам.

Была инструкция полезна?
Артемий Миллер
Автор
Артемий Миллер
Предприниматель и вайб-кодер

Артемий Миллер - предприниматель и вайб-кодер. Бывший программист, собирает продукты исключительно вместе с ИИ-агентами, без найма разработчиков.

Связанные инструкции

OpenCode и Ollama: локальная модель - проверяем результат

OpenCode подключается к Ollama командой ollama launch opencode. Выберите локальную модель с контекстом 64k или больше и проверьте её на создании файла в отдельной тестовой папке.

7 мин

Kokoro TTS: озвучьте свой текст и проверьте - приятно ли на звук

Для локальной озвучки в Kokoro TTS используйте официальную библиотеку kokoro. Выберите поддерживаемый язык, сохраните все части в WAV и сверьте речь с текстом. Русского в официальном перечне нет.

6 мин

DeepSeek API key: вставляешь ключ в Cline - и проверяешь

Свой ключ DeepSeek получите в официальном кабинете и вставьте в поле DeepSeek API Key в настройках Cline. Затем выберите модель и проверьте подключение на сохранённой правке файла.

9 мин

Codex sandbox: проверьте, какие права вы дали агенту

Codex sandbox ограничивает команды, но запрет внешней записи не доказывает запрет чтения. Проверьте права на искусственных файлах и повторите проверку после перезапуска.

9 мин