Вот у вас произошла встреча, вы получили видео. Whisper AI распознаёт запись прямо у вас на компьютере и сохраняет текст и субтитры. Перед монтажом сверьте слова, паузы и время показа субтитров со звуком.
Для русской записи выберите многоязычную модель и сделайте первый тестовый прогон. На выходе нужны TXT с расшифровкой и SRT с субтитрами.
У меня Kokoro-82M озвучил сцены, а Whisper расставил время для субтитров.
Что такое Whisper AI: модель, API или сайт?
Под названием Whisper AI можно найти модель OpenAI, облачный API и сторонний сайт. Для локального запуска берите программу и модель из открытого репозитория OpenAI.
Через облачный API OpenAI файл отправляют на /v1/audio/transcriptions. Локальная команда whisper распознаёт запись на вашем компьютере.
whisperai.com - отдельный сервис: он использует модель OpenAI и добавляет собственные возможности. Условия загрузки и оплаты на этом сайте не относятся к установке локального Whisper.
Здесь работаем с уже записанным файлом. Если нужна диктовка прямо в поле ввода приложения, голосовой ввод разобран в отдельной статье.
Вопросы о работе с ИИ можно обсудить в канале:
Что по железу: какую модель взять для русского?
Русский поддерживается. Выбирайте многоязычную модель без окончания .en: варианты с этим окончанием предназначены только для английского. В команде язык задаётся как ru.
Для первого запуска можно взять small и проверить качество на своей записи. Если памяти мало, начните с tiny или base.
| Модель | Примерная VRAM | Решение для первого запуска |
|---|---|---|
| tiny / base | около 1 ГБ | Попробуйте при небольшом запасе видеопамяти |
| small | около 2 ГБ | Модель для основной команды |
| medium | около 5 ГБ | Рассматривайте при достаточном запасе памяти |
| turbo | около 6 ГБ | Подходит для распознавания, не для перевода |
| large | около 10 ГБ | Проверьте доступную память перед выбором |
VRAM - видеопамять. В таблице приведены приблизительные значения из README OpenAI. Сравнивайте их с памятью видеокарты, а не с оперативной памятью компьютера.
Whisper работает и на CPU, процессоре компьютера. Если доступна CUDA, по умолчанию программа использует видеокарту, иначе - процессор. Время обработки зависит от оборудования и записи.
transcribe оставляет исходный язык: русская запись превращается в русский текст. translate переводит речь на английский. Для русских субтитров нужен transcribe.
Как подготовить локальный запуск и FFmpeg?
Для запуска на Ubuntu или Debian нужны уже установленные Python, pip и отдельное рабочее окружение. В README OpenAI указана ожидаемая совместимость с Python 3.8-3.11.
Подготовьте свою запись с разрешением на использование и рабочую папку. Для видео сначала подготовьте аудиодорожку. Сохраните исходную запись: по ней будете проверять слова и субтитры.
Установите системный FFmpeg. Команда из раздела Setup официального репозитория:
sudo apt update && sudo apt install ffmpegДождитесь завершения без ошибки. Установка Python-пакета Whisper системный FFmpeg не заменяет.
Затем в подготовленном окружении установите Whisper:
pip install -U openai-whisperПроверьте, что команда доступна именно в этом окружении:
whisper --helpДолжна появиться справка с параметрами запуска. Если вместо неё ошибка об отсутствующей команде, проверьте, какое окружение открыто и завершилась ли в нём установка. Переходите к распознаванию, когда команда покажет справку.
Для macOS с установленным Homebrew команда установки FFmpeg - brew install ffmpeg. Для Windows с Chocolatey - choco install ffmpeg, со Scoop - scoop install ffmpeg. Используйте тот менеджер, который у вас установлен; параметры Whisper те же.
При установке может потребоваться Rust, если для tiktoken нет готового пакета под вашу платформу. При сообщении No module named 'setuptools_rust' README предлагает:
pip install setuptools-rustЭта команда нужна при указанной ошибке, добавлять её к каждой установке на всякий случай не требуется. При другом сообщении ищите причину по его тексту.
Первый тестовый прогон: как получить TXT и SRT?
Откройте рабочую папку с аудиозаписью. В примере файл называется recording.wav: замените это имя на своё. Команду запускайте там, где находится запись, либо укажите путь к файлу.
Сделайте первый тестовый прогон:
whisper recording.wav --model small --language ru --task transcribe --output_format all --output_dir whisper-outПараметры команды описаны в исходнике OpenAI:
--model smallвыбирает многоязычную small.--language ruзадаёт русский язык записи.--task transcribeоставляет речь на исходном языке.--output_format allсохраняет доступные форматы, включая TXT и SRT.--output_dir whisper-outзадаёт папку для результата -whisper-out.
Если нужен только SRT, замените all на srt; для одного текста - на txt. При all сохраняются и другие доступные форматы.
После завершения откройте whisper-out. Найдите непустые TXT и SRT. Сравните начало TXT с аудио: тот ли файл распознавался, тот ли язык получился. В SRT проверьте, есть ли текст и время начала и конца каждой реплики.
Если распознали не ту запись, укажите нужный файл и повторите запуск до вычитки. Если язык результата не совпадает с речью, проверьте значение --language в команде.
Для времени отдельных слов есть экспериментальный параметр --word_timestamps True. Ручную сверку границ он не заменяет. Для основной команды не требуется.
Проверьте слова, паузы и границы реплик
Сохраните автоматический SRT без изменений. Сделайте рабочую копию и откройте её вместе с исходной записью в редакторе субтитров или монтажа, которым уже пользуетесь. Так останется с чем сравнить исправления или результат повторного распознавания.
Проверьте отдельно слова, паузы и время показа. Правильно написанная строка может появляться раньше речи.
Слова. Включите реплику и сравните услышанное с текстом. Отдельно вычитайте имена, названия продуктов и рабочие термины. Написание имени участника встречи или названия проекта сверьте с исходными материалами.
Неразборчивую фразу прослушайте ещё раз. Не поручайте другой нейросети угадывать содержание: правдоподобная фраза ещё не значит, что человек произнёс именно её.
Паузы и повторы. Прослушайте промежутки между репликами. Whisper может дописывать текст, которого в аудио нет, или повторять распознанную фразу. Если появилась подозрительная строка, послушайте, что звучит в записи в это время.
Повтор в субтитрах сам по себе ещё не ошибка: человек мог повториться в записи. Удаляйте строку только после сверки со звуком. То же относится к тексту на паузе - сначала послушайте участок, затем исправляйте.
Границы реплик. Сравните появление субтитра с началом речи, исчезновение - с её концом. Начало и конец правьте отдельно: сдвиг всей строки может исправить время появления и одновременно испортить окончание.
После изменения текста прослушайте реплику с субтитрами ещё раз: проверьте и исправленные слова, и время показа. Если реплика разбита на соседние субтитры, прослушайте переход целиком, чтобы увидеть, как строки сменяют друг друга.
Для найденных расхождений ведите таблицу:
| Таймкод | Автоматический вариант | Что слышно | Исправление |
|---|---|---|---|
| Начало и конец строки из исходного SRT | Буквальная строка до правки | Слова или пауза по записи | Исправленный текст и/или новые границы |
Вносите сюда расхождения из своей записи: исходный текст копируйте из автоматического SRT, услышанное записывайте после прослушивания. Если правили только время, укажите новые границы в последнем столбце. По такой записи можно вернуться к нужной реплике и проверить, почему изменился текст или время.
Если в реплике ошибок нет, оставьте её как есть. В таблицу заносите только найденные расхождения.
Сохраните рабочий SRT под отдельным именем. У вас должны остаться автоматическая версия, исправленный файл и запись, по которой можно проверить каждую правку.
Кстати, я снял полный гайд про связку для первого агента Hermes Agent, обязательно посмотрите.
На 17:16 - фрагмент про Whisper и бесплатную расшифровку. В нём показано, как программа распознавания работает вместе с агентом и как сделать первый тестовый прогон.
Whisper можно включить в работу агента. Проверку полученного файла по записи при этом оставьте отдельным шагом.
Если вы собираете свои проекты с ИИ-агентами, посмотрите программу практикума СмыслоКода.
Что делать, если Whisper повторяется или пишет на тишине?
Найдите подозрительный участок в исходной записи и сравните его с автоматическим SRT. Сначала убедитесь, что лишнюю фразу добавила программа, а человек её не произносил. Затем можно повторить распознавание с другими параметрами и сравнить результаты на этом участке.
Если модель повторяет один и тот же текст, попробуйте отключить передачу предыдущего распознанного фрагмента как подсказки следующему. К основной команде добавьте:
--condition_on_previous_text FalseЭто дополнительный параметр команды whisper, отдельно его запускать не нужно. Для новой попытки задайте другой --output_dir, чтобы сохранить прежний результат.
При этом текст соседних фрагментов обработки может стать менее согласованным. Сравните проблемный участок до и после, затем проверьте переходы рядом с ним. Исчезнувший повтор ещё не означает, что остальное распозналось лучше.
Если Whisper выдумывает фразы на тишине, можно попробовать --hallucination_silence_threshold. Этот параметр работает вместе с --word_timestamps True: при обнаружении возможного выдуманного текста программа пропускает длинные периоды тишины. В базовую команду добавлять его не нужно.
Порог подбирайте по своей записи, сравнивая результат с исходным. Параметр не гарантирует, что исчезнут все лишние строки. После повторного запуска снова послушайте паузы, где раньше появлялся текст, и проверьте соседние реплики.
Если не хватает памяти, вернитесь к таблице моделей. Выберите меньшую многоязычную модель и повторите запуск с тем же языком и задачей. Для работы на процессоре есть --device cpu.
После смены модели сравните распознанные слова и реплики на той же записи. Проверьте и места прежних ошибок, и участки, которые раньше распознались верно: смена модели сама по себе не подтверждает, что весь файл стал лучше.
Когда субтитры можно передавать в монтаж?
После сохранения исправленного SRT откройте его вместе с нужной записью. Воспроизведите её с субтитрами от начала до конца. Особое внимание уделите местам правок и переходам между репликами: проверьте, как строки появляются и сменяют друг друга подряд.
Перед передачей проверьте комплект:
- TXT относится к нужной записи и содержит её распознанный текст.
- Автоматический SRT сохранён, исправленная версия лежит отдельно.
- Слова сверены со звуком, имена и названия вычитаны.
- На проверенных паузах нет текста, которого не слышно в записи.
- Начало и конец реплик сопоставлены с речью.
- Исправленный SRT открывается с этой записью в редакторе и прошёл контрольное воспроизведение.
Для ролика с озвучкой проверяйте субтитры по дорожке, которая пойдёт в монтаж. Заменили её после сверки - снова проверьте текст и время показа.
Создание и проверка локальной озвучки на Kokoro разобраны в отдельной статье.
Whisper выполнил автоматическую часть. До контрольного воспроизведения SRT остаётся рабочей версией.
Как встроить звук и субтитры в локальную сборку ролика, разбираю в отдельной статье.
Частые вопросы
А где у вас больше ручных правок после распознавания: в именах и терминах или во времени появления субтитров? Напишите в комментариях в канале.
Источники
- OpenAI: репозиторий Whisper - лицензия, установка, FFmpeg, модели, память и задачи распознавания.
- OpenAI: языки Whisper - поддержка русского языка и код ru.
- OpenAI: параметры локального запуска - форматы вывода, каталог, выбор устройства, пословное время и параметры повторного распознавания.
- OpenAI: ограничения Whisper - возможные повторы, выдуманный текст и различия качества распознавания.
- OpenAI: облачная расшифровка - отдельный способ передачи аудиофайла через API.
- Whisper AI: сайт сервиса - самостоятельный сервис с собственными условиями, использующий модель OpenAI.
Новые материалы - дайджестом, без спама
Гайды выходят регулярно. Подпишись, чтобы не пропускать: пришлю подборку в Telegram или на email. Раз в неделю или каждый день - выбираешь сам.

