Kokoro TTS: озвучьте свой текст и проверьте - приятно ли на звук

Опубликовано 12.11.20266 мин чтенияСредний
Артемий Миллер в кепке с буквами ИИ рядом с надписью «ОЗВУЧКА ТЕКСТА».
Что узнаешь
  • Где взять официальную библиотеку Kokoro и подобрать язык с голосом
  • Как сохранить все звуковые фрагменты в общий WAV
  • Что проверить на слух перед монтажом ролика
Средний
7просмотров

Чтобы озвучить текст локально в Kokoro TTS, используйте библиотеку kokoro от hexgrad: пример разработчика сохраняет звук в WAV с частотой 24 000 Гц. Перед монтажом откройте файл и сверьте речь со своим текстом: язык, произношение, темп. Русского в перечне языков нет, поэтому здесь нужен текст на поддерживаемом языке.

Выбирайте голос на своём тексте, а не по оценке в таблице VOICES: разработчик предупреждает, что восприятие звучания субъективно. Наличие языка в списке ещё не гарантирует, что озвучка подойдёт вашему ролику.

Kokoro озвучивает текст, Whisper делает субтитры

В своём ролике я использовал Kokoro-82M для озвучки сцен, а Whisper расставил тайминги для субтитров.

Начните с карточки модели hexgrad и официальной библиотеки. Автор карточки предупреждает: сайты с kokoro в корневом домене ему не принадлежат и с карточкой модели не связаны.

Что братьДля чегоГде взять и какая лицензия
Kokoro-82MМодель с открытыми весами, 82 млн параметровhexgrad на Hugging Face; веса Apache 2.0
kokoroБиблиотека разработчика для запуска моделиhexgrad/kokoro на GitHub
kokoro-ttsСторонняя программа командной строкиnazdridoy/kokoro-tts на GitHub; программа MIT

MIT у сторонней программы не меняет лицензию весов. Её команды в пример с KPipeline не переносите: у kokoro-tts свои параметры и требования. Например, программа требует Python 3.11-3.12 и не поддерживает 3.13+. Это ограничение сторонней программы, не официальной библиотеки kokoro.

Whisper решает обратную задачу - переводит речь в текст. О голосовом вводе с ним читайте в отдельной статье.

Если делаете озвучку для своих роликов, расскажите в канале, что получилось:

Сначала проверьте язык, потом выбирайте голос

У Kokoro v1.0 заявлены 8 языков и 54 голоса. Английский представлен американским и британским вариантами. Для библиотеки kokoro язык и голос выбирайте по таблице VOICES:

Языкlang_codeПример голоса
Американский английскийaaf_heart
Британский английскийbbf_emma
Японскийjjf_alpha
Китайский мандаринскийzzf_xiaobei
Испанскийeef_dora
Французскийfff_siwis
Хиндиhhf_alpha
Итальянскийiif_sara
Бразильский португальскийppf_dora

Корейского в перечне тоже нет. Язык интерфейса сайта ничего к списку не добавляет.

Для примера возьмите американский английский: код a, голос af_heart, английский исходник. lang_code должен соответствовать языку голоса. Значение en-us из сторонней программы сюда не подставляйте.

Японскому нужен дополнительный пакет misaki[ja], китайскому - misaki[zh]. Для выбранного английского примера эти дополнения не нужны.

Оценки голосов в VOICES описывают качество и количество исходных данных. Выбирать голос всё равно придётся на своём тексте: разработчик прямо пишет, что восприятие звучания субъективно. Он также предупреждает, что поддержка неанглийских языков может быть слабой из-за обработки произношения и нехватки исходных данных. Наличие языка в таблице не гарантирует, что озвучка подойдёт вашему ролику.

Ставим библиотеку hexgrad на Linux

Команды рассчитаны на Linux с apt, например Debian или Ubuntu. Откройте отдельную рабочую папку. Сначала посмотрите фактическую версию Python и создайте окружение:

bash
python3 --version
python3 -m venv .venv
source .venv/bin/activate

Внутри окружения установите зависимости:

bash
sudo apt-get update
sudo apt-get install espeak-ng
python -m pip install 'kokoro>=0.9.4' soundfile

espeak-ng нужен библиотеке для резервной обработки английских слов вне словаря и некоторых других языков. Начальное ! из примера для Colab в обычный терминал не переносите. Вывод установки оставьте видимым: при сбое пригодится сама ошибка.

Перед синтезом проверьте программу и импорты:

bash
espeak-ng --version
python -m pip show kokoro soundfile torch
python -c "from kokoro import KPipeline; import soundfile; print('imports OK')"

Продолжайте, если espeak-ng найден, версии пакетов показаны, импорты дошли до imports OK. При ошибке сначала разберите её.

Нижняя граница >=0.9.4 взята из README библиотеки. После успешной установки сохраните фактический набор зависимостей:

bash
python -m pip freeze > requirements-kokoro.txt

Так вы сохраните версии для повторного запуска.

Сохраняем весь текст в WAV

Подготовьте файл speak.py. Замените английский текст своим, сохранив язык и голос.

python
from pathlib import Path
import wave

from kokoro import KPipeline
import soundfile as sf


def merge_wavs(paths, target):
    with wave.open(str(paths[0]), 'rb') as first:
        params = first.getparams()
    with wave.open(str(target), 'wb') as output:
        output.setparams(params)
        for path in paths:
            with wave.open(str(path), 'rb') as source:
                current = source.getparams()
                if current[:3] != params[:3]:
                    raise ValueError('WAV parameters differ')
                output.writeframes(source.readframes(source.getnframes()))


text = '''Please check the voice before adding it to the video.
Listen to the final sentence and compare it with the original text.'''

if __name__ == '__main__':
    pipeline = KPipeline(lang_code='a')
    paths = []
    for index, (gs, ps, audio) in enumerate(pipeline(
        text, voice='af_heart', speed=1, split_pattern=r'\n+'
    )):
        print(index, gs)
        path = Path('part-' + str(index) + '.wav')
        sf.write(str(path), audio, 24000)
        paths.append(path)

    if not paths:
        raise RuntimeError('No audio fragments')

    target = Path('voice.wav')
    merge_wavs(paths, target)
    with wave.open(str(target), 'rb') as result:
        print(target, result.getframerate(), result.getnframes())

Запустите его из того же окружения:

bash
python speak.py

Генератор возвращает gs, ps и audio: текст части, фонемы и звук. В примере разработчика каждая часть сохраняется отдельно с частотой 24 000 Гц. В speak.py функция merge_wavs затем читает эти файлы в исходном порядке и собирает общий voice.wav.

Цикл должен пройти все части. Если остановиться на первой, в итоговый файл попадёт только начало сценария.

В конце программа выводит имя файла, частоту и число звуковых кадров. Проверьте: voice.wav появился, частота 24 000 Гц, число кадров положительное. Откройте его в проигрывателе и найдите начало и конец исходного текста.

speed=1 задаёт темп речи, а не скорость вычислений. split_pattern=r'\n+' разделяет вход по переводам строк, но не подбирает длину реплики.

В VOICES разработчик рекомендует реплики длиной 100-200 токенов. Если их меньше 10-20, звучание может ухудшаться; если больше 400, речь может ускоряться. Это рекомендация разработчика, не гарантия качества. Токены не равны знакам - подробнее в отдельной статье.

Если хотите собирать свои проекты с ИИ-агентами, посмотрите программу практикума СмыслоКода.

Практикум по вайб-кодингу
+Твой второй мозг
3 вечера - инструменты, метод, первый проект
Старт 24–26 ноября  ·  2 000 ₽
Записаться →

Самое главное - послушайте, что получилось

Самое главное на самом деле, чтобы синтез речи был более-менее приятный просто на звук. Откройте рядом исходник и слушайте, сверяясь с ним.

Проверьте файл перед монтажом:

  • Файл открывается и звучит. Если его нет или проигрыватель не открывает запись, вернитесь к выводу программы: были ли получены части, завершилась ли запись.
  • Произнесён нужный язык. Если нет, сверьте текст, lang_code и голос по таблице. Повторите тот же фрагмент с правильными настройками.
  • Нет пропусков и добавленных слов. Сопоставьте речь с исходником и напечатанными gs. Найдите проблемную часть, проверьте её текст и наличие в итоговом файле. Если дело в длине, разделите длинную реплику либо объедините слишком короткие и прослушайте повторно.
  • Имена и числа читаются так, как требуется для ролика. Проблемную реплику проверьте отдельно. Пока произношение вас не устраивает, в монтаж её не берите.
  • Темп, паузы и стыки подходят к сценам. Слушайте соседние части вместе. При необходимости меняйте speed или границы фрагментов, затем повторяйте проверку на слух.

Сравнивайте один и тот же текст, меняя только голос, скорость или длину реплики. Если одновременно заменить всё, разобраться в причине разницы будет сложнее.

«Только электричество» - про расходы на свой ролик

Из расходов на генерацию только электричество. Что по железу - видеокарта RTX 5080 Laptop с 16 ГБ видеопамяти и 64 ГБ оперативной памяти.

Это мой компьютер для работы над роликом, а не минимальные требования Kokoro. Покупка оборудования - отдельный расход.

Перед монтажом у вас должен быть весь сценарий в звуковом файле: на нужном языке, без пропусков и с произношением, которое вас устраивает.

Что чаще приходится переделывать в синтезированной озвучке: произношение, темп или стыки фраз? Расскажите в комментариях в канале.

Если после озвучки хотите собрать весь конвейер роликов, переходите к разбору в отдельной статье.

Частые вопросы

Источники

  • hexgrad: карточка Kokoro-82M - происхождение модели, открытые веса Apache 2.0, 8 языков и 54 голоса версии v1.0, предупреждение об одноимённых сайтах.
  • hexgrad: официальная библиотека kokoro - установка, зависимости, KPipeline, согласование языка и голоса, параметры темпа, звуковые фрагменты и запись с частотой 24 000 Гц.
  • hexgrad: языки и голоса VOICES - коды языков, голоса, рекомендации по длине реплик и ограничения оценок звучания.
  • nazdridoy: программа kokoro-tts - отличие сторонней программы от официальной библиотеки, лицензия MIT у программы.
Практикум по вайб-кодингу
+Твой второй мозг
3 вечера - инструменты, метод, первый проект
Старт 24–26 ноября  ·  2 000 ₽
Записаться →

Новые материалы - дайджестом, без спама

Гайды выходят регулярно. Подпишись, чтобы не пропускать: пришлю подборку в Telegram или на email. Раз в неделю или каждый день - выбираешь сам.

Была инструкция полезна?
Артемий Миллер
Автор
Артемий Миллер
Предприниматель и вайб-кодер

Артемий Миллер - предприниматель и вайб-кодер. Бывший программист, собирает продукты исключительно вместе с ИИ-агентами, без найма разработчиков.

Связанные инструкции

OpenCode и Ollama: локальная модель - проверяем результат

OpenCode подключается к Ollama командой ollama launch opencode. Выберите локальную модель с контекстом 64k или больше и проверьте её на создании файла в отдельной тестовой папке.

7 мин

Whisper AI: расшифруйте запись и проверьте субтитры

Whisper AI распознаёт запись локально и сохраняет текст и субтитры. Выберите многоязычную модель, получите TXT и SRT, затем сверьте слова и время реплик со звуком.

9 мин

DeepSeek API key: вставляешь ключ в Cline - и проверяешь

Свой ключ DeepSeek получите в официальном кабинете и вставьте в поле DeepSeek API Key в настройках Cline. Затем выберите модель и проверьте подключение на сохранённой правке файла.

9 мин

Codex sandbox: проверьте, какие права вы дали агенту

Codex sandbox ограничивает команды, но запрет внешней записи не доказывает запрет чтения. Проверьте права на искусственных файлах и повторите проверку после перезапуска.

9 мин