Токен - это кусок текста, которым нейросеть читает и пишет: символ, часть слова, целое слово или знак препинания. В английском 1 токен - примерно 3/4 слова, а по-русски токенов на тот же текст выходит больше.
Вы платите только за токены самому ИИ, потому что программы все бесплатные. Агент жрёт их на каждом шаге, поэтому отдавайте слабые задачи слабым моделям, а самые умные умным: так можно экономить до 80% токенов.
Я как-то один запрос написал, а уже 4% от моей учётной записи было использовано в рамках 5 часов. Один запрос. Подписка считает расход в токенах: сколько модель прочитала, сколько написала и сколько думала перед ответом.
Сейчас объясню, что такое токен, где модель и агент его жрут и как не выжечь лимиты.
Что такое токен простыми словами
Модель режет текст на куски из своего словаря и дальше работает только с ними. Способ нарезки называется BPE: ходовые сочетания букв склеиваются в один кусок. Короткое привычное слово может быть одним токеном. Редкое или длинное собирается из нескольких кусков. Пробел, запятая, цифра - тоже токены или их части.
Для английского у OpenAI есть прикидка: 1 токен - это примерно 4 символа или 3/4 слова, 100 токенов - около 75 слов. Это оценка.
Я это объясняю так: один токен - это 0,75 слова. Но в России слова подлиннее.
Модель читает вашу просьбу токенами, думает токенами и отвечает токенами. Поэтому и счёт идёт в токенах.
Разборы токенов и лимитов я выкладываю в канале:
Почему русский текст тратит больше токенов и как посчитать свой
Число токенов зависит от трёх вещей: какая модель, как она режет текст и на каком языке вы пишете. Пропорция 3/4 слова верна для английского. Для русского у разных моделей она разная, и цифры, которые гуляют по интернету, расходятся между собой в разы.
Поэтому проще проверить на своём тексте:
- Вставьте свой обычный абзац, например типовой запрос агенту, в счётчик токенов OpenAI (ссылка на него есть в справке OpenAI про токены). Если работаете с Claude, у Claude API есть подсчёт входных токенов до отправки: он считает системную инструкцию, инструменты, картинки и PDF.
- Переведите тот же абзац на английский и посчитайте ещё раз. Разница и есть ваша надбавка за русский язык на этой модели.
- Умножьте свою цифру на число таких запросов в день. Получите свой расход, без чужих средних.
Главный сюрприз будет в служебной части. В документации Claude есть пример: сообщение «Hello, Claude» с короткой системной инструкцией - это 14 входных токенов. То же сообщение с описанием всего 1 инструмента - уже 403.
Ваш вопрос в запросе может весить меньше всего остального, что к нему приклеено.
За что вы платите: входные, выходные, кэш и токены рассуждений
Токены в счёте бывают 4 видов:
- Входные - всё, что модель прочитала: ваш вопрос, инструкция, история переписки, файлы.
- Выходные - всё, что модель написала в ответ.
- Кэшированные входные - повтор того же начала запроса. Цена у них может отличаться от обычных входных.
- Рассуждения - модель думает перед ответом. Этих токенов вы в ответе не видите, но они идут в выходной расход.
Последний пункт самый коварный. Модель думает за ваш счёт, и разные модели думают по-разному. Китайские модели, чтобы решить задачу, в 2 раза больше жрут токенов и в 2 раза дольше думают. Даже у одной модели всё решает степень думания: на максимуме она сжирает больше токенов, но лучше думает.
Значит, цена за 1 токен - это ещё не цена задачи. Дешёвая за токен модель, которая думает вдвое дольше, может выйти в ту же сумму, что и дорогая. Сравнивайте модели на своей задаче: сколько токенов ушло от запроса до готового результата.
Таблицу «какую модель под какую задачу» я отдаю бесплатно: выложил её в канале 24.09 вместе с полной схемой по Hermes Agent с нуля, там же 3 видео и PDF со всеми командами установки. Забрать можно здесь.
Цены за 1 млн токенов у производителей меняются, поэтому бюджет считайте по прайсу на день расчёта.
Почему каждое следующее сообщение в чате дороже
Контекст сессии растёт с каждым сообщением. И чем он больше, тем выходит дороже, потому что всё, что у вас в переписке, запихивается ему в голову каждый раз, когда вы пишете дальше в этот чат.
Сама модель прошлый ответ не помнит. На каждый новый вопрос ей заново отдают всю переписку целиком, и вся она снова считается входными токенами.
Контекстное окно - предел того, сколько модель может держать в голове за раз. Лимит окна и лимит подписки меряются одним и тем же: этот объём всегда выражается в токенах. Длинная переписка упирается в оба.
Если разговор длинный и закрывать его жалко, сожмите его. В Claude Code для этого есть команда /compact: она сжимает всю историю в резюме, смысл остаётся, а токены улетают сильно меньше.
Куда уходят токены агента
Агент - тот же чат, только он сам делает десятки шагов подряд. И на каждом шаге модель заново читает всё, что у неё в голове. Вы за это будете платить своими токенами.
Что агент перечитывает на каждом шаге:
| Что | Откуда берётся | Что с этим делать |
|---|---|---|
| Инструкция агента | ваш системный файл, навыки | держать коротким |
| История шагов | всё, что агент уже сделал в этой сессии | закрывать окно после шага |
| Описания инструментов | подключённые MCP-серверы | отключать лишние |
| Файлы и выдержки | то, что агент открыл и прочитал | давать только нужное |
С инструментами больше всего сюрпризов. Любой MCP-сервер расходует токены. Описание его инструментов всегда попадает в контекст каждой модели. Помните пример выше: 1 описание инструмента превратило 14 токенов в 403. А серверов у агента бывает подключено несколько.
Если агент запустит 20 помощников, он в 20 раз больше токенов сожрёт.
Та же история с памятью агента. Если запихнуть в свой второй мозг (базу знаний агента) всё подряд, получите кучу хлама и огромный расход токенов: агент будет таскать этот хлам в голову на каждом шаге.
Другие утечки токенов в агенте я разобрал в отдельной статье.
Как не выжигать токены: что делать с завтрашнего дня
- Подберите модель под сложность задачи. Думать должна, естественно, сильная модель, исполнять может попроще. Так можно экономить до 80% токенов. Подбирать удобно так: сначала все самое дорогое, а потом снижаем. Убедились, что задача решается на сильной модели, и пробуете её на модели попроще, пока качество держится.
- Убавьте степень думания на простых задачах. Когда у нас простые задачи, ставим меньше для того, чтобы токены не выжирались. Переименовать файлы или разобрать таблицу можно без глубоких рассуждений.
- Отключите лишние подключения. Не используете MCP - отключите его. Описания его инструментов перестанут попадать в каждый запрос.
- Одна задача - одно окно. Закончили шаг - закройте окно. Будете экономить деньги. Новое окно начинается с чистой истории, нужное из прошлого передайте файлом плана.
- Закладывайте агенту жёсткие лимиты. Особенно когда оставляете его работать без присмотра: если агент уйдёт по кругу, лимит остановит его раньше, чем он выжжет всё.
Как раздавать задачи по моделям:
| Задача | Какая модель |
|---|---|
| Думать, планировать, искать решение | самая сильная |
| Исполнять по готовому плану, переписать, разобрать | попроще |
| Простая проверка по чек-листу | самая дешёвая, тупенькая |
Подробнее про выбор модели под задачу я писал в отдельной статье.
Кстати, я снял полную схему по Hermes Agent с нуля, там есть про подписку и API и таблица, какую модель под какую задачу, обязательно посмотрите.
Внутри разбор «Подписка или API» с 32:00 и «Модели, навыки, расписание» с 29:08. Смотрите, если хотите увидеть, как выбрать модель под задачу.
Если вы собираете свои проекты с ИИ-агентами, посмотрите программу практикума СмыслоКода.
Подписка или оплата за токены: что выгоднее
На подписке токены тоже считают, только лимитом. Каждые 5 часов скидывается лимит, и раз в неделю ещё скидывается лимит. Один тяжёлый запрос забирает заметную долю лимита, как в моём примере с 4%.
Сейчас подписка выгоднее прямой оплаты за токены. Подписка за 200 долларов в ChatGPT соразмерна токенам API на 14 000 долларов. Производители специально субсидируют подписки, подсаживают нас.
Но я бы на вашем месте всё-таки считал себестоимость по цене API токенов. Если ваш продукт или агент окупается только на подписочной цене, это риск. Посчитайте, сколько токенов уходит на 1 задачу, умножьте на цену API у производителя - и будете знать настоящую себестоимость.
Подписку и API берите только у самих производителей, по их тарифам.
А вы уже считали, сколько токенов уходит у вашего агента на 1 задачу? Напишите в комментариях в канале, сравним.
Частые вопросы
Источники
- OpenAI: What are tokens and how to count them - что такое токен, зависимость от модели и языка, 1 токен около 4 символов и 3/4 слова в английском, входные, выходные, кэшированные токены и токены рассуждений
- Anthropic: Token counting в Claude API - подсчёт входных токенов до отправки, пример 14 и 403 токенов с описанием инструмента
- YouTube: ролик Артемия Миллера про модели и экономию токенов - до 80% экономии при раздаче задач по моделям, подписка за 200 долларов против токенов API на 14 000 долларов, степень думания
- YouTube: ролик Артемия Миллера про MCP - описания инструментов MCP попадают в контекст, программы бесплатные, платите за токены
- YouTube: ролик Артемия Миллера про лимиты Claude - 4% лимита за 1 запрос, сброс каждые 5 часов и раз в неделю
- YouTube: ролик Артемия Миллера про контекст сессии - рост контекста с каждым сообщением, сжатие истории в резюме
- YouTube: ролик Артемия Миллера про китайские модели - расход токенов на рассуждения у разных моделей
Новые материалы - дайджестом, без спама
Гайды выходят регулярно. Подпишись, чтобы не пропускать: пришлю подборку в Telegram или на email. Раз в неделю или каждый день - выбираешь сам.
