Что это
Локальная модель считает ответы на твоём железе. Скачиваешь модель, запускаешь её через программу вроде Ollama или LM Studio, и агент ходит к ней вместо облака Anthropic или OpenAI. Cline, OpenCode и Qwen Code так умеют. Для этого нужна модель с открытыми весами, хотя такие модели чаще берут у провайдера в облаке.
Где окупается
На узких повторяющихся задачах. Я диктую тексты через локальный Whisper: он распознаёт речь прямо на ноутбуке, и ни одно слово не уходит на чужой сервер. Так же локальную модель ставят на файлы, которые нельзя отдавать в облако.
Где проигрывает
Всё, что влезает в обычный компьютер, пока заметно глупее облачных моделей. Ставить такую модель на архитектуру или продажи - всё равно что нанять самого слабого сотрудника, который ещё и плохо понимает твой язык, зато бесплатного. Кирпичи таскать он сможет. Сильным открытым моделям нужен сервер с несколькими видеокартами, и арендовать его обычно дешевле, чем купить. А ещё слабые модели путаются в вызовах инструментов, поэтому агент на них ломается там, где с облачной моделью всё работает.