Самообучающийся ИИ у меня на 7-й день самоулучшения ушёл вообще от концепции, на полное дно. Поэтому изменённую версию сравниваем с рабочей на одинаковых и дополнительных заданиях. Проверяем улучшение перед рабочим запуском.
Здесь речь об изменении навыка и памяти агента. Сохранённый опыт ещё не означает дообучения модели. До замены рабочей версии сохраняем её и проверяем возврат в тестовой среде.
Задача была получить навык, который повторяет успешный результат конкурента: изучить его результат, выделить закономерности успеха, воспроизвести и запустить ежедневные самоулучшения. По итогу получить идеальный навык.
Что здесь самообучается: модель или способ работы агента?
У Hermes для сохранения опыта есть навыки, постоянная память и поиск по истории сессий. Проверять можно то, что агент изменил или взял из прошлого опыта:
- Навык: что поменялось в SKILL.md и связанных материалах. В документации Hermes навыки описаны как документы знаний, которые загружаются по необходимости.
- Память: какие записи появились в MEMORY.md с заметками агента и USER.md с профилем пользователя.
- Прошлый результат: какой способ агент нашёл в истории и подходит ли он к новому заданию.
Я сохраняю всё, что мы пробовали, чтобы анализировать, что сработало, и не повторять то, что не сработало. Использую только то, что сработало.
Возьмём задачу с роликом. Агент получает исходную концепцию, готовит ролик и предлагает изменить навык. Проверяем, что изменилось и какой ролик получился после этого.
О создании и установке навыков - в отдельной статье.
Как вы проверяете изменения навыков? Обсудим в канале:
На 7-й день ушёл от концепции - что считать ухудшением?
Ролики не набирают, очень много нейросетевого мусора, плохая прорисовка героев, плохая озвучка. Так было в эксперименте с ежедневными самоулучшениями.
Был и отдельный эпизод: на 3-й день началась сильнейшая деградация, отклонение от стратегии, после чего я завершил эксперимент.
Останавливать любого агента на 3-й или 7-й день из этого не следует. Здесь эксперимент остановлен из-за отклонения от стратегии.
Для своего ролика заранее запишите требования: соответствует ли он концепции, как прорисованы герои, устраивает ли озвучка, сколько приходится исправлять руками. Красивый ролик на другую тему не подходит. Его нельзя принять только потому, что агент подробно объяснил свою правку.
Подготовьте отдельную версию и сохраните, как было
Предлагаю такой порядок проверки. Запишите цель ролика, требования к результату и обозначьте версии: какая сейчас рабочая, какая изменённая. Изменённую дальше будем называть кандидатом. Подготовьте для неё 1 изменение и объясните, почему оно может помочь.
Условный пример: добавить в навык проверку соответствия готового ролика исходной концепции, чтобы заметить отклонение до сдачи. Дальше проверим, помогает ли такая правка.
Сохраните комплект действующей версии:
- инструкции и SKILL.md вместе с используемыми материалами;
- задействованные файлы памяти;
- несекретные настройки выполнения;
- выбранную модель и существенные параметры запуска.
Запишите, где эти файлы находятся в вашем профиле. В Hermes память именованного профиля отдельная. Для восстановления нужны те файлы, с которыми выполнялась задача. Ключи, данные доступа и чужие данные в журнал проверки не переносите.
О разделении личного и рабочего профилей - в отдельной статье.
Сохраните исходное задание, входные материалы и готовый результат рабочей версии. Это будет эталонное задание для сравнения. Подготовьте дополнительное: другая тема ролика при тех же требованиях к качеству. Запретите кандидату менять сохранённые задания, требования и рабочую копию. Иначе он сможет переделать само испытание.
До запуска запишите, какие файлы и откуда будете восстанавливать, а также после чего отклоните правку. Сохранённой копии недостаточно: нужно проверить, сможете ли вы с ней вернуться к работе.
Прогоняете ещё раз этот же ролик: что сравнить?
Дайте рабочей версии и кандидату одинаковые сохранённые материалы. Дополнительное задание тоже выполните обеими версиями. Если проверяете изменение навыка, оставьте одинаковыми модель, параметры запуска и доступные инструменты. Различия условий запишите отдельно, чтобы не приписывать их влияние новому навыку.
Прогоняете ещё раз и смотрите уже на итоговый результат. Стало лучше или стало хуже, да? В инструкции может появиться проверка концепции, а готовый ролик всё равно уйдёт от неё. Сверяйте ролик с требованиями, которые записали до запуска.
Сначала проверьте качество. Затем сравните время, деньги и ручные исправления. Расходы берите из учёта запуска. Если их не измеряли, оставьте поле пустым.
Заполните таблицу своими результатами; названия версий замените обозначениями сохранённых копий.
| Задание и неизменный вход | Версия | Ссылка на сохранённый результат | Качество по требованиям | Время | Деньги | Ручные исправления |
|---|---|---|---|---|---|---|
| Эталонное задание, сохранённые материалы | Рабочая | |||||
| Эталонное задание, сохранённые материалы | Кандидат | |||||
| Дополнительное задание, сохранённые материалы | Рабочая | |||||
| Дополнительное задание, сохранённые материалы | Кандидат |
Укажите выполненные и нарушенные требования, а также что пришлось переделывать. К каждому запуску приложите ссылку на его результат.
Допустим, кандидат сделал ролик быстрее, но потерял исходную концепцию. Выигрыш по времени этого не исправляет. Дополнительное задание покажет, помогла ли правка на другой теме.
О проверке всего пути после правки продукта - в отдельной статье.
Ответ агента «запомнил» не подтверждает запись: проверьте файл. В Hermes изменённая память сохраняется на диск сразу, а обновлённый снимок в системной инструкции появляется в следующей сессии. Поэтому восстановленную память проверяйте также в новой сессии.
Что берёте в работу, а после чего останавливаете эксперимент?
До испытания выберите, что хотите улучшить. Запишите обязательные требования и допустимые затраты. Например, ролик должен точнее соответствовать концепции, а ручная доработка - оставаться в заданных пределах. Задайте пределы заранее, чтобы не подстраивать решение под понравившийся ответ.
Предлагаю выбирать из 3 решений.
Оставить рабочую. Сравнение неполно, улучшение не подтверждено или кандидат нарушил требования. Его в работу не переносите. Если рабочая версия не менялась, восстанавливать её незачем.
Принять кандидата. На эталонном и дополнительном заданиях выполнены обязательные требования, подтверждено выбранное улучшение, нет недопустимых потерь по другим показателям. До замены рабочей версии проверьте возврат, как описано ниже.
Остановить цикл. Агент ушёл от исходной цели, изменил защищённые материалы или превысил установленный предел. Прекратите дальнейшие самоизменения. Если кандидат уже изменил рабочую среду, восстановите сохранённую версию и выполните контрольное задание.
Решение и его основание сохраните рядом с результатами.
Подготовьте возврат в тестовой среде - и проверьте результат
До запуска кандидата в работу испытайте возврат в отдельной тестовой среде: хватит ли сохранённого комплекта, чтобы восстановить рабочую версию и выполнить исходное поручение?
Остановите цикл самоизменений. Восстановите инструкции, навык с его материалами, задействованную память и несекретные настройки. Сверьте выбранную модель и параметры запуска. Проверьте подключения, необходимые для задания.
После восстановления памяти начните новую сессию. В документации о памяти Hermes для этого рекомендуют /new на границе задач. Команда сама по себе не возвращает прежние файлы.
Выполните сохранённое контрольное задание на ролик и сверьте результат с исходными требованиями. Побайтовое совпадение нового ролика со старым не требуется. Проверьте, выполняет ли восстановленная версия поручение.
Сохраните запись о возврате:
- восстановленная версия;
- перечень возвращённых компонентов;
- подтверждение, какая версия активна и что начата новая сессия;
- ссылка на результат контрольного задания;
- выполненные требования;
- решение о дальнейшем запуске.
Секреты и полные настройки подключений в эту запись не переносите. Нужны обозначения версий и подтверждения того, что восстановленная версия работает.
Если контрольное задание не прошло или восстановлены не все компоненты, возврат не проверен. Кандидата не запускайте в работу, дальнейшие изменения остановите до устранения причины.
Собираете свой проект с ИИ-агентами? Посмотрите программу практикума СмыслоКода.
Как было и как стало: пройдите проверку на своём ролике
Для условной правки «проверять соответствие ролика концепции» соберите исходное поручение, сохранённую рабочую версию, кандидата, результаты сравнения и запись тестового возврата. В карточке изменения укажите:
- Что изменилось и зачем.
- Где помогло и чем подтверждено.
- Какие вопросы остались.
- Принято или отклонено.
- Какая версия действует.
- Где сохранён результат проверки возврата.
Например, причина отказа: ролик точнее соответствует концепции, но руками пришлось переделывать больше допустимого. Тогда оставляйте рабочую версию.
Отклонённую попытку храните в истории отдельно от действующего навыка, чтобы не повторять неудачную правку. Проверяем улучшение перед рабочим запуском.
Кстати, я снял подробный ролик о связке для первого агента Hermes Agent, обязательно посмотрите.
Внутри - правила навыка, образец и показатели, проверка на разных моделях и бортовой журнал. Посмотрите, как описать способ работы агента и проверить результат.
Как вы сейчас решаете, что правку агента можно принять? Напишите в комментариях в канале.
Частые вопросы
Источники
- Nous Research: Hermes Agent - сохранение опыта через навыки, память и историю сессий.
- Nous Research: навыки Hermes - навыки как документы знаний, SKILL.md и возможность изменения навыков.
- Nous Research: память Hermes - MEMORY.md, USER.md, отдельная память профилей, сохранение на диск и снимок памяти в новой сессии.
Новые материалы - дайджестом, без спама
Гайды выходят регулярно. Подпишись, чтобы не пропускать: пришлю подборку в Telegram или на email. Раз в неделю или каждый день - выбираешь сам.

