ИИ для тестирования: после правки проверяем весь путь

Опубликовано 16.11.20268 мин чтенияСредний
Артемий Миллер в кепке с буквами ИИ рядом с надписью «ИИ ПРОВЕРКА ПРОДУКТА».
Что узнаешь
  • Как сохранить сценарии и исполняемые проверки своего продукта
  • Повторный запуск набора после правки и сравнение отчётов
  • Как отличать ошибку продукта от ошибки теста и окружения
Средний
8просмотров

После небольшой правки могут сломаться другие функции продукта. После объединения проверяем весь путь, особенно стыки: экран, логику.

Используйте ИИ для тестирования так: поручите агенту сохранить проверки важных функций и повторять тот же набор после правки. Принимайте работу по результатам проверок. Одного «проблема решена» от агента недостаточно.

Что поручить ИИ, а что запускать в Playwright Test

По требованиям агент готовит сценарии, данные и код проверок, затем запускает тесты и разбирает ошибки:

КтоЧто делаетГде хранить наборКак повторитьРезультат
ЧатПомогает описать сценарии и написать кодСохранить код в проектеВыполнить предложенный кодНужен отчёт запуска
Агент с разрешёнными инструментамиЧитает проект, создаёт файлы, запускает командыВ файлах тестовСохранить данные и подготовку средыРезультаты команд и отчёт
Playwright TestВыполняет сохранённые тестыБерёт файлы из проектаЗапустить с той же подготовкойОшибки и шаги в отчёте

В Playwright Test Agents planner составляет план, generator превращает его в тесты, healer разбирает падения и пытается исправить тесты. Начальный тест готовит окружение; агенту можно передать требования продукта.

Визуальные и исследовательские проверки оставьте отдельными задачами. Для запуска команд нужен проект с настроенным Playwright Test.

Подключение браузерного инструмента разобрано в отдельной статье. Здесь сохраняем набор для повторного запуска.

В канале показываю, как работают мои ИИ-агенты:

Почему «решено» от агента ещё надо проверить

Для приёмки нужно увидеть, какие действия он выполнил и что получилось. Поручите агенту найти код для каждого требования, запустить тесты и сборку, пройти основные пути пользователя после объединения кода. Пусть покажет результат простыми словами и даст путь для вашего просмотра.

Шаг 1. Сначала прочитайте требования

Дайте агенту описание продукта, требования, структуру проекта, разрешённый локальный адрес и пример проверки. Сверяйте поведение с требованиями: в самом продукте уже может быть ошибка.

Поручение агенту: «Прочитайте все наши документы. Выберите проверки важных функций, связей модулей, действий пользователя, прав, данных и ошибок. Для каждой объясните, что и с каким результатом проверяем».

Нагрузку задайте по своим ожиданиям, без выдуманных масштабов. Если границы ввода или права доступа не определены, сначала утвердите их как владелец продукта.

Подготовку требований и критериев приёмки я разбираю в отдельной статье.

Шаг 2. Рабочую систему не трогайте

Работайте в отдельной ветке, тесты запускайте локально с вымышленными данными, секреты не выводите.

В поручении перечислите разрешённую папку, ветку, локальный адрес и допустимые действия. Запретите использовать рабочую базу, клиентские данные и менять рабочую систему. При необходимости подготовьте отдельную тестовую базу. Сессии и права проверяйте только на собственных локальных тестовых учётных записях.

Сохраните вымышленные данные и способ подготовки исходного состояния. Повторяйте эту подготовку между версиями. Playwright рекомендует изолировать тесты: каждому нужны собственные данные, cookie и хранилища. Сравнивайте внешний вид на одинаковых версиях ОС и браузера.

Для внешних сервисов, которые вы не контролируете, в Playwright есть подмена сетевых ответов. Согласуйте, какие ответы использовать. С подменой вы проверяете заданный ответ; работу живого сервиса проверяйте отдельно.

Шаг 3. Сохраните проверки: действия, данные и результат, которого ждём

Прочитайте предложенные агентом сценарии до генерации кода. Для каждого укажите, что должно произойти. Поручения «проверить форму» недостаточно.

Выберите нужные проверки по требованиям своего продукта:

Что проверитьОткуда взять ожиданиеЧто наблюдать
Основной успешный путьОписание функцииПроизошло нужное изменение
Неверные данныеПравила проверки вводаПолучен предусмотренный отказ
Граничное значениеЗаданное ограничениеПоведение на границе соответствует правилу
Разрешённый и запрещённый доступУтверждённые праваДействие разрешено или отклонено
Весь путь пользователяОписание этого путиДействие на экране привело к нужному изменению данных

Без заданной границы нельзя оценить поведение на ней. Если в продукте нет авторизации, придумывать права ради заполненной строки не нужно.

Для каждого сценария сохраните:

  • Идентификатор, по которому найдёте сценарий и тест.
  • Предусловия: что должно быть подготовлено до запуска.
  • Вымышленные данные для проверки.
  • Действия в порядке выполнения.
  • Ожидаемый результат, который можно сравнить с требованием.
  • Приоритет: насколько критично это действие для продукта. Его утверждаете вы.

В примере разработчика Playwright для TodoMVC пользователь вводит текст задачи и отправляет его. Ожидания: задача появилась, счётчик обновился, поле очистилось. Именно эти результаты нужно проверить после действия.

Шаг 4. Сохраните план и файлы тестов в проекте

В specs/ Playwright Test Agents сохраняет планы, в tests/ - тесты. Сохраните также данные и подготовку окружения. Свяжите идентификатор сценария с тестом и ожидаемым результатом.

Прочитайте тест: совпадают ли действия с планом, подготовлены ли данные, проверяется ли ожидаемый результат. Первый запуск может выявить ошибку теста.

Playwright рекомендует проверять видимое пользователю поведение. Локатор getByRole находит элемент по его роли на странице. Проверка await expect(...).toBeVisible() ждёт, пока элемент станет видимым, с повторными попытками.

Шаг 5. Получите исходный отчёт до правки

На исходной версии выполните полный набор. Сохраните отчёт, версию, условия запуска и подготовку данных. Если тесты уже падают, сначала разберите причину: иначе после правки не отличите старую ошибку от новой.

Выполняйте команды Playwright Test из папки своего настроенного проекта, в разрешённой локальной среде:

bash
npx playwright test
npx playwright test --last-failed
npx playwright show-report

Первая выполняет полный набор на браузерах из конфигурации. По умолчанию браузерное окно не открывается. Вторая повторяет только предыдущие падения для разбора ошибки. Третья открывает HTML-отчёт.

Порядок запуска описан в документации Playwright. Подготовку приложения и данных берите из своего проекта.

Для разбора агентом можно добавить отчёт в JSON, формате для обработки программой. Настройте этот формат и задайте имя файла, например test-results.json.

Шаг 6. После правки запустите тот же набор и сравните результат с ожиданием

После согласованной правки повторите набор с той же подготовкой данных. Укажите в отчёте версию продукта. Изменения требований согласуйте отдельно: тест с новым ожиданием уже не проверяет прежнее поведение.

Что сверитьПравило сравненияКогда вывод делать нельзя
Версия продуктаОтчёт относится к проверяемой правкеНепонятно, какой код запускался
Состав набораТе же сценарии и ожиданияПроверки удалили или ослабили
Данные и средаТа же подготовка и условияУсловия изменились
Результат сценарияСравнить ожидание, факт и ошибкуПропуск засчитали как успех
ДоказательствоОткрыть отчёт и шагиЕсть только сообщение агента

В HTML-отчёте можно отдельно посмотреть прошедшие, упавшие, пропущенные и нестабильные тесты. Откройте ошибки и шаги. Пропуск не подтверждает выполнение требования, нестабильность нужно разобрать.

Зелёный отчёт подтверждает выполненные проверки в заданных условиях. Он не говорит о нагрузке, других браузерах и функциях вне набора.

Шаг 7. После исправления снова выполните весь набор

При падении сначала установите причину, затем исправляйте в разрешённой среде. Для быстрой диагностики повторите предыдущие падения через --last-failed. Перед приёмкой нужен полный запуск: исправление могло затронуть другие функции.

Не меняйте данные и ожидания ради зелёного результата. Требования сохраняйте, заглушки не маскируйте.

Если набор прошёл, сохраните отчёт и переходите к проверке руками. При следующей правке повторите набор.

Если собираете свой продукт с ИИ-агентами, посмотрите программу практикума СмыслоКода.

Практикум по вайб-кодингу
+Твой второй мозг
3 вечера - инструменты, метод, первый проект
Старт 24–26 ноября  ·  2 000 ₽
Записаться →

Красный результат: сломан продукт, тест или окружение?

По красному цвету причину не установить. Попросите агента сначала проверить возможные причины падения.

Кстати, я снял ролик «Полная схема по Hermes Agent: 13 ИИ-агентов для бизнеса», обязательно посмотрите.

Видео загрузится при скролле
Полная схема по Hermes Agent: 13 ИИ-агентов для бизнеса

С 04:45 показываю «Сделай мне функцию», с 05:23 - «От вопросов до автотестов». Посмотрите, как устроен этот агент в моей системе.

Возможная причинаЧто проверитьЧто исправлятьЧем подтвердить
Дефект продуктаПри верных данных и тесте поведение расходится с требованиемКод в разрешённой средеВоспроизведение, отчёт и повтор после исправления
Ошибка тестаЛокатор, действие или ожидание не соответствует требованиюТест с объяснением измененияТребование, шаги и новый результат
Окружение или данныеНет нужного состояния, недоступен сервис, изменились условияПодготовку среды или данныхЖурнал, сетевые запросы и повтор после подготовки

Запишите трассу для разбора падений:

bash
npx playwright test --trace on

Трасса сохраняет шаги, снимки структуры страницы (DOM) и сетевые запросы. Откройте её из HTML-отчёта и сравните с требованиями. Постоянная запись требует дополнительных ресурсов.

Отдельно просматривайте изменения healer, агента для исправления тестов: он может менять локатор, ожидание или данные. Если считает функцию сломанной, может пропустить тест. Пропущенную проверку выполните после исправления функции.

Поручите агенту сохранить в отчёте версию, команду, условия запуска, ожидаемое и фактическое поведение, путь к результату. Итог разделите на «выполнено и проверено», «осталось», «заблокировано». Откройте результат сами.

Всё зелёное. Теперь сами пройдите путь клиента

Перед приёмкой сверьте версию, набор и данные. Откройте отчёт. Критичные проверки должны быть выполнены, падения и нестабильность - разобраны. Изменения тестов агент должен объяснить.

После объединения сами пройдите путь клиента, особенно переходы между частями продукта. По моему опыту ИИ пока не замечает визуальные неудобства и не проверяет неожиданные действия людей так, как живой человек.

Поэтому последние тесты перед передачей продукта людям мы отдаём людям. Соберите маленькую тестовую группу, которая сообщит о проблемах.

Называйте работу завершённой только когда готово и проверено всё, что согласовали. Это не разрешение агенту менять рабочую систему.

Общую ручную проверку кода от ИИ я разобрал в отдельной статье. Её нужно пройти вместе с повторным запуском сохранённого набора.

Частые вопросы

Какую функцию своего продукта вы проверите после следующей правки? Напишите в комментариях в канале, что уже проверяете автоматически и где пока проходите путь руками.

Источники

Практикум по вайб-кодингу
+Твой второй мозг
3 вечера - инструменты, метод, первый проект
Старт 24–26 ноября  ·  2 000 ₽
Записаться →

Новые материалы - дайджестом, без спама

Гайды выходят регулярно. Подпишись, чтобы не пропускать: пришлю подборку в Telegram или на email. Раз в неделю или каждый день - выбираешь сам.

Была инструкция полезна?
Артемий Миллер
Автор
Артемий Миллер
Предприниматель и вайб-кодер

Артемий Миллер - предприниматель и вайб-кодер. Бывший программист, собирает продукты исключительно вместе с ИИ-агентами, без найма разработчиков.

Связанные инструкции

ИИ для бухгалтера: собери первичку и проверь по документам

Начните с реестра обезличенных счетов и сверки каждого поля с документом. ИИ собирает черновик, бухгалтер принимает результат и разбирает нерешённые расхождения.

9 мин

ИИ для HR: какие у человека результаты и чем они подтверждены

Поручите ИИ сводку по рабочим критериям вакансии и запросите исходный фрагмент для каждого вывода. Сверьте все выводы и все входные материалы; решение о найме оставьте человеку.

10 мин

Perplexity API: дай агенту поиск и покажи источники

Для найденных страниц выбирайте Search API, для готового ответа со ссылками - Agent API. Каждый тезис проверяйте по тексту открытого источника: сам адрес ещё ничего не доказывает.

7 мин

Excel MCP: поручил правку файла - проверь формулы и данные

Excel MCP от haris-musa позволяет агенту менять локальную книгу без установленного Excel. Подключайте папку с копией, а перед приёмкой сверяйте данные, формулы и способ расчёта значений.

6 мин