После небольшой правки могут сломаться другие функции продукта. После объединения проверяем весь путь, особенно стыки: экран, логику.
Используйте ИИ для тестирования так: поручите агенту сохранить проверки важных функций и повторять тот же набор после правки. Принимайте работу по результатам проверок. Одного «проблема решена» от агента недостаточно.
Что поручить ИИ, а что запускать в Playwright Test
По требованиям агент готовит сценарии, данные и код проверок, затем запускает тесты и разбирает ошибки:
| Кто | Что делает | Где хранить набор | Как повторить | Результат |
|---|---|---|---|---|
| Чат | Помогает описать сценарии и написать код | Сохранить код в проекте | Выполнить предложенный код | Нужен отчёт запуска |
| Агент с разрешёнными инструментами | Читает проект, создаёт файлы, запускает команды | В файлах тестов | Сохранить данные и подготовку среды | Результаты команд и отчёт |
| Playwright Test | Выполняет сохранённые тесты | Берёт файлы из проекта | Запустить с той же подготовкой | Ошибки и шаги в отчёте |
В Playwright Test Agents planner составляет план, generator превращает его в тесты, healer разбирает падения и пытается исправить тесты. Начальный тест готовит окружение; агенту можно передать требования продукта.
Визуальные и исследовательские проверки оставьте отдельными задачами. Для запуска команд нужен проект с настроенным Playwright Test.
Подключение браузерного инструмента разобрано в отдельной статье. Здесь сохраняем набор для повторного запуска.
В канале показываю, как работают мои ИИ-агенты:
Почему «решено» от агента ещё надо проверить
Для приёмки нужно увидеть, какие действия он выполнил и что получилось. Поручите агенту найти код для каждого требования, запустить тесты и сборку, пройти основные пути пользователя после объединения кода. Пусть покажет результат простыми словами и даст путь для вашего просмотра.
Шаг 1. Сначала прочитайте требования
Дайте агенту описание продукта, требования, структуру проекта, разрешённый локальный адрес и пример проверки. Сверяйте поведение с требованиями: в самом продукте уже может быть ошибка.
Поручение агенту: «Прочитайте все наши документы. Выберите проверки важных функций, связей модулей, действий пользователя, прав, данных и ошибок. Для каждой объясните, что и с каким результатом проверяем».
Нагрузку задайте по своим ожиданиям, без выдуманных масштабов. Если границы ввода или права доступа не определены, сначала утвердите их как владелец продукта.
Подготовку требований и критериев приёмки я разбираю в отдельной статье.
Шаг 2. Рабочую систему не трогайте
Работайте в отдельной ветке, тесты запускайте локально с вымышленными данными, секреты не выводите.
В поручении перечислите разрешённую папку, ветку, локальный адрес и допустимые действия. Запретите использовать рабочую базу, клиентские данные и менять рабочую систему. При необходимости подготовьте отдельную тестовую базу. Сессии и права проверяйте только на собственных локальных тестовых учётных записях.
Сохраните вымышленные данные и способ подготовки исходного состояния. Повторяйте эту подготовку между версиями. Playwright рекомендует изолировать тесты: каждому нужны собственные данные, cookie и хранилища. Сравнивайте внешний вид на одинаковых версиях ОС и браузера.
Для внешних сервисов, которые вы не контролируете, в Playwright есть подмена сетевых ответов. Согласуйте, какие ответы использовать. С подменой вы проверяете заданный ответ; работу живого сервиса проверяйте отдельно.
Шаг 3. Сохраните проверки: действия, данные и результат, которого ждём
Прочитайте предложенные агентом сценарии до генерации кода. Для каждого укажите, что должно произойти. Поручения «проверить форму» недостаточно.
Выберите нужные проверки по требованиям своего продукта:
| Что проверить | Откуда взять ожидание | Что наблюдать |
|---|---|---|
| Основной успешный путь | Описание функции | Произошло нужное изменение |
| Неверные данные | Правила проверки ввода | Получен предусмотренный отказ |
| Граничное значение | Заданное ограничение | Поведение на границе соответствует правилу |
| Разрешённый и запрещённый доступ | Утверждённые права | Действие разрешено или отклонено |
| Весь путь пользователя | Описание этого пути | Действие на экране привело к нужному изменению данных |
Без заданной границы нельзя оценить поведение на ней. Если в продукте нет авторизации, придумывать права ради заполненной строки не нужно.
Для каждого сценария сохраните:
- Идентификатор, по которому найдёте сценарий и тест.
- Предусловия: что должно быть подготовлено до запуска.
- Вымышленные данные для проверки.
- Действия в порядке выполнения.
- Ожидаемый результат, который можно сравнить с требованием.
- Приоритет: насколько критично это действие для продукта. Его утверждаете вы.
В примере разработчика Playwright для TodoMVC пользователь вводит текст задачи и отправляет его. Ожидания: задача появилась, счётчик обновился, поле очистилось. Именно эти результаты нужно проверить после действия.
Шаг 4. Сохраните план и файлы тестов в проекте
В specs/ Playwright Test Agents сохраняет планы, в tests/ - тесты. Сохраните также данные и подготовку окружения. Свяжите идентификатор сценария с тестом и ожидаемым результатом.
Прочитайте тест: совпадают ли действия с планом, подготовлены ли данные, проверяется ли ожидаемый результат. Первый запуск может выявить ошибку теста.
Playwright рекомендует проверять видимое пользователю поведение. Локатор getByRole находит элемент по его роли на странице. Проверка await expect(...).toBeVisible() ждёт, пока элемент станет видимым, с повторными попытками.
Шаг 5. Получите исходный отчёт до правки
На исходной версии выполните полный набор. Сохраните отчёт, версию, условия запуска и подготовку данных. Если тесты уже падают, сначала разберите причину: иначе после правки не отличите старую ошибку от новой.
Выполняйте команды Playwright Test из папки своего настроенного проекта, в разрешённой локальной среде:
npx playwright test
npx playwright test --last-failed
npx playwright show-reportПервая выполняет полный набор на браузерах из конфигурации. По умолчанию браузерное окно не открывается. Вторая повторяет только предыдущие падения для разбора ошибки. Третья открывает HTML-отчёт.
Порядок запуска описан в документации Playwright. Подготовку приложения и данных берите из своего проекта.
Для разбора агентом можно добавить отчёт в JSON, формате для обработки программой. Настройте этот формат и задайте имя файла, например test-results.json.
Шаг 6. После правки запустите тот же набор и сравните результат с ожиданием
После согласованной правки повторите набор с той же подготовкой данных. Укажите в отчёте версию продукта. Изменения требований согласуйте отдельно: тест с новым ожиданием уже не проверяет прежнее поведение.
| Что сверить | Правило сравнения | Когда вывод делать нельзя |
|---|---|---|
| Версия продукта | Отчёт относится к проверяемой правке | Непонятно, какой код запускался |
| Состав набора | Те же сценарии и ожидания | Проверки удалили или ослабили |
| Данные и среда | Та же подготовка и условия | Условия изменились |
| Результат сценария | Сравнить ожидание, факт и ошибку | Пропуск засчитали как успех |
| Доказательство | Открыть отчёт и шаги | Есть только сообщение агента |
В HTML-отчёте можно отдельно посмотреть прошедшие, упавшие, пропущенные и нестабильные тесты. Откройте ошибки и шаги. Пропуск не подтверждает выполнение требования, нестабильность нужно разобрать.
Зелёный отчёт подтверждает выполненные проверки в заданных условиях. Он не говорит о нагрузке, других браузерах и функциях вне набора.
Шаг 7. После исправления снова выполните весь набор
При падении сначала установите причину, затем исправляйте в разрешённой среде. Для быстрой диагностики повторите предыдущие падения через --last-failed. Перед приёмкой нужен полный запуск: исправление могло затронуть другие функции.
Не меняйте данные и ожидания ради зелёного результата. Требования сохраняйте, заглушки не маскируйте.
Если набор прошёл, сохраните отчёт и переходите к проверке руками. При следующей правке повторите набор.
Если собираете свой продукт с ИИ-агентами, посмотрите программу практикума СмыслоКода.
Красный результат: сломан продукт, тест или окружение?
По красному цвету причину не установить. Попросите агента сначала проверить возможные причины падения.
Кстати, я снял ролик «Полная схема по Hermes Agent: 13 ИИ-агентов для бизнеса», обязательно посмотрите.
С 04:45 показываю «Сделай мне функцию», с 05:23 - «От вопросов до автотестов». Посмотрите, как устроен этот агент в моей системе.
| Возможная причина | Что проверить | Что исправлять | Чем подтвердить |
|---|---|---|---|
| Дефект продукта | При верных данных и тесте поведение расходится с требованием | Код в разрешённой среде | Воспроизведение, отчёт и повтор после исправления |
| Ошибка теста | Локатор, действие или ожидание не соответствует требованию | Тест с объяснением изменения | Требование, шаги и новый результат |
| Окружение или данные | Нет нужного состояния, недоступен сервис, изменились условия | Подготовку среды или данных | Журнал, сетевые запросы и повтор после подготовки |
Запишите трассу для разбора падений:
npx playwright test --trace onТрасса сохраняет шаги, снимки структуры страницы (DOM) и сетевые запросы. Откройте её из HTML-отчёта и сравните с требованиями. Постоянная запись требует дополнительных ресурсов.
Отдельно просматривайте изменения healer, агента для исправления тестов: он может менять локатор, ожидание или данные. Если считает функцию сломанной, может пропустить тест. Пропущенную проверку выполните после исправления функции.
Поручите агенту сохранить в отчёте версию, команду, условия запуска, ожидаемое и фактическое поведение, путь к результату. Итог разделите на «выполнено и проверено», «осталось», «заблокировано». Откройте результат сами.
Всё зелёное. Теперь сами пройдите путь клиента
Перед приёмкой сверьте версию, набор и данные. Откройте отчёт. Критичные проверки должны быть выполнены, падения и нестабильность - разобраны. Изменения тестов агент должен объяснить.
После объединения сами пройдите путь клиента, особенно переходы между частями продукта. По моему опыту ИИ пока не замечает визуальные неудобства и не проверяет неожиданные действия людей так, как живой человек.
Поэтому последние тесты перед передачей продукта людям мы отдаём людям. Соберите маленькую тестовую группу, которая сообщит о проблемах.
Называйте работу завершённой только когда готово и проверено всё, что согласовали. Это не разрешение агенту менять рабочую систему.
Общую ручную проверку кода от ИИ я разобрал в отдельной статье. Её нужно пройти вместе с повторным запуском сохранённого набора.
Частые вопросы
Какую функцию своего продукта вы проверите после следующей правки? Напишите в комментариях в канале, что уже проверяете автоматически и где пока проходите путь руками.
Источники
- Microsoft Playwright: Test Agents - агенты, планы, тесты и пример TodoMVC.
- Microsoft Playwright: запуск тестов - полный запуск, повтор падений и HTML-отчёт.
- Microsoft Playwright: форматы отчётов - сочетание форматов и сохранение JSON.
- Microsoft Playwright: рекомендации - изоляция данных, сетевые подмены, локаторы и трассы.
Новые материалы - дайджестом, без спама
Гайды выходят регулярно. Подпишись, чтобы не пропускать: пришлю подборку в Telegram или на email. Раз в неделю или каждый день - выбираешь сам.

