- Частота выполнения
- Функциональность
- Наборы данных
- Регресс или смок
- Специфика инструмента
- Обновление функции
- Негативный тест
- Параллельное выполнение
- Не для галочки
Сегодня автоматизированное тестирование применяется практически повсеместно. Тестировщики постоянно разрабатывают и выполняют автотесты, чтобы гарантировать качество разрабатываемого приложения. Часто возникает вопрос приоритетов — нужно понять, что автоматизировать первым делом. Мы собрали список вопросов, ответы на которые помогут вам определиться.
Как часто будут выполняться написанные тесты?
Самый важный вопрос. Автоматизировать тест-кейс имеет смысл в том случае, если он будет выполняться постоянно. Обязательно учитывайте частоту использования при составлении плана по автоматизации.
Для какой функциональности разрабатываются автотесты?
Некоторые части приложения имеют большее значение/влияние, чем другие. Очень важно, чтобы критическая функциональность была покрыта тестами в первую очередь — баги в таких местах будут стоить очень дорого. Здесь автоматизация однозначно себя окупит.
Планируется ли запускать тест с разными наборами данных?
Ручное выполнение тест-кейсов с разными наборами входных данных — тяжелая работа. С помощью автотестов можно освободить время ручных тестировщиков и минимизировать шансы багов на продакшене.
Тест будет выполняться в регрессионном или smoke-тестировании?
Регрессионное и smoke-тестирование выполняются очень часто. Это тест-сьюты, которые тестируют приложение “вширь” — т.е. тестируют корректность работы всего базового функционала. Регрессионные тесты интегрируются в процесс сборки приложения и выполняются во время каждого билда. Их автоматизация поможет улучшить качество продукта.
Просто ли написать автотест с помощью ваших инструментов?
Нужно проводить анализ возможности (сложности) разработки конкретного тест-сьюта с помощью используемого инструмента автоматизации. Например, попытка автоматизировать тестирование запросов к SAP — не лучшая трата вашего времени, если инструмент не поддерживает такое тестирование. Использование другого инструмента для одной конкретной задачи тоже не лучшее решение. Такие места дешевле всего тестировать вручную.
Как часто будет меняться/дорабатываться функциональность, которую планируется покрывать?
Важный вопрос. В случае, если часть приложения будет часто меняться, дорабатываться, переписываться с нуля и т.п. — писать автотетсы для нее рано. Каждый раз после изменения функционала тесты нужно будет обновлять/переписывать заново.
Поэтому узнайте о планах разработчиков на ближайшее время — если функциональность планируют менять, отложите написание автотестов до лучших времен.
Это негативный тест?
Писать негативные автотесты — не лучшее решение.
Смогут ли написанные тесты выполняться параллельно?
Если процесс автоматизации хорошо выстроен, можно сэкономить много времени, запуская тесты параллельно. Параллельное выполнение очень важно для получение максимальной отдачи от автоматизации. Поэтому тесты, которые в конечном итоге смогут быть выполнены только в определенном последовательном порядке — не лучшие кандидаты на автоматизацию. Это не значит, что их не нужно автоматизировать вообще. Просто на данном этапе лучше поискать что-то более подходящее.
Не пишутся ли тесты только ради отчетов?
Современные инструменты для автоматизации дают возможность генерировать классные отчеты о результатах тестирования. Однако, отчеты не являются целью автоматизации. Для улучшения качества нужно разбирать каждый упавший тест — определять, почему он упал и что нужно исправить. Написанные тесты нужно постоянно поддерживать в актуальном состоянии. Все это нужно держать в уме, когда вы собираетесь писать автотест для какой-либо функциональности. Автоматизация гораздо больше, чем красивые отчеты.
Ответив на вопросы выше, вы проанализируете тест-кейс, который планируется автоматизировать, целесообразность автоматизации и отдачу, которую вы от нее получите.
