Что это
Методика, которая строится на активном применении пользовательских сценариев — последовательностей действий пользователя в приложении. Такой подход может помочь тестировщику решить некоторые проблемы с тестированием UI или логики приложения.
Также в рунете определяют сценарное тестирование как противоположность исследовательского, в том смысле, что исследовательское выполняется по интуиции, без какого-то четкого сценария своих действий при тестировании, а сценарное (scripted) — на основе сценариев-скриптов.
Типичный тестовый сценарий состоит из тест-кейсов и строится на use-кейсах (см. далее). Сценарное тестирование стандартно применяется при сквозной проверке приложения — верификации что все функции работают беспроблемно и соответственно требованиям.
В сценарном тестировании QA-инженер ставит себя на место конечного пользователя и подбирает реальные сценарии или use-кейсы, которые скорее всего будут у конечного пользователя.
При написании тестовых сценариев консультируются с клиентами, стейкхолдерами и разработчиками.
Сценарное тестирование проверяет весь business flow приложения, поэтому правильно проведенное — позволяет вскрыть множество неочевидных дефектов/ошибок на всем пути пользователя, которые не всегда находят другими методами.
История
Методика предложена Сэмом Канером в 2003, как попытка решить одну из насущных проблем в тестировании в то время — создание и поддержка огромных многоэтапных тест-кейсов, и проверка их результатов. Заявлялось, что такой подход должен значительно уменьшить количество лишней работы, путем создания более простых сценариев на основе use-кейсов.
Далее идея была подхвачена Гансом Бувальдой в книге «Тестирование по методу мыльной оперы» (ссылка). Комплексные многоэтапные тестовые сценарии из сложных тест-кейсов заменялись как бы «рассказом» (нарративом) о пути пользователя по приложению, что должно было дать тестировщику большую свободу в выборе методик и определении области тестирования.
Характеристики
Идеальный тестовый сценарий (согласно книге Канера о сценарном тестировании — ее можно скачать по этой ссылке с сайта автора), должен иметь такие характеристики:
- Представлять собой пользовательскую историю
- Быть мотивирующим
- Быть надежным
- Быть подробным
- Его должно быть легко оценить со стороны
Процесс (этапы)
Рисунок из упомянутой выше книги Канера:
Методы
Существует два основных метода:
- Системные сценарии: наборы реалистичных активностей пользователя, покрывающих различные компоненты системы
- Сценарии на основе use-кейсов и role-based-сценарии: фокус на том как приложение используется пользователем, в различных ролях и окружениях.
Стратегии создания хорошего тестового сценария
- Представить типичного пользователя, его действия и цели
- Смотреть на пользователей с точки зрения хакера
- Создать список системных событий и проверить как система обрабатывает их
- Получить четкое представление, что в приложении больше всего интересует пользователя
- Узнать больше о подобных системах и поведении пользователей в них
- Изучить жалобы и негативные отзывы о продуктах конкурентов и попытаться пройти по пути пользователя в них
Риски сценарного тестирования
- Достаточно сложный процесс
- Не рассчитано на достижение полного покрытия
- Должно быть очень хорошо документировано, на это нужно много времени
***
