Определение
Defect Leakage — это пропуск дефектов, или чаще называется утечкой дефектов — это метрика тестирования, которая отражает эффективность процесса тестирования.
Короче говоря, это такой дефект, который каким-то образом умудрился пройти незамеченным через все этапы и уровни тестирования и попал в продакшн, а затем и к конечным пользователям, что, разумеется, приводит к последствиям, для пользователей, и для тестировщиков.
Косвенно, наличие такой «утечки» показывает эффективность поздних этапов тестирования — конечными пользователями.
QA-команды стараются не допустить таких промахов, так же как и разработчики. Производится тщательное отслеживание возникающих дефектов и регрессионное тестирование, стараются внедрить раннее обнаружение дефектов, качественное протоколирование тестов в баг-трекере, качественная и упорядоченная отчетность по багам, и поддерживается прозрачность QA-процессов — все это должно приводить к уменьшению количества обнаруженных дефектов у конечных пользователей, или по крайней мере минимизировать количество столь неприятных ситуаций.
Вместе с тем, обнаружить и предотвратить некоторые дефекты бывает достаточно сложно. Особенно, когда дефект возникает из-за сторонних компонентов, или ошибок конечного пользователя.
Это одна из важных метрик тестирования, которая часто приводится в числе общих показателей качества QA-процессов.
Причины
Пропуск (утечка) дефектов может происходить по различным причинам, например:
- Отсутствие строгого процесса проверки тест-кейсов или ревью кода.
- Сложности с тестовыми окружениями.
- Небрежные тест-кейсы, которые плохо охватили требования.
- Или требования были неправильно сформулированы или неправильно поняты.
- Некорректно проведенное развертывание (деплой) при приемочном тестировании или на проде.
- Некорректные тестовые данные.
Предотвращение
Исходя из вышеперечисленного, понятно, что существуют способы предотвращения пропуска дефектов, которые позволяют контролировать процесс. Хорошо организованный процесс управления дефектами предотвращает и минимизирует количество дефектов, пропущенных QA-командой.
- Поиск критически важной области приложения и проведение детального анализа и последующего тестирования
- Проверка других важных областей, которые могли повлиять косвенно
- Проверка зависимостей
- Тщательное тестирование на средних уровнях пирамиды, которые часто и являются причиной проблемы (особенно в современных микросервисных приложениях)
- Возможно, повторное тщательное тестирование даже самых мелких компонентов (юнитов)
- Внимательная проверка всей системы в целом
- Возможно, в тяжелом случае придется прибегнуть к ручному исчерпывающему тестированию
Как рассчитать метрику пропуска Defect Leakage
Количество дефектов, обнаруженных пользователями (или при приемочном тестировании), деленное на количество дефектов, обнаруженных при «обычном» QA-тестировании в компании, и умноженное на 100.
«Обратной» по отношению к Defect Leakage тестовой метрикой является Эффективность тестирования (Test Efficiency) — процент дефектов, вовремя выявленных и устраненных, соответственно они не появятся у конечных пользователей.
Очень хорошим показателем Defect Leakage считается около 10-12%.
