Актуальные инструменты автоматизированного тестирования (и цены)
- Немного статистики в контексте
- Возможности QA-автоматизации сейчас
- Об идеальных инструментах
- Selenium
- Testsigma
- LambdaTest
- Appsurify TestBrain
- Telerik Test Studio
- Watir
- TestComplete
- QMetry Automation Studio
- Katalon Studio
- Micro Focus UFT
Автоматизация в цифрах
- Больше половины (56%) людей, работающих сейчас в глобальной индустрии QA — самоучки. Они не обучались тестированию в колледже/университете, не посещали QA-курсы, и не имеют ни одного сертификата. Они приобрели навыки уже на рабочем месте; читали книги, гуглили, решали задачи, спрашивали коллег.
- Более подробно образование: лишь 18% опрошенных тестировщиков учились в колледже/университете на ИТ-специальности.
- 44% QA-инженеров, соответственно, обладатели диплома колледжа/университета по профильной (или имеющей отношение к ИТ) специальности, и/или обладают сертификатом, и/или посещали курсы QA.
- Четверть (24%) тестировщиков заявляют, что попали в профессию “случайно”.
- Три четверти тестировщиков (74%) сейчас умеют автоматизировать тесты.
- Подавляющее большинство, 77%, опрошенных тестировщиков занимаются веб-тестированием.
- Статистика по типам. Автоматизация GUI-тестов самая распространенная (82%); тестирование API автоматизируют в 62% случаев, кроссбраузерное 55%, тесты производительности в 53% случаев и интеграционное в 47%.
- Тестовые данные путем автоматизированной генерации получают в 57% опрошенных компаний
- Баг-трекерами пользуются лишь 76% опрошенных тестировщиков
- По Agile работают 59% опрошенных (включая сюда тех кто применяет agile workflow-инструменты).
- Около половины (48%) QA-команд в компаниях состоит лишь из 1-5 сотрудников. Еще 24% команд — от 6 до 15 сотрудников.
- Больше всего времени «средний тестировщик» по прежнему тратит на ручное тестирование (35%):
- Автоматизация ощутимо (в разы) экономит время.
- Ну и немного о приоритетах:
- По данным другого опроса (компании PractiTest), 73% опрошенных автоматизируют функциональное и регрессионное тестирование
- 45% автоматизируют юнит-тесты
- 31% автоматизируют нагрузочное и стресс-тестирование
- В разных компаниях на автоматизацию уходит от 10% до 50% бюджета, выделенного на тестирование (опрос компании Kobiton)
- По TDD-методологии работают 18% компаний
- DevOps применяют 38% компаний
- Скиллы тестирования API считают “крайне важными” 97% (!) опрошенных
- Наш канал по автоматизированному тестированию в телеграм набрал уже более 5 тысяч подписчиков.
Какая автоматизация сейчас актуальная
- Надежная
Автоматизированные тесты более надежные, чем при ручном тестировании. В ручном случаются ошибки по невнимательности, и это неизбежно, даже у опытных agile-тестировщиков. Автоматические тесты, сгенерированные фреймворком/платформой, при помощи AI, на опыте часто возникавших ошибок — это более надежные тесты. Алгоритмы, заложенные в инструменты, уже более-менее гарантируют, что до релиза дойдет довольно малое количество дефектов.
- Лучше покрытие и в короткий срок
Большие сложные тест-кейсы были традиционным больным местом ручного тестирования. Автоматизация постепенно решает эту проблему. За единицу времени создается на порядок больше тест-кейсов, тем самым ускоряя достижение целевого покрытия.
- Баги не пропускаются на поздние этапы цикла разработки
Современный инструмент автоматизации решает важнейшую задачу: находить баги на ранних стадиях SDLC-цикла. Это колоссальная экономия времени и денег.
Современная автоматизация — это быстрый фидбек разработчикам, и это фидбек по каждому тест-кейсу. Лучшие инструменты сейчас автоматически реагируют на изменения в исходном коде, запуская соответствующие тест-кейсы.
- Эффективность с точки зрения владельцев компании
В ручном тестировании многократно повторяемые тест-кейсы были не только длительным, но и дорогим занятием, с точки зрения владельца ИТ-компании. Автоматизация постепенно решает эту проблему. Причем тест-кейсы, сгенерированные программно, реюзабельны в любое время и на другой платформе.
- Выше продуктивность
Хорошее тестовое покрытие означает высокое качество приложений в целом, и их высокую производительность в частности. Современная QA-автоматизация дает возможность выполнять множество тестов параллельно, на многих платформах, в том числе облачных, и на многих девайсах, в том числе виртуальных девайсах. Чем больше тестов выполнено за единицу времени, тем лучше итоговое качество приложения.
Об идеальных инструментах
- Совместимость платформ
Идеальный инструмент автоматизации должен быть универсальным, работать со всеми современными платформами и во всех окружениях. Поддержка только Java и/или .NET — не то чем можно удивить в 2023 году.
- Генерация тестов
Идеальный инструмент должен иметь опцию выбора путей решения проблем — решать задачи несколькими способами. Например, уже устаревшим будет считаться инструмент, способный генерировать автотесты только при помощи скриптовых языков программирования. Это может быть сложной задачей для новичков в команде. Лучше, когда инструмент/платформа дает возможность абсолютно всем членам QA-команды читать, генерировать и запускать тесты в “no-code-режиме” или “с минимальным кодом”; лучше, когда инструмент не зависит от опытности команды и знания ЯП.
- Операционные системы
Инструмент автоматизации образца 2023 года не ограничивается только Windows, а совместим со всеми ОС; более того, поддерживает разные конфигурации ОС, и конечно старые их версии.
- Гибкость
Идеальный инструмент должен иметь широчайшую функциональность, включая, как необходимый минимум, нагрузочное, функциональное, и юнит-тестирование. А если в самой платформе функциональности не хватает под какие-то задачи, то в хороших платформах/фреймворках есть подключаемые модули-аддоны.
- Цена
Следует убедиться, что инструмент оправдывает свою цену, что функциональность соответствует. Может понадобиться дополнительный модуль, который тоже стоит денег. Хорошая новость: модули/аддоны к популярным инструментам часто разрабатываются энтузиастами и бесплатны. Плохая новость: качество их, обычно, “as is”.
- Работа с данными
Идеальный инструмент поддерживает все современные форматы и контейнеры данных. Реальный — хотя бы Excel и XML. Идеальный инструмент должен бесшовно принимать данные из всех существующих типов баз данных. Реальный — хотя бы MySQL и Oracle. И отдавать данные в формате XML/HTML, Excel, MHT.
Инструменты
1. Selenium
Самый используемый и самый популярный инструмент тестировщика; и это надолго. Открытый исходный код; предназначен для веб-автоматизации; поддержка всех ( используемых на практике) операционных систем и браузеров.
WebDriver применяется для создания автоматизированных сценариев, для разных окружений. Selenium IDE — плагин для Chrome/Firefox, генерирующий сценарии воспроизведения багов. Могут создаваться автоматизированные сценарии для исследовательского тестирования. Grid выполняет тест-кейсы на удаленных машинах и “сводит” результаты в “центральную точку обработки”.
Немаловажный аспект “Селениума” в том, что он поддерживает (практически) все языки программирования, которые знает / с которыми может иметь дело “средний тестировщик”.
- Стоимость: бесплатный.
***
2. Testsigma
Облачная платформа для QA-команд, работающих по ”эджайлу”. Модное AI-driven-тестирование, везде в меню и в командах только упрощенный английский для слабо владеющих — Simple English. Платформа хороша для веб-тестирования, для мобильных приложений, и тестирования API.
Также применяется для “регрессов”, в кроссбраузерных тестах, в непрерывном тестировании в командах работающих по CI/CD-принципу, а также в data-driven-тестировании. Список поддерживаемых браузеров поражает, их 800 (правда, включая мобильные браузеры для Android и iOS).
Быстрая оценка результатов; оценка состояния тест-кейсов на каждом этапе выполнения; репорты с приоритетами. Платформа умеет генерировать тест-планы, обрабатывать пользовательские требования, раздавать приоритеты тест-кейсам. Бесшовно интегрируется с трекерами и CI/CD-инструментами.
- Стоимость: 30-дневный trial. Далее на выбор 3 плана: базовый $300/месяц, Pro 400$/месяц, корпоративный “с индивидуальными ценами”. Для стартапов особые условия — $100/месяц.
***
3. LambdaTest
Одна из лучших платформ на рынке как ручного, так и автоматизированного QA. Количество зарегистрированных пользователей показательно (более полумиллиона).
Заявляется возможность кроссбраузерного тестирования веб-приложений на 2000 комбинаций ОС и браузеров. Интегрируется с системами управления тестовым процессом, инструментами CI/CD и баг-трекерами. Есть функция тестирования “под геолокацию”. Поддерживает кросс-браузерное тестирование в связке с лидером рынка, Selenium Grid; а также параллельное выполнение тестов.
- Стоимость: после регистрации в бесплатном Lite-плане юзер получает пожизненный доступ, но лишь к основным функциям, возможности сильно ограничены; впрочем, для небольших команд и проектов этого может оказаться достаточно; Live-план, 15$/месяц, там все получше с функциями; есть “старшие” планы, Веб и Веб+Мобайл, 100$ и 200$/месяц; и корпоративный план с индивидуальным подходом к ценообразованию. Стоимость всех планов зависит от количества параллельных тестов. Для желающих опробовать платформу есть специальный ознакомительный режим: $30 по 2 часа в день, на 1 месяц.
***
4. Appsurify TestBrain
По заявлениям компании Appsurify, этот софт “ускоряет тестирование до 10 раз”. Вряд ли это так буквально, но определенные предпосылки имеются. Функция идентификации и запуска автотестов при внесении разработчиками изменений в указанную часть кода, что полезно с приложениями которые делаются по эджайлу. Умеет детектировать flaky-сценарии/тест-кейсы и изолирует их отдельно от main-билда. Предупреждает при изменении критически важного кода (или кода в котором раньше были частые дефекты). Хорошо интегрируется с системами тест-менеджмента и поддерживает все “основные языки автоматизатора”. Есть как standalone-версия, так и в облачном варианте.
- Стоимость: две версии, Pro ($10/месяц), и корпоративная с гибким ценообразованием; также можно взять бесплатный trial на 2 месяца.
***
5. Telerik Test Studio
Десктопная и веб-автоматизация. Есть функция записи/воспроизведения: тест записывается и создается тест-кейс его автоматического “воспроизведения”. Далее можно запускать этот сценарий в других браузерах. Упрощенное управление благодаря встроенному репозиторию объектов; обнаружение проприетарных элементов; гибкий механизм поиска элементов. Все апдейты и репорты сводятся в минималистичную панель управления. Поддерживает JavaScript, HTML, AJAX, ASP.NET, WPF, Silverlight.
Довольно низкий порог входа, как заявляет компания-владелец, не только для разработчиков/QA, но и менеджеров без знания ЯП и тонкостей QA.
- Стоимость: обычная лицензия веб+десктоп обойдется в $2500, Ultimate-версия $3500. Есть runtime-расширение, $350.
***
6. Watir
Специфическая платформа “Web Application Testing In Ruby” с открытыми исходниками. Поддержка всех (нужных) браузеров. Задействуются компоненты watir-classic, watirspec, и watir-webdriver. Обилие функций, из наиболее полезных: скриншоты процесса, Watir-объект performance для оценки производительности страницы, со свойствами performance.memory, performance.navigation, performance.timeOrigin, performance.timing.
Webdriver тестирует UI-приложения и веб-сайты. Watir бесшовно интегрируется с другими тестовыми фреймворками типа Cucumber и Rspec. В основном, все-таки, Watir работает в связке с Selenium, как полезное дополнение к абсолютному лидеру рынка QA, и также как Selenium он бесплатный.
- Стоимость: 0 $.
***
7. TestComplete
Мобильные, десктопные и веб-приложения. AI-powered, с гибкими возможностями работы как со сценариями, так и no “scriptless”-модели. Умеет тестировать GUI-интерфейс десктопных приложений на Java, .NET и WPF. По части веб-приложений есть возможность интегрировать тесты для фреймворков Angular и React. Поддержка 2000+ браузеров (это включая мобильные аппы-браузеры, разумеется).
Дизайн и автоматизация UI-тестов для iOS и Android без джейлбрейка. Интеграция с Jira/Jenkins/ Azure DevOps /Git. AI-движок распознавания объектов находит потенциальные баги и помогает устранить немедленно.
- Стоимость: 30-дневный trial. Далее: базовый план $6095, но можно выбрать какую-то одну из десктоп/мобайл/веб версий и платить только за нее. Все три версии вместе обойдутся в $9479. К этому есть еще пакет Plus с набором дополнительных инструментов “для всех браузеров и девайсов”.
***
8. QMetry Automation Studio
Универсальная платформа для тестирования десктопа, мобайла (в том числе нативные аппы), веб-сайтов, веб-сервисов, и API. Подключается к таким незаменимым тулзам тестировщика как Selenium и Appium. Интегрируется с облачными платформами для веба и мобайла, типа Perfecto Mobile и Sauce Labs. Может работать с CI/CD-инструментами типа Bamboo/Jenkins.
Поддерживает Java/Python/JS/TypeScript. Подключается к фреймворкам JUnit, TestNG, Jasmine, Robot, Cucumber.
Беспроблемно “подхватывает” тесты, написанные на других фреймворках/платформах. Есть параллельное выполнение.
- Стоимость: бесплатный trial на месяц. Далее стоимость рассчитывается индивидуально для каждого клиента.
***
9. Katalon Studio
Тоже универсальное решение, для мобайла/API/десктопа/веба. Работает на всех (распространенных) ОС. Приложения Android/iOS, API-сервисы, и веб-приложения во “всех” браузерах.
Katalon Studio установлена в 65000 компаниях по миру, что, наверное, свидетельствует. Удобна для малоквалифицированного персонала своими minimal-code-возможностями автоматизации. Интегрируется с CI-инструментами Azure/Bamboo/Jenkins/CircleCI, и с Jira.
- Стоимость: в бесплатной версии можно ограниченно генерировать тест-кейсы для веба, API, десктопа и мобайла. Корпоративная лицензия есть в версиях Node-Locked и Floating; первая стоит $839/год, вторая $1689/год. Соответствующие лицензии на рантаймы — $600/год и 1319/год.
***
10. Micro Focus UFT
UFT — Унифицированное Функциональное Тестирование. Как следует из названия, предназначена для функциональных тестов, а применяется также и для “регрессов”. Прежнее название (намного более известное до сих пор) — QuickTest.
Мобильные, веб-, десктопные приложения, в том числе корпоративного уровня. Владелец продукта обращает внимание на “очень быстрое написание тестов, легкое обслуживание, быстрое достижение целевого покрытия, и гибкость”. Заявляется “качественное AI для быстрой проверки и выполнения большого количества тестов”. Поддерживается параллельное выполнение, и интеграция с DevOps-тулчейнами.
- Стоимость: trial-период 60 дней. Далее выбрать корпоративный План, стоимость которого (и набор функций) уточняется индивидуально.
***
