😇
На testengineer.ru мы не размещаем рекламу, но над сайтом регулярно работают несколько человек. Поддержите нас, подписавшись на телеграм-канал "Тестировщик от бога"!
ДомойОбучениеАвтоматизированное тестированиеАвтоматизация: актуальные инструменты (и статистика)

Автоматизация: актуальные инструменты (и статистика)

Автор

Дата

Категория

Актуальные инструменты автоматизированного тестирования (и цены)

Автоматизация в цифрах

  • Больше половины (56%) людей, работающих сейчас в глобальной индустрии QA — самоучки. Они не обучались тестированию в колледже/университете, не посещали QA-курсы, и не имеют ни одного сертификата. Они приобрели навыки уже на рабочем месте; читали книги, гуглили, решали задачи, спрашивали коллег.
  • Более подробно образование: лишь 18% опрошенных тестировщиков учились в колледже/университете на ИТ-специальности.
  • 44% QA-инженеров, соответственно, обладатели диплома колледжа/университета по профильной (или имеющей отношение к ИТ) специальности, и/или обладают сертификатом, и/или посещали курсы QA.
  • Четверть (24%) тестировщиков заявляют, что попали в профессию “случайно”.
  • Три четверти тестировщиков (74%) сейчас умеют автоматизировать тесты.
  • Подавляющее большинство, 77%, опрошенных тестировщиков занимаются веб-тестированием.
  • Статистика по типам. Автоматизация GUI-тестов самая распространенная (82%); тестирование API автоматизируют в 62% случаев, кроссбраузерное 55%, тесты производительности в 53% случаев и интеграционное в 47%. 
  • Тестовые данные путем автоматизированной генерации получают в 57% опрошенных компаний
  • Баг-трекерами пользуются лишь 76% опрошенных тестировщиков
  • По Agile работают 59% опрошенных (включая сюда тех кто применяет agile workflow-инструменты).
  • Около половины (48%) QA-команд в компаниях состоит лишь из 1-5 сотрудников. Еще 24% команд — от 6 до 15 сотрудников.
  • Больше всего времени «средний тестировщик» по прежнему тратит на ручное тестирование (35%):
The most time-consuming activities within a test cycle
На что тратится время в тестовом цикле
  • Автоматизация ощутимо (в разы) экономит время.
  • Ну и немного о приоритетах:
priorities in the software testing
  • По данным другого опроса (компании PractiTest), 73% опрошенных автоматизируют функциональное и регрессионное тестирование
  • 45% автоматизируют юнит-тесты
  • 31% автоматизируют нагрузочное и стресс-тестирование
  • В разных компаниях на автоматизацию уходит от 10% до 50% бюджета, выделенного на тестирование (опрос компании Kobiton)
  • По TDD-методологии работают 18% компаний
  • DevOps применяют 38% компаний
  • Скиллы тестирования API считают “крайне важными” 97% (!) опрошенных
  • Наш канал по автоматизированному тестированию в телеграм набрал уже более 5 тысяч подписчиков.

Какая автоматизация сейчас актуальная

  • Надежная

Автоматизированные тесты более надежные, чем при ручном тестировании. В ручном случаются ошибки по невнимательности, и это неизбежно, даже у опытных agile-тестировщиков. Автоматические тесты, сгенерированные фреймворком/платформой, при помощи AI, на опыте часто возникавших ошибок — это более надежные тесты. Алгоритмы, заложенные в инструменты, уже более-менее гарантируют, что до релиза дойдет довольно малое количество дефектов.

  • Лучше покрытие и в короткий срок

Большие сложные тест-кейсы были традиционным больным местом ручного тестирования. Автоматизация постепенно решает эту проблему. За единицу времени создается на порядок больше тест-кейсов, тем самым ускоряя достижение целевого покрытия.

  • Баги не пропускаются на поздние этапы цикла разработки

Современный инструмент автоматизации решает важнейшую задачу: находить баги на ранних стадиях SDLC-цикла. Это колоссальная экономия времени и денег.

Современная автоматизация — это быстрый фидбек разработчикам, и это фидбек по каждому тест-кейсу. Лучшие инструменты сейчас автоматически реагируют на изменения в исходном коде, запуская соответствующие тест-кейсы.

  • Эффективность с точки зрения владельцев компании

В ручном тестировании многократно повторяемые тест-кейсы были не только длительным, но и дорогим занятием, с точки зрения владельца ИТ-компании. Автоматизация постепенно решает эту проблему. Причем тест-кейсы, сгенерированные программно, реюзабельны в любое время и на другой платформе.

  • Выше продуктивность

 Хорошее тестовое покрытие означает высокое качество приложений в целом, и их высокую производительность в частности. Современная QA-автоматизация дает возможность выполнять множество тестов параллельно, на многих платформах, в том числе облачных, и на многих девайсах, в том числе виртуальных девайсах. Чем больше тестов выполнено за единицу времени, тем лучше итоговое качество приложения.

Об идеальных инструментах

  • Совместимость платформ

Идеальный инструмент автоматизации должен быть универсальным, работать со всеми современными платформами и во всех окружениях. Поддержка только Java и/или .NET — не то чем можно удивить в 2023 году. 

  • Генерация тестов

Идеальный инструмент должен иметь опцию выбора путей решения проблем — решать задачи несколькими способами. Например, уже устаревшим будет считаться инструмент, способный генерировать автотесты только при помощи скриптовых языков программирования. Это может быть сложной задачей для новичков в команде. Лучше, когда инструмент/платформа дает возможность абсолютно всем членам QA-команды читать, генерировать и запускать тесты в “no-code-режиме” или “с минимальным кодом”; лучше, когда инструмент не зависит от опытности команды и знания ЯП.

  • Операционные системы

Инструмент автоматизации образца 2023 года не ограничивается только Windows, а совместим со всеми ОС; более того, поддерживает разные конфигурации ОС, и конечно старые их версии.

  • Гибкость

Идеальный инструмент должен иметь широчайшую функциональность, включая, как необходимый минимум, нагрузочное, функциональное, и юнит-тестирование. А если в самой платформе функциональности не хватает под какие-то задачи, то в хороших платформах/фреймворках есть подключаемые модули-аддоны.

  • Цена

Следует убедиться, что инструмент оправдывает свою цену, что функциональность соответствует. Может понадобиться дополнительный модуль, который тоже стоит денег. Хорошая новость: модули/аддоны к популярным инструментам часто разрабатываются энтузиастами и бесплатны. Плохая новость: качество их, обычно, “as is”.

  • Работа с данными

Идеальный инструмент поддерживает все современные форматы и контейнеры данных. Реальный — хотя бы Excel и XML. Идеальный инструмент должен бесшовно принимать данные из всех существующих типов баз данных. Реальный — хотя бы MySQL и Oracle. И отдавать данные в формате XML/HTML, Excel, MHT.

Инструменты

1. Selenium

selenium
https://www.selenium.dev/

Самый используемый и самый популярный инструмент тестировщика; и это надолго. Открытый исходный код; предназначен для веб-автоматизации; поддержка всех ( используемых на практике) операционных систем и браузеров.

WebDriver применяется для создания автоматизированных сценариев, для разных окружений. Selenium IDE — плагин для Chrome/Firefox, генерирующий сценарии воспроизведения багов. Могут создаваться автоматизированные сценарии для исследовательского тестирования. Grid выполняет тест-кейсы на удаленных машинах и “сводит” результаты в “центральную точку обработки”.

Немаловажный аспект “Селениума” в том, что он поддерживает (практически) все языки программирования, которые знает / с которыми может иметь дело “средний тестировщик”.

  • Стоимость: бесплатный.

***

2. Testsigma

testsigma
https://testsigma.com

Облачная платформа для QA-команд, работающих по ”эджайлу”. Модное AI-driven-тестирование, везде в меню и в командах только упрощенный английский для слабо владеющих — Simple English. Платформа хороша для веб-тестирования, для мобильных приложений, и тестирования API. 

Также применяется для “регрессов”, в кроссбраузерных тестах, в непрерывном тестировании в командах работающих по CI/CD-принципу, а также в data-driven-тестировании. Список поддерживаемых браузеров поражает, их 800 (правда, включая мобильные браузеры для Android и iOS). 

Быстрая оценка результатов; оценка состояния тест-кейсов на каждом этапе выполнения; репорты с приоритетами. Платформа умеет генерировать тест-планы, обрабатывать пользовательские требования, раздавать приоритеты тест-кейсам. Бесшовно интегрируется с трекерами и CI/CD-инструментами.

  • Стоимость: 30-дневный trial. Далее на выбор 3 плана: базовый $300/месяц, Pro 400$/месяц, корпоративный “с индивидуальными ценами”. Для стартапов особые условия — $100/месяц.

***

3. LambdaTest

lambdatest
http://www.lambdatest.com/

Одна из лучших платформ на рынке как ручного, так и автоматизированного QA. Количество зарегистрированных пользователей показательно (более полумиллиона). 

Заявляется возможность кроссбраузерного тестирования веб-приложений на 2000 комбинаций ОС и браузеров. Интегрируется с системами управления тестовым процессом, инструментами CI/CD и баг-трекерами. Есть функция тестирования “под геолокацию”. Поддерживает кросс-браузерное тестирование в связке с лидером рынка, Selenium Grid; а также параллельное выполнение тестов.

  • Стоимость: после регистрации в бесплатном Lite-плане юзер получает пожизненный доступ, но лишь к основным функциям, возможности сильно ограничены; впрочем, для небольших команд и проектов этого может оказаться достаточно; Live-план, 15$/месяц, там все получше с функциями; есть “старшие” планы, Веб и Веб+Мобайл, 100$ и 200$/месяц; и корпоративный план с индивидуальным подходом к ценообразованию. Стоимость всех планов зависит от количества параллельных тестов. Для желающих опробовать платформу есть специальный ознакомительный режим: $30 по 2 часа в день, на 1 месяц.

***

4. Appsurify TestBrain

appsurify
https://appsurify.com

По заявлениям компании Appsurify, этот софт “ускоряет тестирование до 10 раз”. Вряд ли это так буквально, но определенные предпосылки имеются. Функция идентификации и запуска автотестов при внесении разработчиками изменений в указанную часть кода, что полезно с приложениями которые делаются по эджайлу. Умеет детектировать flaky-сценарии/тест-кейсы и изолирует их отдельно от main-билда. Предупреждает при изменении критически важного кода (или кода в котором раньше были частые дефекты). Хорошо интегрируется с системами тест-менеджмента и поддерживает все “основные языки автоматизатора”. Есть как standalone-версия, так и в облачном варианте.

  • Стоимость: две версии, Pro ($10/месяц), и корпоративная с гибким ценообразованием; также можно взять бесплатный trial на 2 месяца.

***

5. Telerik Test Studio

telerik-test-studio
https://www.telerik.com/teststudio

Десктопная и веб-автоматизация. Есть функция записи/воспроизведения: тест записывается и создается тест-кейс его автоматического “воспроизведения”. Далее можно запускать этот сценарий в других браузерах. Упрощенное управление благодаря встроенному репозиторию объектов; обнаружение проприетарных элементов; гибкий механизм поиска элементов. Все апдейты и репорты сводятся в минималистичную панель управления. Поддерживает JavaScript, HTML, AJAX, ASP.NET, WPF, Silverlight.

Довольно низкий порог входа, как заявляет компания-владелец, не только для разработчиков/QA, но и менеджеров без знания ЯП и тонкостей QA. 

  • Стоимость: обычная лицензия веб+десктоп обойдется в $2500, Ultimate-версия $3500. Есть runtime-расширение, $350.

***

6. Watir

watir
http://watir.com

Специфическая платформа “Web Application Testing In Ruby” с открытыми исходниками. Поддержка всех (нужных) браузеров. Задействуются компоненты watir-classic, watirspec, и watir-webdriver. Обилие функций, из наиболее полезных: скриншоты процесса, Watir-объект performance для оценки производительности страницы, со свойствами performance.memory, performance.navigation, performance.timeOrigin, performance.timing

Webdriver тестирует UI-приложения и веб-сайты. Watir бесшовно интегрируется с другими тестовыми фреймворками типа Cucumber и Rspec. В основном, все-таки, Watir работает в связке с Selenium, как полезное дополнение к абсолютному лидеру рынка QA, и также как Selenium он бесплатный.

  • Стоимость: 0 $.

***

7. TestComplete

testcomplete
https://smartbear.com/product/testcomplete/overview/

Мобильные, десктопные и веб-приложения. AI-powered, с гибкими возможностями работы как со сценариями, так и no “scriptless”-модели. Умеет тестировать GUI-интерфейс десктопных приложений на Java, .NET и WPF. По части веб-приложений есть возможность интегрировать тесты для фреймворков Angular и React. Поддержка 2000+ браузеров (это включая мобильные аппы-браузеры, разумеется).

Дизайн и автоматизация UI-тестов для iOS и Android без джейлбрейка. Интеграция с Jira/Jenkins/ Azure DevOps /Git. AI-движок распознавания объектов находит потенциальные баги и помогает устранить немедленно.

  • Стоимость: 30-дневный trial. Далее: базовый план $6095, но можно выбрать какую-то одну из десктоп/мобайл/веб версий и платить только за нее. Все три версии вместе обойдутся в $9479. К этому есть еще пакет Plus с набором дополнительных инструментов “для всех браузеров и девайсов”.

***

8. QMetry Automation Studio

qmetry-automation-studio
https://www.qmetry.com/automated-testing-tools-qmetry-automated-studio/

Универсальная платформа для тестирования десктопа, мобайла (в том числе нативные аппы), веб-сайтов, веб-сервисов, и API. Подключается к таким незаменимым тулзам тестировщика как Selenium и Appium. Интегрируется с облачными платформами для веба и мобайла, типа Perfecto Mobile и Sauce Labs. Может работать с CI/CD-инструментами типа Bamboo/Jenkins.

Поддерживает Java/Python/JS/TypeScript. Подключается к фреймворкам JUnit, TestNG, Jasmine, Robot, Cucumber.

Беспроблемно “подхватывает” тесты, написанные на других фреймворках/платформах. Есть параллельное выполнение. 

  • Стоимость: бесплатный trial на месяц. Далее стоимость рассчитывается индивидуально для каждого клиента.

***

9. Katalon Studio

catalon-studio
https://www.katalon.com

Тоже универсальное решение, для мобайла/API/десктопа/веба. Работает на всех (распространенных) ОС. Приложения Android/iOS, API-сервисы, и веб-приложения во “всех” браузерах.

Katalon Studio установлена в 65000 компаниях по миру, что, наверное, свидетельствует. Удобна для малоквалифицированного персонала своими minimal-code-возможностями автоматизации. Интегрируется с CI-инструментами Azure/Bamboo/Jenkins/CircleCI, и с Jira.

  • Стоимость: в бесплатной версии можно ограниченно генерировать тест-кейсы для веба, API, десктопа и мобайла. Корпоративная лицензия есть в версиях Node-Locked и Floating; первая стоит $839/год, вторая $1689/год. Соответствующие лицензии на рантаймы — $600/год и 1319/год.

***

10. Micro Focus UFT

UFT
https://www.microfocus.com/en-us/products/uft-one/overview

UFT — Унифицированное Функциональное Тестирование. Как следует из названия, предназначена для функциональных тестов, а применяется также и для “регрессов”. Прежнее название (намного более известное до сих пор) — QuickTest. 

Мобильные, веб-, десктопные приложения, в том числе корпоративного уровня. Владелец продукта обращает внимание на “очень быстрое написание тестов, легкое обслуживание, быстрое достижение целевого покрытия, и гибкость”. Заявляется “качественное AI для быстрой проверки и выполнения большого количества тестов”. Поддерживается параллельное выполнение, и интеграция с DevOps-тулчейнами.

  • Стоимость: trial-период 60 дней. Далее выбрать корпоративный План, стоимость которого (и набор функций) уточняется индивидуально.

***

Какой была ваша первая зарплата в QA и как вы искали первую работу?

Мега обсуждение в нашем телеграм-канале о поиске первой работы. Обмен опытом и мнения.

Подписаться
Уведомить о
guest

0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии
$1100*
медианная зарплата в QA в ноябре 2021

*по результатам опроса QA-инженеров в нашем телеграм-канале

Последние публикации

Мы в Telegram

Наш официальный канал
Полезные материалы и тесты
Готовимся к собеседованию
Project- и Product-менеджмент

💬 Telegram-обсуждения

Наши подписчики обсуждают, как искали первую работу в QA. Некоторые ищут ее прямо сейчас.
Наши подписчики рассказывают о том, как не бояться задавать тупые вопросы и чувствовать себя уверенно в новой команде.
Обсуждаем, куда лучше податься - в менеджмент или по технической ветке?
Говорим о конфликтных ситуациях в команде и о том, как их избежать

Последние комментарии