- Обсуждение деталей
- Подбор специалистов в команду
- Определение области тестирования
- Определение покрытия устройств
- Подготовка артефактов тестирования
- Запуск тестов
- Отчетность и результаты
Интернет постепенно охватывает весь мир, а смартфоны становятся более доступными. В результате люди все более массово используют мобильные приложения.
В наше время соответствующее приложение найдется, наверное, уже для всего — от государственных и банковских услуг до фитнеса. При этом, если вы хотите добавить в общую копилку собственный продукт (пусть даже он будет далеко не единственным в своем сегменте), это все еще хорошая идея. Благодаря исследованиям рынка и тщательному планированию можно будет быстро найти для вашего приложения подходящую аудиторию.
В том, что касается планирования, есть одна важная составляющая. Крайне важно не забывать о тестировании приложения и закладывать на него время и ресурсы.
Тестирование — необходимый шаг, если вы хотите выпустить продукт, работающий точно так, как предполагалось. Некоторые команды доверяют тестирование самим разработчикам, но это не лучший вариант. Тестированием, как и любым другим делом, должны заниматься профессионалы.
В этой статье мы разберем процесс тестирования мобильного приложения шаг за шагом, чтобы помочь вам лучше понять, как все происходит.
Шаг 1. Обсуждение деталей
Любое партнерство начинается с обсуждения общих целей. Это правило работает и для тестирования программного обеспечения.
Если компания заказывает тестирование продукта у другой компании — проводятся встречи или телефонные переговоры, на которых обсуждается проект и то, какие услуги по тестированию предлагаются.
Затем потребуется день или два на подготовку сметы проекта. Если стороны пришли к соглашению по техническим требованиям, стоимости и срокам, подписывается договор (MSA, NDA и/или другие документы).
Однако тестирование не всегда начинается сразу. Тестировщикам может потребоваться время на завершение текущих проектов. Поэтому поиск QA-партнера нужно начинать заранее.
Если в штате компании есть собственный отдел тестирования, все несколько упрощается. Но в любом случае весь процесс начнется с обсуждения деталей проекта и сроков.
Шаг 2. Подбор специалистов в команду
После подписания соглашений компания, занимающаяся тестированием, подбирает тестировщиков, которые будут работать с мобильным приложением. При выборе кандидатов учитывается как наличие навыков, так и знание предметной области.
Клиенты могут просматривать портфолио и интервьюировать каждого отдельного специалиста.
Затем согласовываются инструменты для отслеживания багов, коммуникации и управления проектами, которыми будет пользоваться команда. Тестировщикам может понадобиться доступ к Jira, Slack и т. д. команды разработки.
Шаг 3. Определение области тестирования
При тестировании конкретного продукта собственник может заказывать не полный набор всех возможных тестов. Если речь идет о мобильном приложении, скорее всего будет выбрано функциональное тестирование, тестирование пользовательского интерфейса, тестирование совместимости и регрессионное тестирование.
- Функциональное тестирование нужно для проверки, соответствуют ли фактические функции программного обеспечения первоначальным требованиям. Т.е., работает ли все должным образом.
- Тестирование пользовательского интерфейса фокусируется на тех элементах макета и графики, которые позволяют взаимодействовать с серверной функциональностью (т. е. проверяется все, что можно нажать).
- Тестирование совместимости позволяет узнать, как мобильное приложение работает на различных устройствах. Для этого его устанавливают на смартфоны с разным программным и аппаратным обеспечением.
- Регрессионное тестирование проводится после устранения бага. Таким образом проверяется, что последние изменения не повлияли на функциональность.
В зависимости от типа приложения, его сложности, целевой аудитории и некоторых других факторов список видов тестирования может быть расширен. Собственнику продукта могут предложить провести некоторые из следующих видов тестирования:
- Тестирование производительности помогает обнаружить потенциальные недостатки в производительности приложения, такие как медленная загрузка, неспособность выдерживать интенсивный трафик, ненормальное использование ЦП и т. д. Подробнее о тестировании производительности веб-сервисов можно почитать по ссылке.
- Интеграционное тестирование нужно для проверки совместной работы разных частей приложения. Оно запускается после добавления новых функций.
- Тестирование доступности позволяет нам узнать, является ли мобильное приложение инклюзивным. Другими словами, мы проверяем, удобно ли приложение для людей с различными ограниченными возможностями.
- Тестирование локализации позволяет убедиться, что приложение адаптировано для аудитории в разных странах и регионах.
- Приемочное тестирование происходит на заключительных этапах, когда у нас уже есть приложение, потенциально готовое к выпуску.
- Тестирование безопасности позволяет убедиться, что все пользовательские данные находятся в безопасности и что несанкционированный доступ к ним исключен. Это имеет большое значение, поскольку даже развлекательные приложения часто требуют и обрабатывают платежи, не говоря уже о финансовых и медицинских приложениях, которые имеют дело с большим количеством конфиденциальных данных.
- Исследовательское тестирование — это тип ручного тестирования, целью которого является проверка приложения без использования заранее написанных кейсов или других документов. Чтобы найти баги, тестировщики моделируют различные пути пользователя, полагаясь на свой опыт и интуицию.
Процедура автоматизированного тестирования
В ходе работы над проектом может возникнуть потребность в автоматизации. Чтобы перейти к автоматизированному тестированию, приложение должно иметь хоть какую-то стабильную функциональность.
Специалисты по автоматизации тестирования обсуждают с клиентом покрытие и готовят тестовые сценарии для оговоренного функционала. Со временем набор тестов AT может расширяться или меняться, если продукт продолжает развиваться.
Пользовательское тестирование
Под пользовательским тестированием люди подразумевают UAT (user acceptance testing -пользовательское приемочное тестирование). Выше мы упомянули немного другой термин — приемочное тестирование. Между этими двумя процессами есть небольшая разница. При приемочном тестировании команда тестировщиков действует как группа альфа- или бета-тестеров. UAT означает сбор фокус-группы случайных целевых пользователей, которые будут взаимодействовать с приложением и обеспечивать обратную связь.
Как правило, для определения готовности продукта к запуску достаточно приемочного тестирования, выполненного профессиональными тестировщиками.
Шаг 4. Определение покрытия устройств
После обсуждения того, что тестировать, важно окончательно определиться со списком устройств, которые будут использоваться в процессе. Т.е. нужно понять, на чем тестировать приложение. Опять же, клиент может запросить конкретные устройства, которые тестировщики должны использовать, или оставить это решение QA-команде.
При составлении списка устройств важно выбрать комбинации смартфонов, которые будут различаться по следующим критериям:
- производители
- размеры экрана
- ОС и их версии
- версии браузера
Имеет смысл проводить тестирование на устройствах и программном обеспечении, популярных на целевом рынке, поскольку доминирующие смартфоны различаются в зависимости от географии пользователей.
Шаг 5. Подготовка артефактов тестирования
Следующим шагом является создание тестовой документации или артефактов тестирования.
Документация помогает структурировать процесс тестирования. Тестировщикам нужны план и стратегия, которым они будут следовать. А стейкхолдеры благодаря документации будут лучше понимать объем работы и последовательность событий.
Процесс тестирования регулируется разными документами:
- QA-стратегия описывает все процедуры, связанные с качеством, которые будут выполняться в ходе проекта. Она охватывает не только тестирование, но еще и бизнес-анализ и аудит.
- План тестирования включает в себя всю информацию, связанную с тестированием конкретного продукта. Здесь будет все: от целей и задач до подробного описания действий тестировщиков.
- Стратегия тестирования служит руководством для команды тестировщиков. В ней указывается цель тестирования, перечисляются виды тестирования, которые будут проводиться, и инструменты, которые будут использоваться. Также в стратегии тестирования объясняются такие важные моменты, как общий подход, серьезность и приоритет багов, управление жизненным циклом багов и т. д. Вообще в стратегии тестирования излагается лишь часть информации, представленной в плане тестирования, так что она может быть частью плана.
- Тест-кейс описывает набор действий, которые тестировщик должен выполнить для проверки конкретной функции. В этом документе также содержится краткое описание, предварительные условия, ожидаемые и фактические результаты.
- Чеклист — это документ с кратким описанием функционала, который необходимо проверить. В нем не расписывается пошаговая процедура тестирования, это скорее короткий список задач.
Все эти документы помогают поддерживать надлежащую организацию процесса тестирования. Не все из них необходимы. То, какие документы нужны, команда тестировщиков определяет, исходя из особенностей проекта.
Шаг 6. Запуск тестов
Итак, документы готовы, и тестировщики могут приступить к изучению функционала мобильного приложения. У них есть набор готовых тест-кейсов и установленные сроки, поэтому все, что осталось сделать, это методично проверить согласованные аспекты.
Тестировщики находят, регистрируют и отслеживают баги, чтобы предоставить отчеты, которые будут полезны команде разработчиков.
Шаг 7. Отчетность и результаты
То, в каком виде должны быть представлены результаты, обсуждается сторонами и указывается в документации тестирования. Обычно специалист регистрирует баги в системе управления проектами (Trello, Jira и т. д.) или вносит в отдельный документ (таблицы и т. д.).
Кроме того, клиенту могут быть предоставлены отчеты о проведенных тестах, тест-кейсы и чеклисты. Окончательная версия чеклиста и тест-кейсов при этом всегда включает статус каждой позиции: «пройдено», «не пройдено» или другие варианты, указанные в документации.
Что касается отчетов о тестировании, они обобщают результаты работы тестировщиков. В этом документе указывается цель тестирования, дается краткое описание проведенных действий и информация о найденных багах. Например, вы можете указать, сколько багов каждого уровня серьезности было обнаружено, количество багов, обнаруженных на каждом этапе, и так далее.
Итоги
После окончания тестирования мобильного приложения и представления результатов команда разработчиков может приступить к исправлению багов.
Продолжительность всего процесса тестирования зависит от сложности приложения и объема работ. Неизменным остается только положительный результат. Тестирование — не единственное, что определяет успех продукта после выпуска. Но оно дает уверенность в конечном продукте и становится его конкурентным преимуществом.
