Как тестируют юзабилити в Spotify

«В начале 2020 руководство Spotify осознало необходимость улучшения user experience для сохранения лидирующей позиции в индустрии. Ниже описаны предпринятые шаги, проблемы, и выводы для продакт-менеджеров и тестировщиков.

Шаг 1: Определение целей

В начале 2020 года в штаб-квартире Spotify в Стокгольме команда управления продуктом собралась в конференц-зале с видом на живописный шведский город. Они были заряжены идеей: улучшить Spotify для миллионов пользователей по всему миру. Первым шагом, конечно, было определение целей.

Команда задалась вопросом, как сделать user journey более плавным, приятным, и учитывающим индивидуальные предпочтения. Задачей было понять все тонкости поведения пользователей и в конечном итоге повысить их вовлеченность и удовлетворенность.

  • Цель 1: Выявление проблемных точек в User Journey

Нужно было выявить разочаровывающие моменты, какие-то препятствия или проблемы навигации. Сюда входили вопросы, связанные с поиском треков, созданием плейлистов, рекомендаций и другое подобное.

  • Цель 2: Осознание предпочтений и поведения пользователей

Продуктовая команда Spotify стремилась понять предпочтения и поведение пользователей. Для этого необходимо было выяснить, как различные сегменты пользователей взаимодействуют с платформой. Они хотели выяснить, какие жанры музыки пользователи предпочитают, как они открывают для себя новую музыку, и как часто используют различные функции.

  • Задача 3: Повышение вовлеченности и удовлетворенности

Конечной целью Spotify было повышение вовлеченности и удовлетворенности пользователей. Они стремились создать более легкое и приятное потоковое воспроизведение, которое бы заставляло пользователей возвращаться на платформу. Команда намеревалась внедрить улучшения, которые не только удержат существующих пользователей, но и привлекут новых.

Шаг 2: Подбор кроссфункциональной команды

Осознав сложность задачи, руководство начало собирать «группу супергероев». То есть кроссфункциональную команду типа «Мстителей», каждый участник которой обладает уникальным супер-скиллом.

Здесь были менеджеры по продуктам, знающие толк в стратегиях, UX-дизайнеры с эстетическим вкусом, дата-сайентисты, умеющие «оцифровывать и расшифровывать» поведение пользователей, и разработчики, способные воплощать идеи в жизнь.

Команда знала, что лишь объединение скиллов дает возможность решить любую задачу.

Шаг 3: Сегментация пользователей

Пользовательская база Spotify напоминала огромную, сложную мозаику, каждый кусочек не был похож на другой. Чтобы глубже проанализировать свою аудиторию, команда решила сегментировать пользователей.

Они изучали демографические данные, исследовали музыкальные привычки и проанализировали их девайсы. Эта работа была похожа на пазл — каждый кусочек в итоге должен был сложиться в целостную картину.

  • Демографические сегменты: Основаны на демографической информации: возраст, пол, место жительства и язык общения. Spotify ориентируется на самые разные возрастные группы — поколение Z, миллениалы, бэби-бумеры.
  • Музыкальные привычки: Пользователей распределили по категориям на основе музыкальных предпочтений: сколько раз прослушан тот или иной трек, продолжительность, и любимые жанры. Были выделены такие сегменты, как Постоянные пользователи, Случайные, и Фанаты определенных жанров.
  • Девайсы: Часть пользователей предпочитала смартфоны, а другие — десктопы, лептопы или смарт-колонки. Пользователей сегментировали как Мобильных, Десктопных и Владельцев смарт-колонок.
  • Статус подписки: Сегменты по статусу подписки: бесплатное пользование, премиум-подписчики, участники Семейной подписки.
  • География: Были созданы гео-сегменты по местным музыкальным предпочтениям, языкам и отдельным региональным особенностям, то есть пользователи в разных странах и регионах.
  • Уровни вовлеченности: Взаимодействие пользователей с такими функциями Spotify, как плейлисты, персонализированные рекомендации и шеринг ссылок в соцсетях. Были выделены Создатели плейлистов, Интересующиеся новинками, и Любители шерить музыку в соцсетях.
  • История пользователей: Сегментация на основе истории взаимодействий с платформой, то есть являются ли они новыми пользователями, возвращающимися пользователями или пользователями, которые «потеряли вовлеченность».
  • Предпочтения в рекламе: Пользователей без подписки сегментировали на основе их рекламных предпочтений, чтобы предоставлять более релевантную рекламу.
  • Цели пользователей: Также учитывались основные цели пользователей при использовании платформы, например, поиск новой интересной музыки, создание подборок и плейлистов, или просто подписка на любимых исполнителей.

Шаг 4: Разработка прототипов

Когда сегменты пользователей определились, пришло время заняться инженерным волшебством — создавать интерактивные прототипы. Дизайнеры и разработчики работали без устали, создавая множество прототипов, имитирующих реальный user experience.

Шаг 5: Проведение юзабилити-тестирования

Когда начались непосредственно тестовые сессии (сеансы), конференц-зал превратился в «лабораторию инсайтов». Участники отправились в «путешествие по прототипам», а продуктовая команда наблюдала за каждым движением, нажатием клавиш (и вздохом разочарования).

Далее подробный процесс, как Spotify проводил тестирование юзабилити:

1. Планирование и подготовка:

Перед началом тестирования команда управления продуктом тщательно спланировала и подготовила процесс. Этот этап включал в себя:

  • Определение целей тестирования: Были определены конкретные цели: выявление проблемных точек, изучение поведения пользователей и повышение удовлетворенности.
  • Создание тестовых сценариев: Были разработаны сценарии и задачи, которые участники должны были выполнить, например создать плейлист или исследовать рекомендации.
  • Отбор участников: На основе определенных сегментов пользователей компания тщательно отобрала группы участников, обеспечив представительство нужных демографических групп, музыкальных привычек и предпочтений.
  • Обеспечение условий: Были обеспечены материальные условия для юзабилити-тестирования, оснащение необходимой техникой и оборудованием для наблюдения и фиксации действий участников.

2. Проведение сессий юзабилити-тестирования:

В ходе тестирования соблюдали четко структурированный процесс:

  • Тестирование на основе задач (Task-Based Testing): Участникам были представлены интерактивные прототипы приложения. Участники должны были выполнить определенные задачи: поиск определенной песни, создание плейлиста, оценка персонализированных рекомендаций. Тестовые задачи были тщательно подобраны в соответствии с конечными целями команды.
  • Наблюдение и сбор данных: Участники работали с прототипами, а исследователи наблюдали за их действиями, фиксировали их реакции и комментарии, и конечно все проблемы и разочарования, с которыми они столкнулись.
  • Протокол Мысли Вслух (Think-Aloud Protocol): Участников поощряли не скрывать свои впечатления в процессе работы с прототипами. Это позволило исследователям получить ясное представление о принятии решений и эмоциях участников в режиме реального времени.
  • Запись и документирование: Записи сессий велись как в форме записи взаимодействия с экранами приложения, так и путем словесного опроса участников (обратной связи). Были созданы подробные заметки, фиксирующие реакции, проблемные моменты, и даже выражения лиц пользователей.

Шаг 6: Анализ данных

После тестирования пришло время разобрать громадное количество собранных данных. Количественные показатели (такие как процент успешного выполнения задач и затраченное время) были тщательно проанализированы. Также были проанализированы качественные данные из комментариев и фидбека пользователей. Использовались самые современные инструменты анализа данных, чтобы вскрыть трудно выявляемые закономерности.

Шаг 7: Итеративное совершенствование продукта

Разумеется, результаты юзабилити-тестирования были не просто цифрами и графиками, а руководством к действию. Продакт-менеджеры начали процесс итеративного совершенствования. В первую очередь, они упростили навигацию, доработали функцию поиска, и улучшили рекомендации плейлистов.

Каждое изменение было тщательно продумано, и его влияние измерялось непосредственно после внедрения.

Шаг 8: Непрерывный мониторинг — бесконечная симфония

На этом дело совершенствование продукта не закончилось — был создан фреймворк непрерывного мониторинга, для постоянного контроля качества и совершенствований.

1. Постоянный сбор фидбека пользователей:

Для обеспечения непрерывного мониторинга создали несколько каналов фидбека:

  • Опросы пользователей: Spotify периодически проводит опросы своих пользователей, как в самом приложении, так и по имейлу, чтобы обновлять данные об удовлетворенности, предпочтениях и проблемах.
  • Встроенные механизмы фидбека в приложении: Были созданы формы обратной связи в мобильном приложении, которые позволяли сообщать о проблемах, вносить конструктивные предложения или просто выражать свои впечатления непосредственно в приложении Spotify. Это фидбек-система в режиме реального времени.
  • Мониторинг социальных сетей: Spotify активно отслеживает соцсети, форумы и комьюнити, чтобы держать руку на пульсе настроений пользователей, не терять тренды. Такой подход позволяет проактивно решать проблемы и работать с комьюнити.

2. Аналитика данных и отслеживание метрик:

Помимо прямого фидбека, Spotify использует дата-аналитику для отслеживания поведения пользователей и производительности системы:

  • Метрики вовлеченности: Компания тщательно отслеживала показатели вовлеченности пользователей: как ежедневная и ежемесячная активность, продолжительность взаимодействия с приложением, и коэффициент удержания пользователей (retention rate). Любые падения и аномалии тут же исследовались.
  • Фичи: Команда анализировала данные о взаимодействии с определенными функциями, плейлистами и рекомендациями. Что помогло определить, какие функции «отзываются» у пользователей, а какие нуждаются в доработке.
  • Отслеживание ошибок и багов: Для оперативного обнаружения и решения технических проблем поддерживались надежные баг-трекинговые системы.

3. A/B-тестирование и выкатывание фич:

Spotify использовала A/B-тестирование для предварительной оценки изменений, прежде чем распространять их на всех пользователей. Такой data-driven подход позволяет избегать потенциальных проблем.

4. Ориентация на пользователя:

Spotify изначально поддерживала культуру ориентированности на пользователя (user-centricity). Продакт-менеджеры привили команде разработчиков майндсет, основанный на важности учета мнений пользователей и адаптации к их потребностям.

Выводы и советы для PM и QA

  1. Четкие цели: Определить конкретные цели тестирования, чтобы эффективно распределять усилия.
  2. Кроссфункциональные команды: Привлекать представителей разных команд, чтобы получать различные точки зрения.
  3. Сегментация пользователей: Учитывать разнообразие пользователей, чтобы адаптировать под них юзабилити и его тестирование.
  4. Интерактивные прототипы: Использовать по возможности реалистичные прототипы, позволяющие провести качественное тестирование.
  5. Продуманный отбор участников: Набирать разнообразный состав участников, как можно полнее представляющий пользовательскую аудиторию.
  6. Инсайты из данных: Сочетание количественных и качественных данных для получения целостной картины.
  7. Итеративное совершенствование: Непрерывно совершенствовать продукт на основе непрерывно обновляемых данных.
  8. Непрерывный мониторинг: Создать работающие контуры обратной связи для постоянного совершенствования.
  9. Гибкая адаптация: Быть Agile — быстро реагировать на потребности и тренды пользователей.
  10. Культура ориентации на пользователя: Поддерживать в командах майндсет, в котором мнение пользователей превыше всего.»

Источник


Какой была ваша первая зарплата в QA и как вы искали первую работу?

Мега обсуждение в нашем телеграм-канале о поиске первой работы. Обмен опытом и мнения.

Подписаться
Уведомить о
guest

0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии

Мы в Telegram

Наш официальный канал
Полезные материалы и тесты
Готовимся к собеседованию
Project- и Product-менеджмент

? Популярное

? Telegram-обсуждения

Наши подписчики обсуждают, как искали первую работу в QA. Некоторые ищут ее прямо сейчас.
Наши подписчики рассказывают о том, как не бояться задавать тупые вопросы и чувствовать себя уверенно в новой команде.
Обсуждаем, куда лучше податься - в менеджмент или по технической ветке?
Говорим о конфликтных ситуациях в команде и о том, как их избежать
$1100*
медианная зарплата в QA в июне 2023

*по результатам опроса QA-инженеров в нашем телеграм-канале

Собеседование

19%*
IT-специалистов переехало или приняло решение о переезде из России по состоянию на конец марта 2022

*по результатам опроса в нашем телеграм-канале

live

Обсуждают сейчас