внешнее тестирование

Внешнее юзабилити-тестирование
(на основе данных пользователей)

Анализ оценок и отзывов;
Конкурентный анализ;
Интервью ключевых пользователей;
Анкетирование пользователей;
Анализ поведения пользователей.

Что такое конкурентный анализ и как он проходит

Анализ конкурентов (сравнительное тестирование) - это прямое сравнение с более успешными конкурентами в нише. Сравнение позволяет выявить слабые места интерфейса, преимущества вашего продукта перед конкурирующими решениями, а также удачные практики конкурентов, которые стоит учесть при развитии продукта.
Респонденты в лаборатории выполняют ряд аналогичных пользовательских задач в разных продуктах или в разных версиях продукта. Мы анализируем успешность выполнения задач по каждому продукту/версии, выделяем проблемы и удачные решения. Даем рекомендации по устранению недостатков.
Результатом является отчет о сравнении продуктов по юзабилити-параметрам. Он включает лучшие решения из рассматриваемых продуктов, список слабых мест продукта и рекомендации по их устранению.

Какое бывает внешнее тестирование

В зависимости от степени
участия модератора:
модерируемое — модератор дает задания, наблюдает за ходом их выполнения, задает уточняющие вопросы;
немодерируемое — специализированный сервис дает задания, собирает метрики и обратную связь в автоматическом режиме, без участия модератора.
В зависимости от места расположения респондента:
очное — респондент и модератор находятся в одном помещении, как правило, в лаборатории, и общаются непосредственно;
удаленное — респондент участвует в тестировании из дома или со своего рабочего места.

Какое бывает внешнее тестирование

В зависимости от степени
участия модератора:
модерируемое — модератор дает задания, наблюдает за ходом их выполнения, задает уточняющие вопросы;
немодерируемое — специализированный сервис дает задания, собирает метрики и обратную связь в автоматическом режиме, без участия модератора.
В зависимости от места расположения респондента:
очное — респондент и модератор находятся в одном помещении, как правило, в лаборатории, и общаются непосредственно;
удаленное — респондент участвует в тестировании из дома или со своего рабочего места.

В зависимости от целей:
эксплораторное — проводится на стадии разработки концепции интерфейса, чтобы проверить, насколько в целом концепция понятна пользователям, соответствует их потребностям и ожиданиям;
проверочное — проводится, чтобы найти и исправить юзабилити-проблемы или оценить показатели эффективности готового продукта или его макета (время, затраченное на выполнение задач, удовлетворенность пользователей и т.п.);
сравнительное — проводится, чтобы сравнить эффективность новой и старой версий или двух конкурирующих продуктов (требует участия большого количества респондентов, чтобы можно было делать значимые выводы). Проводится порой в фокус-группах

Как проходит пользовательское тестирование

Нам понадобится доступ к google-analytics или Яндекс метрики. Собрав требования к проекту, специалист составляет сценарий тестирования, так как к каждой системе мы подходим индивидуально. Это документ, который содержит инструкцию для респондента, список тестируемых задач и вопросы, которые нужно будет задать после выполнения каждой задачи и после завершения тестирования. Сценарий согласовывается с заказчиком. Параллельно с написанием сценария идет поиск респондентов. После того, как сценарий согласован и респонденты найдены, начинается процесс тестирования.

Подготовка сценария

Формирование отчета

После того, как все сессии тестирования проведены, UX-аналитик составляет отчет для заказчика. Как правило, экспертная оценка на 70-80% пересекается с результатами пользовательского тестирования.

Перед началом проводится беседа с заказчиком, чтобы больше узнать о продукте, который предстоит тестировать, его аудитории, целях тестированияи гипотезах, которые хотелось бы проверить.

Интервью с заказчиком

В случае удаленного юзабилити-тестирования респондент участвует в тестировании из дома
или со своего рабочего места. Если требуется участие модератора, аналитик общается с респондентом по видеосвязи. В остальном тестирование проходит аналогично.

Удаленное тестирование

Респондент приезжает к нам. Респонденту рассказывается о процедуре тестирования, затем зачитываются прописанные в сценарии задания и отслеживается ход их выполнения. При этом фиксируются различные юзабилити-метрики: времяи успешность выполнения задачи, удовлетворенность респондента и некоторые оперативные психологические метрики. Набор метрик обсуждается с заказчиком перед началом проекта.В ходе тестирования записывается видео, на котором видно все происходящее на экране респондента,его лицо и слышны его комментарии.

Процесс тестирования

Сколько респондентов необходимо:

Для качественных исследований;

Для количественных
исследований;

Для eye-tracking
(это стандартное количество);

В редких случаях может потребоваться увеличение количества респондентов.

Что такое качественные исследования

Что такое количественные исследования

Где брать респондентов

Это исследования, которые выбирают, чтобы получить много разных замечаний, чтобы было проще понять мышление пользователей
(найти скрытые проблемы). Исследование основывается на понятных
и гибких вопросах. Во время него проводится интервью, которое показывает степень удовлетворенности респондентов. Все ответы респондентов переводятся в баллы и оцениваются по шкале ожиданий
от «мне нравится» и «я ожидаю это» до «мне не нравится и я не могу это принять». По итогу проектировщик строит график, который показывает, что именно пользователи считают:

само собой разумеющимся;

опрос клиентов заказчика;

прямая коммуникация с целевой аудиторией через форумы/группы интересов.

обращение в специализированные организации по подбору респондентов;

конкурентным преимуществом продукта;

функциями, которые вызывают у них восторг;

неважным.

Это исследования, которые всегда конкретны и нацелены на получение числовых показателей. Это может быть время выполнения действий на сайте или доля респондентов, выполнивших задание. Участникам тестирования в основном дают одинаковые задания, чтобы показатели были более достоверными.

После определения целевой аудитории заказчика мы выбираем оптимальный метод подбора:

3-5

Труд респондентов оплачивается заказчиком. Обычной практикой является начисление какого-то количества денег (баллов, миль, бонусов) на внутренний счёт или бонусную карту респондента
в интернет-магазине или сервисе, чтобы респондент мог их потратить в проверяемом сервисе.

5-20