Статті
Як ми проводили користувацькі тести для Фокстрот
UX-кейс від студії Hexagon
13 лютого, 2020
Вероніка Чабан
UX and Growth Design lead at Hexagon

Задумайтесь, як часто ви проводите користувацькі тести для свого продукту (чи обмежуєтеся лише А/Б- тестами)? Як давно спілкувалися зі своїми користувачами і чи спілкувалися взагалі? Знаєте їх чи вони так і залишаються ефемерними даними у вашому звіті?

Заривання у кількісний аналіз, метрики, А/Б-тести, статистику і KPI віддаляє нас від користувача і не завжди дозволяє йому емпатувати. Тому в агентстві Hexagon радять не забувати про якісні дослідження. Як правильно їх проводити — розповідають на прикладі своїх нещодавніх користувацьких тестів для Фокстрот.

Користувацькі тести бувають різними: якісними (глибинні інтерв’ю, модеровані тестування) або кількісними (опитувальники, блур-тести, А/Б- тести), модерованими і не модерованами і так далі. Ми зупинилися саме на модерованих, щоб отримати якісні дані і підкріпити ними кількісні.

Про різницю між кількісними і якісними тестами можна більше дізнатися у статті Nielsen Norman Group. Про відмінності між кількісним і якісним дослідженням, а також ефективним + чому найефективніше використовувати їх разом — у тексті від ServeyMonkey.

Модеровані тестування — швидкий і дієвий варіант, якщо вам складно визначити, де саме криється проблема, а аналітика не налаштована правильно чи бракує показників.

Для користувацьких тестів Фокстрота ми підбирали респондентів, ґрунтуючись на дослідженні компанії Fedoriv (вони розробляли нове позиціонування, логотип, ребрендинг і співпрацювали з маркетинг-відділом). Якщо таких досліджень немає, завжди можна знайти інший вихід: використовувати дані аналітики, провести власне дослідження аудиторії або розбити користувачів на групи через Jobs to be Done.

Ми вирішили формувати групи за віковим показником і кожній дали певний девайс: мобільний телефон, планшет чи ноутбук. З його допомогою учасники мали виконати наше завдання.

Класифікували вікові групи так:

  • Група 1 — у (18-33 років) — 10 людей
  • Група 2 — х (34-56 років) — 10 людей
  • Група 3 — z (14-18 років) — 10 людей

Для кожної з груп написали сценарій, аби якомога сильніше залучити людей у процес і викликати емпатію. Це була детально описана передісторія покупки і завдання, яке учасники мали виконати. Кожне із завдань ми розділили на проміжні етапи, це допомогло нам зрозуміти проблемні ділянки інтерфейсу.

Якщо ваш продукт і основна монетизація зав’язані на купівлі товару, обов’язково проходьте все флоу з покупкою під час тесту. Так ви помітите технічні баги й оціните перешкоди користувача на шляху до покупки.

Для тестування ми використовували програму Lookback. Вона дозволила нам записувати не тільки екран респондента, а й емоції.

Не менш важливо правильно ввести людину у завдання. Ось кілька лайфхаків:

  • Обов’язково поясніть їй, що таке юзабіліті-тестування і навіщо воно потрібне. А також, що саме вона і тільки вона допоможе в тестуванні. Відчувши свою потрібність, учасник підбадьориться (тут допустимо перебільшити).
  • Згадайте, що інтерфейс розробляли не ви (тут можна і треба сказати неправду), тому ви не заперечуватимете, якщо вона буде лаяти інтерфейс.
  • Перепросіть, що змушені записувати їхні дії. Поясніть, що ви передасте замовнику зібрані дані вже без особистої інформації.

Модератор може направляти і мотивувати користувачів, допомагати їм вирішувати проблеми, які стосуються девайсу та завдання, але не тестованого інтерфейсу.

Що ми вимірювали під час тесту:

  • час виконання завдань;
  • загальний час на купівлю від А до Я;
  • успішність виконання завдань;
  • частоту помилок (частотність проблем) під час певних завдань;
  • кількість кліків під час однієї покупки;
  • успіх чи невдачу покупки;
  • суб’єктивну задоволеність (ступінь задоволеності користувача сервісом від 1 до 10).

Для вашого продукту метрики можуть бути іншими. Про топ-10 юзабіліті метрик — у статті від Джефа Сауро, автора книг та статей, зокрема, про кількісну оцінку досвіду користувача.

Під час тестів ми заміряли час на завдання. Це дозволило нам точно порахувати середню швидкість виконання кожної задачі, а також зрозуміти, скільки загалом займає флоу покупки — від першої сторінки до підтвердження покупки. (Важливо відзначити і виміряти час, який іде на оплату, транзакцію і так далі, адже через інтеграції різних сервісів і збої в них губиться вагома частина замовлень).

Модератор має брати участь і в аналізі тестів. Пізніше він зможе пригадати проблеми, відмічені під час тесту. Дуже важливо відразу вести замітки — інформацію, яку потрібно буде потім обробити, багато, і її легко пропустити або забути.

Після тестів наші респонденти пройшли опитування. Їхні відповіді допомогли нам перевірити й оцінити суб’єктивну задоволеність інтерфейсом.

Суб’єктивна задоволеність — це оцінка користувачем зручності або комфорту роботи з системою. Її можна виявити за допомогою опитувальників. Їх респонденти заповнюють під час або після тестування. Є стандартні опитувальники, наприклад, System Usability Scale, Post-Study Usability Questionnaire або Game Experience Questionnaire для ігор.

Ми використовували Typeform, що дуже заощадило час на інтерпретації і візуалізації даних. Він виглядав так.

Часто користувачам здавалось, що вони проходять тест на знання інтерфейсу або патернів. Ваше завдання як модератора обов’язково попередити людину на початку, що ми не тестуємо її розумові здібності і не оцінюємо її як особистість, ми досліджуємо лише інтерфейс і наскільки він зручний у використанні.

Модератор має бути максимально нейтральним до інтерфейсу (найкраще відразу сказати, що цей продукт робили не ви), намагатися не виявляти жодних негативних чи позитивних емоцій про роботу інтерфейсу. Особливо, якщо ви працювали з ним раніше або робили редизайн, спробуйте максимально абстрагуватися. Будь-яка ваша критика або розхвалювання елементів інтерфейсу можуть істотно вплинути на тест, заплутати або сповільнити користувача, налаштувати його на негативний лад.

Що отримали на виході?

За кожним сценарієм ми побудували таблицю, яка включала всіх учасників групи. У таблиці ставили позначки: ✅— якщо завдання виконано успішно і ❌— якщо не виконано. Також в таблицю заносили час на завдання і загальний час на покупку.

Ми використовували бінарний принцип — впорався із завданням або не впорався. Але можна працювати за підходом Нільсена і виділяти три види оцінок:

  • впорався із завданням практично без проблем — 100%;
  • зіткнувся з проблемами, але виконав завдання самостійно — 50%;
  • не впорався із завданням — 0%.

Ви також можете використовувати методологію Rainbow SpreadSheet Томера Шерона з Google. Наочна таблиця для спільної роботи дослідника і команди.

Для кожного етапу (певного шматка флоу, наприклад, час на пошук товару, час на перший крок чекаута і так далі) ми порахували середній час виконання завдання. Ну і, звичайно, середній час на покупку — від відвідування головної сторінки до успішного оформлення замовлення.

Ця метрика показова у порівнянні. Як ми зрозуміємо, чи добре те, що користувач проходить завдання за 30 секунд? А ось те, що час скоротився у порівнянні з попередньою версією дизайну, це точно добре. Або те, що чекаут займає менше часу, ніж у конкурентів (якщо ви використовуєте користувацькі тести для аналізу конкурентів). Є інтерфейси, де скорочувати час на завдання критично необхідно — наприклад, робочий інтерфейс співробітника колл-центру.

На завершення ми зробили список інсайтів і рекомендацій щодо поліпшення флоу покупки, а також уточнили, на що конкретно варто звернути увагу.

Після запуску нового сайту проведемо таке ж тестування з респондентами за тими ж сценаріями і підрахуємо ті ж показники за тим самим флоу. Так будемо розуміти ефективність наших змін.

Кілька висновків:

1. Щоб якісно підвищувати ефективність продукту, поєднуйте кількісні і якісні дані.

Не покладайтеся лише на кількісні дані і статистику, обов’язково проводьте модеровані тестування, валідіруйте свої гіпотези і спілкуйтеся з користувачами, вивчайте проблеми ретельніше. Лише через розуміння поведінки користувачів ви зможете ефективно знизити відтік, зрозуміти причини або спростувати свої гіпотези.

Крім того, модеровані користувацькі тести — це вихід, коли немає достатньо грошей для інструментів зі скрінкастами користувачів (Hotjat, Fullstory і так далі). Це ефективний метод для первинного аналізу продукту перед редизайном або роботою над показниками ефективності, але тільки в поєднанні з кількісними даними (саме вони закладають основу).

2. Прописуйте детальний план тестування. 

Це дозволить вам визначитися з метриками і гіпотезами, які ви будете включати в тести, вибрати відповідний інструментарій для тестів, детально опрацювати ціль тестування і питання дослідження.

3. Правильно налаштуйте респондентів на тест і задачу.

Абстрагуйтеся емоційно від прив’язаності до інтерфейсу або критики. Допомагайте респондентам лише тоді, коли вони не розуміють, як виконувати завдання. Уважно аналізуйте і записуйте всі інсайти у ході тестів. У фінальному репорті тестів сортуйте проблеми від критичних до найменш важливих. На кожну проблему знаходьте рішення, якщо є можливість і ресурси, тестуйте їх за допомогою А/Б- тестів (якщо проблема не критична).

У другій частині статті ми розглянемо конкретні інсайти і проблеми, які знайшли під час тестів. Розкажемо, як вирішили проблеми і на що це вплинуло.


Раніше Telegraf.Design публікував UX-дослідження Telegram.

avatar
Вероніка Чабан
UX and Growth Design lead at Hexagon
Колонка

У нас є ще дещо для вас