Що робити, коли користувацьке тестування неможливо провести наживо, та який інструмент варто підібрати для віддаленого тестування? Олександр Хомутов, ex-Product Designer в Readdle, підготував огляд інструментів для різних типів досліджень і ситуацій.

В епоху пандемії, коли світ остаточно перейшов до онлайну, дизайнери продуктів також зіштовхнулися з новим випробуванням: як провести користувацьке тестування віддалено?

На щастя, існує безліч інструментів для проведення якісних або кількісних користувацьких досліджень. Проте, як обрати потрібний інструмент, що пасуватиме саме до ваших цілей? Аби відповісти на це запитання, я провів невелике дослідження, у якому порівняв найпопулярніші інструменти для користувацького тестування, їхні головні відмінності, цінову політику та головне — для яких завдань найкраще підходять конкретні інструменти.

Як обрати необхідний інструмент для тестування?

Аби правильно обрати відповідний інструмент для тестування, потрібно відповісти на три прості питання.

1. Що саме ви збираєтеся протестувати? 

Деякі інструменти дозволяють тестувати живі мобільні додатки з App Store чи Google Play, інші надають можливість протестувати .ipa чи .apk файли мобільного додатку, зображення, інтерактивні прототипи, вебсайти або мають водночас багато функцій.

2. Який тип інформації ви хочете отримати завдяки тестуванню?

Існує два типи досліджень — якісні та кількісні.

Якісне дослідження

Якщо ви прагнете отримати інсайти про те, як люди використовують ваш продукт, то найкраще вам підійде якісне користувацьке тестування. Для нього достатньо всього 5–7 користувачів.

Якісне тестування вимагає присутності модератора, щоб протягом усього тестування була змога поставити додаткові питання. Так можна отримати більш розгорнуті, а тому і «якісні» відповіді. Інший варіант — переглянути відеозаписи тестувань, хоча це менш ефективно.

Кількісне дослідження

Цей тип дослідження сфокусований на отриманні аналітичних даних: проходження сценарію, відсоток успішності виконання завдання, час, що потрібен на виконання завдання, рейтинг задоволеності користувача тощо.

Для кількісного дослідження не потрібен модератор, і користувачі проходять тестування самостійно. Такий тип тестування чудово підходить для тих, хто має конкретну гіпотезу і прості прямолінійні запитання та прагне довести або ж спростувати цю гіпотезу за допомогою кількісних даних. До кількісного тестування зазвичай залучають від 25 користувачів.

3. Як ви збираєтеся залучати користувачів до тестування?

Якщо є певна аудиторія користувачів, готова взяти участь у тестуванні, то варто розглянути інструменти з можливістю залучення власних користувачів. Якщо ні — в певних інструментах можна найняти платних тестувальників з різних дослідницьких панелей. Так легше підібрати потрібну аудиторію за різними демографічними характеристиками. Водночас зверніть увагу, що основною мотивацією платної аудиторії буде не зацікавленість у вашому продукті, а гроші, отримані за тестування.

12 інструментів для користувацького тестування

1. Lookback.

Платформа для якісних тестувань власних користувачів без залучення платної аудиторії. Це одна з небагатьох платформ, що дозволяє проводити модеровані та немодеровані тестування за цілком доступними цінами.

+ Переваги

• Модеровані тестування наживо через відеозв’язок: можна спілкуватися з користувачами, спостерігати за їхніми екранами та емоціями під час тестування.
• Немодеровані віддалені тестування: можна створювати завдання для користувача та пізніше оцінювати успішність виконання, переглядаючи відеозаписи.
• «In person» тестування, коли модератор знаходиться в одному приміщенні з користувачем.
• Підходить для тестування нативних мобільних додатків, вебпрототипів (Invision, Marvel, Figma) чи сайтів.
• При тестуванні вебпрототипів мобільних додатків є можливість вимкнути панель навігації браузера, що дозволяє максимально реалістично відтворити прототип мобільного додатку на смартфоні користувача.

− Недоліки

• Немає своєї бази платних користувачів, тому для проведення тестування потрібно буде залучати лише власних респондентів.
• Не найкращий варіант для кількісних тестувань, бо відсутні юзабіліті-метрики (час на виконання завдання, відсоток успішності виконання завдання тощо).

Вартість

Від $ 100 на місяць (після 14-денного випробувального періоду), оплата здійснюється щорічно, на рік надається сто тестових сесій, також є тарифні плани з більшою кількістю сесій.

2. PlaybookUX.

Універсальна платформа з досить широким функціоналом, що охоплює якісні та кількісні дослідження.

+ Переваги

• Підходить для тестування мобільних додатків (Android, iOS), інтерактивних вебпрототипів (Invision, Marvel, Figma) та сайтів.
• Платформа надає змогу проводити модеровані тестування наживо, через відеозв’язок.
• Є функціонал для немодерованих тестувань.
• Можна створювати завдання для користувача та пізніше за відеозаписами оцінювати успішність їх виконання.
• Транскрипція запису, щоб швидше аналізувати відео.
• Юзабіліті метрики (час на виконання завдання, задовільність тощо).

Вартість

Від $ 49 за користувача у немодерованому тестуванні, $ 100 за користувача у модерованому тестуванні та $ 279 на місяць із семиденним випробувальним періодом, якщо залучаєте власних користувачів.

3. UserTesting.

Один із перших і найбільших гравців на ринку платформ для користувацького тестування. Найкраще підходить для немодерованого тестування. Є можливість проведення модерованого тестування наживо, проте ця функція, як і основний функціонал, доступний лише для Enterprise-клієнтів.

+ Переваги

• Понад півтора мільйона платних тестувальників.
• Підходить для тестування вебпрототипів і готових мобільних додатків.
• За запитом можна отримати підтримку від досвідчених дослідників.

− Недоліки

• Модероване тестування доступне лише для Enterprise-клієнтів.
• Лімітована кількість тестувань для базового плану — 15 сесій на рік, для Enterprise — за домовленістю.

Вартість

$ 49 за один немодерований тест з користувачем, Enterprise — за домовленістю (за даними з відкритих джерел, ціна стартує від $ 20 тис. на рік).

4. Userlytics.

Ще один піонер серед платформ для користувацьких досліджень. Достатньо комплексна платформа з широким функціоналом, що надає можливість проводити якісні та кількісні дослідження.

+ Переваги

• Підходить для тестування готових мобільних додатків (Android, iOS) та інтерактивних вебпрототипів (Invision, Marvel, Figma).
• Модеровані тестування за допомогою відеозв’язку.
• Транскрипція запису, щоб швидше аналізувати відео.
• Немодеровані кількісні тестування та юзабіліті-метрики (час на виконання завдання, відсоток успішності виконання завдання тощо).
• Крім базових функцій, платформа також пропонує Card Sorting і Tree Testing.

− Недоліки

• Модероване тестування доступне лише в Enterprise-плані.
• Досить застарілий і складний користувацький інтерфейс.

Вартість

$ 49 за один немодерований тест з користувачем. Модероване тестування доступне лише в Enterprise-плані й коштує $ 69 за один тест.

5. Loop11.

Loop 11 доповнює список піонерів серед платформ для користувацьких тестувань. Платформа була заснована у 2009 році та є універсальним рішенням для якісних і кількісних досліджень.

+ Переваги

• Підходить для тестування вебпрототипів (Invision, Marvel, Figma) і сайтів.
• Модеровані (наживо з користувачем із записом вебкамери, аудіо та екрану) і немодеровані тестування.
• Залучення власних користувачів без обмежень.
• Юзабіліті-метрики (час на виконання завдання, задоволеність тощо).

− Недоліки

• Немає можливості протестувати нативні мобільні додатки.

Вартість

Ціни починаються від $ 79 на місяць без обмежень для різних типів тестування та безлімітним залученням власних користувачів. Також надається 14-денний безоплатний випробувальний період.

6. UserZoom.

Ще одна комплексна платформа, що надає широкий функціонал для проведення якісних модерованих і кількісних немодерованих тестувань.

+ Переваги

• Підходить для тестування нативних мобільних додатків, вебпрототипів (Invision, Marvel, Figma) і сайтів.
• Модеровані та немодеровані тестування.
• 1,2 мільйона платних тестувальників для ваших проєктів.
• При тестуванні вебпрототипів мобільних додатків є можливість вимкнути панель навігації браузера, що дає змогу відтворити прототип мобільного додатку на смартфоні користувача максимально реалістично.
• Необмежена кількість тестувань з власними користувачами.

− Недоліки

• Висока ціна, що навряд чи підійде для невеликих команд та компаній. Найдешевший план стартує від $ 6 тис. на рік без можливості оплачувати інструмент щомісяця.

Вартість

Пропонується два тарифних плани. Перший — User Zoom для Enterprise-клієнтів, вартість якого можна дізнатися лише за запитом. Другий — User Zoom GO, що підходить для модерованих і немодерованих тестувань. Вартість тарифу стартує від $ 500 на місяць за індивідуальний план і $ 1000 та більше за план для команди. Оплата здійснюється одразу на весь рік. Також компанія пропонує 14-денний безоплатний випробувальний період.

7. TryMyUi.

Платформа для користувацьких досліджень, до якої входить чималий набір інструментів, сфокусованих на проведенні кількісних та якісних немодерованих досліджень.

+ Переваги

• Підходить для тестування опублікованих мобільних додатків з AppStore чи GooglePlay, неопублікованих (IPA, APK), а також будь-яких інтерактивних вебпрототипів (Invision, Marvel, Figma), сайтів та навіть HTML/CSS коду.
• Широкий набір юзабіліті-метрик у тарифі для команд.
• Тестування з власними користувачами у тарифі для команд.

− Недоліки

• Досить застарілий користувацький інтерфейс.
• Відсутній функціонал для модерованого тестування (спілкування в реальному часі).

Вартість

Ціна стартує від $ 99 на місяць за базовий тариф і 5 тестувань, окремо потрібно доплатити $ 45 за кожне додаткове тестування. Тариф для команд коштує $ 399 на місяць з ширшим функціоналом. У TryMyUi надається 14-денний безоплатний випробувальний період.

8. Userbrain.

Userbrain найкраще підходить для немодерованих тестувань, бо надає змогу користувачу самостійно виконувати завдання. Результат — відеозаписи екрану з аудіокоментарями користувача.

+ Переваги

• Підходить для тестувань без участі модератора.
• Можливість переглянути відеозаписи екрану з аудіокоментарями до кожного тестування.
• Тестування будь-яких вебпрототипів (Invision, Marvel, Figma), зображень, вебсайтів та навіть email-темплейтів.

− Недоліки

• Відсутні юзабіліті метрики, важливі для кількісного тестування.
• Немає можливості тестувати нативні мобільні додатки.
• Відсутній функціонал модерації користувача (онлайн-спілкування).

Вартість

$ 35 за один тест з користувачем. Тестування із залученням власних користувачів коштує $ 99 на місяць (за 30 користувачів).

9. User Insights.

User Insights орієнтована на немодеровані тестування. Платформа пропонує п’ятихвилинні тестування: в результаті можна отримати відео, в якому користувач виконує завдання.

+ Переваги

• Підходить для тестування будь-яких інтерактивних вебпрототипів та сайтів.
• Є можливість отримати відеофідбек від користувачів про ваших конкурентів (до трьох конкурентів).

− Недоліки

• Немає можливості залучати власних користувачів до тестування.
• Тестування нативних мобільних додатків недоступне.
• Відсутній функціонал модерації користувача (спілкування в реальному часі).

Вартість

Немає формату підписки. Ціна залежить від кількості тестувань: $ 20 коштує один тест з користувачем, $ 180 — 10 тестувань.

10. Maze.

Відносно нова платформа з фокусом на немодеровані кількісні тестування. Платформа надає широкий набір функцій і метрик для досягнення цілей кількісного дослідження.

+ Переваги

• Підходить для тестування будь-яких інтерактивних вебпрототипів (Invision, Marvel, Figma, Adobe XD, Sketch) і сайтів.
• Близько п’ятдесяти шаблонів для кількісних досліджень: юзабіліті тестування, дизайн-опитування, тестування п’яти секунд, Сard Sorting, Tree Test тощо.
• Платформа надає юзабіліті метрики для аналізу досліджень (час на виконання завдання, відсоток непопадання по цілі, успішність проходження сценарію).

− Недоліки

• Немає можливості тестувати нативні мобільні додатки.
• Не підходить для якісних тестувань, бо відсутній функціонал запису екрану та спілкування в реальному часі.

Вартість

Безоплатна версія з трьома проєктами та базовим функціоналом. Платні тарифи починаються від $ 33 на місяць за 10 проєктів без обмежень функціонала.

11. Marvel.

Досить відома платформа для створення інтерактивних прототипів, а сьогодні ще й новий гравець на ринку платформ для користувацьких досліджень. Зараз платформа сфокусована на немодерованих тестуваннях.

+ Переваги

• Об’єднує в собі інструмент для створення інтерактивних прототипів та платформу для проведення юзабіліті тестувань.
• Під час тестування записує обличчя користувача, екран та аудіо, що дає змогу точніше оцінити поведінку та дії користувача.
• Платформа надає юзабіліті-метрики для аналізу дослідження (час на виконання завдання, відсоток непопадання по цілі, успішність проходження сценарію).

− Недоліки

• Платформа дозволяє тестувати лише прототипи, що були створені в Marvel, тобто немає можливості протестувати сторонні прототипи (Invision, Figma, Adobe XD, Sketch).
• Немає можливості тестувати нативні мобільні додатки.
• Відсутній функціонал для модерованого тестування.
• Немає своєї бази платних користувачів, тому для проведення тестувань потрібно буде залучати власних користувачів.

Вартість

Один проєкт з юзабіліті-тестування можна створити безоплатно. Три проєкти коштують $ 12 на місяць, а 10 проєктів — $ 42 на місяць (оплата за рік).

12. UsabilityHub.

Ще одна платформа для віддалених користувацьких досліджень з фокусом на кількісні немодеровані тестування. Підходить для тестування окремих зображень (це може бути дизайн вебсайту, мобільного додатку, email-темплейту), але без змоги взаємодіяти з ними.

+ Переваги

• Широкий функціонал для кількісних досліджень: тестування першого кліку, дизайн-опитування, тестування п’яти секунд, порівняльні тестування (до шести різних опцій).
• Понад 340 000 тисяч тестувальників для ваших проєктів.
• Можливість безоплатно залучати власних користувачів.

− Недоліки

• Не підходить для проведення якісних модерованих досліджень.
• Немає можливості тестувати інтерактивні вебпрототипи, нативні додатки та вебсайти — лише зображення (PNG, JPEG, GIF).
• Платформа надає результати тестування лише у вигляді статистики, без можливості переглянути відеозапис тестування чи прослухати аудіокоментарі користувача.

Вартість

Якщо використовувати власних користувачів, то можна безоплатно проводити тестування, що тривають менш ніж дві хвилини. У тестуваннях від п’яти хвилин потрібно заплатити $ 79 на місяць. Послуги платних респондентів коштують від $ 2 за одного тестувальника залежно від тривалості тестування.

Висновки

Модероване тестування

Якщо ви працюєте над продуктом на початковій стадії, то основне завдання — краще зрозуміти користувачів та їх проблеми. Для цього найкраще підходить якісне модероване дослідження, яке націлене на отримання інсайтів, що допоможуть покращити продукт. Для подібного сценарію обирайте серед інструментів, що підтримують модероване тестування, наприклад Lookback, UserZoom або ж PlaybookUX.

Немодероване тестування

Якщо потрібно провалідувати свою дизайн-гіпотезу шляхом аналітичних даних чи знайти способи переконати стейкхолдерів або команду щодо робочої/неробочої ідеї, то варто звернутися до цифр. Для цього краще підходять платформи для немодерованих тестувань і збору кількісних даних (юзабіліті-метрик), наприклад, Maze, TryMyUI чи UsabilityHub.

Для швидкого та дешевого тестування дизайну на зручність без тривалих модерованих тестувань, варто звернути увагу на Marvel, який надає можливість створювати прототипи й тестувати їх з реальними користувачами.

Як ви вже зрозуміли, вибір платформ для користувацьких досліджень чималий. До того ж на ринку щороку з’являється все більше інструментів для тестувань. Підбір інструментів для вашого дослідження — це індивідуальне питання, що напряму залежить від цілей вашого дослідження, технічних, фінансових та інших обмежень, що має ваш проєкт. Завдяки порівнянню різних платформ, можна з’ясувати, який інструмент для віддаленого користувацького тестування має найбільше переваг саме для вас.