Когнітивні упередження, вони ж – ілюзії, можуть звести нанівець найпродуманіше користувацьке дослідження. UX-консультантка Олена Булигіна зібрала рекомендації з управління упередженнями при плануванні, проведенні та розповсюдженні результатів досліджень користувачів, а також з практик роботи ресерч-команди.

Джерело зображення: www.sott.net

Уявімо звичайну ситуацію для будь-якого UX-фахівця незалежно від специфіки роботи, індустрії або розміру команди – наприклад, треба протестувати прототип. Або провести півтора десятка інтерв’ю. Або запустити кілька опитувань. Або уважно подивитися в логи і проаналізувати зміни в числах. Або презентувати результати попередніх місяців роботи кільком командам. Все ці робочі моменти об’єднує часом критична залежність від когнітивних упереджень.

Когнітивні ілюзії – систематичні помилки в мисленні, які відхиляються від нормативних правил або раціонального судження. (Gilovich & Griffin, 2002). Когнітивні упередження трапляються через опори на відповідні евристики. (Tversky & Kahneman, 1974). Ці евристики використовуються в ситуаціях з обмеженими когнітивними ресурсами, зовнішніми лімітуючими факторами або недоліком мотивації.

У більшості випадків ці евристики корисні, але іноді можуть і будуть негативно впливати на процес прийняття рішень. Іншими словами, це «кнопки швидкого доступу» для людської свідомості, а кількість прийнятих щоденних рішень досягає, можливо, мільярдів. Їх вплив поширюється на дії всіх масштабів і значущості. Прямо зараз, читаючи цей текст, ви приймаєте рішення, як переміщати очі по екрану, як сидіти в кріслі або тримати телефон у руці, звузити або розширити зіниці, і запускати по кожному з них раціональний процес просто неможливо.

Зазвичай, коли мова заходить про когнітивні викривлення, оперують поняттями з трьох дисциплін – поведінкової економіки, соціальної психології і когнітивних наук. Якщо переносити це на користувацькі дослідження, то головне питання звучить так: зрозуміти, які рішення повинні приймати користувачі в кожному конкретному контексті і оцінити їх з точки зору того, як люди взагалі приймають рішення.

Набір теорій, що описують модель свідомості з поділом на швидке «інтуїтивне» мислення або усвідомлене, спрямоване на прийняття рішень, описується в науковій літературі 70-х і 80-х років минулого століття. (Evans, 1989, Wason & Evans, 1975). Ці дві системи –«швидкого» мислення і «повільного» – зазвичай називають експліцитною і імпліцитною, або Системою 1 і Системою 2. (Evans, 1997, Stanovich & West, 2000). Важливо розуміти, що це концептуальні теорії – безпосередньо до конкретного відділу головного мозку Система 1 або Система 2 не прив’язані.

Система 1 – швидка

• Несвідоме прийняття рішень
• Відчуття, інтуїція, наміри, почуття
• Обробляє один потік інформації
• Не включає логіку і статистику
• Схильна до всіх упереджень відразу

Система 2 – повільна

• Усвідомлене і «повільне» прийняття рішень
• Перетворює відчуття й інтуїції в переконання
• Стежить за вашою поведінкою
• Відносно багатопотокова робота
• Робить цілеспрямований вибір і дії
• Вважає себе головною

Три різних інтерпретації назви та обладинки однієї і тієї ж книги

Користувацькі дослідження

Когнітивні упередження впливають на поставлені UX-фахівцями питання, на те, що самі дослідники чують у цьому процесі, а потім аналізують, і вже точно на відповіді користувачів. Перефразовуючи антрополога Маргарет Мід: люди говорять одне, роблять друге, а кажуть, що роблять, зовсім третє. Тому ставлення і поведінка будуть різними, іноді суперечливими одна одній шкалами в звіті.

Наприклад, з цієї ж причини радять питати у людей безпосередньо, скільки разів на тиждень вони вживають алкоголь або займаються спортом. Це було відомо ще до перших комп’ютерів. І на щастя для UX-фахівців, антропологія, етнографія, когнітивна психологія та соціальні науки створили надійний фундамент з кращих практик та методів проведення досліджень – від опитувань до контекстуальних спостережень.

Всі мають власні упередження. Уникнути їх не вийде – наскільки б розумними або усвідомленими ми себе особисто не вважали. Можна сказати, що це все робить нас людьми, це людська частина у взаємодії користувачів і комп’ютерних систем. Не можна повністю скасувати ні свої, ні чужі «похибки», особливо в стресових, незвичних або в ситуаціях, що стрімко розвиваються.

На практиці є конкретні прийоми, які допомагають обходити упередження і зменшити їх вплив на процес і результат роботи, але це складне завдання – за оптимістичними оцінками 90% прийнятих рішень проходять нижче ватерлінії свідомості, а навіть знаючи про упередження, люди все одно схильні його здійснювати.

Крім цього, на користувачів впливає безліч інших зовнішніх і внутрішніх факторів.

Що взагалі впливає на поведінку користувачів?

• Контекст. В ідеалі, дослідження «в полі» завжди краще лабораторних, особливо в тих випадках, коли треба дізнаватися, як люди щось роблять або не роблять. Яким би не був затишним простір вашої лабораторії – користувачі вже прийшли туди спеціально і знаходяться відпочатку в іншому контексті того, що відбувається.
• Попередній досвід: досвід з вашим продуктом або конкурентами.
• Рівень технологічної просунутості і загального комфорту поводження з технологіями. До речі, помилково вважати їх виключно наслідком демографічних показників – віку чи статі. Можна перестати ілюструвати ці моменти мамами та бабусями.
• Соціоекономічне та географічне положення людини.
• Специфічні потреби користувача і сценарії використання продукту – сфокусованість на завданні завжди буде змінювати поведінку навіть самої мрійливої і терплячої людини.
• Власні стереотипи і неусвідомлені упередження.
• Громадські норми або очікування.
• Маркетинг.
• Політичний клімат.
• Метод дослідження. На жаль, поки не винайдуть спосіб надійно читати думки інших, всі методи досліджень будуть впливати на поведінку людей. І це нормально.

1. Планування досліджень

Вибір методів. Ви точно обираєте найбільш відповідний метод, або йдете по шляху власного чи командного найменшого опору?

Створення планів, прототипів і формулювання гіпотез. Чи не намагаєтеся ви неусвідомлено вплинути на хід експерименту?

Кого ми набираємо в тестовану групу: чи вибірка відповідає вимогам проекту, чи немає перекосу в бік якоїсь популяції? Чи точно нікого не упустили?

Як ми набираємо: за принципом мінімальних зусиль через соцмережі, коли треба б вдатися до ймовірнісної вибірки? Наявність бюджету та можливості працювати з окремим агентством істотно спрощує це питання, але все одно навіть в гарну базу будуть записуватися люди певного типу, тому для деяких досліджень треба використовувати ще більш складні способи рекрутингу.

Упередження на цьому етапі:

Ефект знайомства з об’єктом. Багато наших переваг або симпатій засновані тільки на тому, що ми з чимось знайомі. Особливо це може вилазити на стадії вибору методів. Але варто пам’ятати, що критерієм вибору методу може бути тільки його відповідність цілям дослідження і баланс можливих негативних наслідків.

Упередженість підтвердження. Пошук підтвердження власної правоти і ігнорування свідчень протилежного. Це, можливо, упередження з найважчими наслідками, яке ще й справедливо для всіх частин процесу і, звичайно, не трапляється спеціально. На стадії планування це може бути ігнорування якихось аспектів проблеми, так що вони не потрапляють у проект. При проведенні досліджень це можуть бути спочатку неправильно сформульовані запитання на кшталт: «Оцініть за шкалою від 1 до 7, як часто ви будете користуватися цією опцією в продукті?». При аналізі та презентації це упередження проявляється в зменшенні незручних результатів, а то і зовсім ігноруванні їх у звіті, навмисному чи ні.

Ефект Даннінга-Крюгера. Недостатньо кваліфіковані люди переоцінюють свої навички та здібності, в той час як експерти недооцінюють. Так і живемо.

Ефект якоря (прив’язки). Ми чіпляємося за інформацію, отриману на початку, яка спотворює наші подальші міркування і може заважати прийняти краще рішення.

Помилка планування. Ми надто оптимістичні, оцінюючи час на виконання проектів, і постійно помиляємося в цій оцінці. Іншими словами, відпочатку накидайте часу зверху по максимуму. Хороший аналіз результатів навряд чи вийде за день, особливо, якщо це нескінченні часові інтерв’ю.

Джерело зображення: i0.wp.com

2. Проведення та аналіз досліджень

Яка інформація виходить від нас: питання, їх послідовність, обсяг.

Що ми отримуємо у відповідь від користувачів?

Як ми розбираємося з даними: від записів у процесі до попереднього аналізу.

Можливі когнітивні упередження:

Упереджена атрибуція ворожості. Користувачі можуть переходити в режим «ми або вони», якщо будуть відчувати себе, як на іспиті, і вести себе більш вороже, ніж звичайно. Для цього перед кожним інтерв’ю або сесією тестування хорошою практикою вважається нагадати людям, що тут немає правильних і неправильних відповідей, тестується прототип, а не їх здібності, а протягом самої сесії досліднику добре бути максимально співчутливим.

Фреймінг ефект: постановка питання обов’язково вплине на його сприйняття. Те ж саме стосується і представлення результатів аналізу: можна сказати, що половина тестованих не зрозуміла навігацію сайту, але ж половина зрозуміла без проблем. NNG представили результати тестування в двох варіантах: «4 з 20 користувачів не змогли знайти пошук» і «16 з 20 користувачів змогли знайти пошук на сайті» і показали один з двох тисячі UX-фахівцям. Ті, хто бачили «негативний» перший варіант, на третину частіше радили переробити пошук, ніж ті, кому ситуація була описана з іншого боку.

Ефект очікування спостерігача. Коли ми підсвідомо маніпулюємо ходом експерименту, щоб отримати бажаний результат. Поруч з цим можна згадати і ілюзії через очікування (експериментатора) – схильність віддавати перевагу даним, що підтверджують гіпотези і очікування експериментатора, і зручно ігнорувати або применшувати інші.

Ефект соціальної бажаності. Повторюся, але люди будуть говорити те, що ми, на їхню думку, хочемо почути. У цю поведінку істотний внесок робить соціокультурний аспект, тому долати його непросто. Особливо цим грішать фокус-групи, але і тет-а-тет інтерв’ю теж не є панацеєю, а найбільш дієві інсайти іноді і зовсім приходять тільки від достатньої кількості спостережень.

Коли ми ставимо питання: «Як часто ви займаєтеся спортом?», у відповідь очікувано прилетить щось про рази на тиждень, навіть якщо люди тягають залізо виключно в своїх мріях. Користувачі несвідомо правлять відповіді, фільтруючи і змінюючи їх, щоб виглядати добре в очах експериментатора.

Отже, якщо питання включають у себе речі і теми, в яких треба «зізнаватися», то треба цю можливість дати. Можна поміняти форму питання – замість кількості раз на тиждень в залі є сенс попросити описати недавні походи туди, а потім уточнити, чи завжди так відбувається.

Ще можна віднайти загальну емоційну точку і показати, що все нормально, але ніколи при цьому не брешіть користувачеві – ризикуєте втратити раппорт і зіпсувати інтерв’ю. Наприклад, досить юній учасниці було відчутно ніяково зізнатися в своїй високій організованості.

З точки зору суспільства, молода жінка повинна бути безтурботною, а зовсім не захоплюватись табличками, додатками і організацією чеків. Після невеликої ремарки з мого боку – мовляв, теж поважаю порядочок, дівчина одразу змінилася і розповіла кілька історій, одна з яких виявилася безцінною для проекту.

3. Презентація та поширення результатів

Коли ми ділимося результатами зробленого.

Як ми ділимося результатами досліджень.

Коли стейкхолдери отримують наші звіти і презентації, і як вони далі працюють з ними самостійно.

Що це може бути?

Каскад доступної інформації (ефект уявної правди). Якщо повторити одне й те саме кілька разів, ймовірність того, що люди в це повірять, стане високою.

Ілюзія кластеризації. Бажання і схильність бачити закономірності там, де їх немає, особливо в дрібних приватних випадках у великому масиві даних.

Ретроспективне упередження. Коли нам здається, що події в минулому можна було передбачити в тій точці часу. Так і знали!

Викривлення негативності. Негативна інформація впливає на нас набагато сильніше, ніж аналогічна за силою позитивна.

Ефект дичини і гумору. Смішні й дикі речі краще запам’ятовуються, ніж умовно стандартні і прісні. У презентації результатів дослідження це особливо цінно. Є прекрасний пост про комунікації результатів досліджень – як зробити, щоб вони не опинилися на кладовищі результатів досліджень. Зокрема, колись порада з титульного слайда з кошенятами і лазерами виявилася робочою і ефективною не тільки всередині великої технологічної корпорації, а й добре прийнятою серед різних клієнтів від банків до стартапів.

McNamara fallacy. Це схильність довіряти числам і чисельним методам найбільше, часто ігноруючи контекст, причини або якісні дослідження повністю. На українську я б переклала це як «прокляття Макнамари» – люблю драматичні жести. Походить від американського секретаря оборони Роберта Макнамари, який переніс попередній досвід управління заводами Ford на армію, і за часів в’єтнамської війни вважав показником успіху кількість загиблих.

Однак, не все в світі можна порахувати – хаос і складність збройного конфлікту відрізняються від передбачуваності конвеєра; на папері Америка війну вигравала, але в громадському полі вона була повністю програна. Зараз цим повально захоплені представники технічних спеціальностей, тільки встигай ухилятися. На ділі це може впливати на кожен етап роботи – іноді клієнт вимагає додати до досліджень очевидно безглузде А / Б тестування, а іноді це може коштувати компанії майбутнього, як у кейсі за посиланням про ігнорування етнографічних досліджень стейкхолдерами з Nokia.

4. Загальні процеси роботи команди:

Навчайте колег пам’ятати про ілюзії, зробіть чек-лист і проходьте по ньому. Домовтеся всередині команди, щоб вам задавали незручні питання в процесі підготовки проекту і задавайте їх оточуючим. Пам’ятайте, що одним з відомих упереджень є тенденція думати, що вас це не стосується. Плюс схильність бачити упередження інших людей, але не свої.

Працюйте з різними людьми. У всіх є улюблені напарники, але чим більш різноманітна команда дослідників, тим вона сильніша і тим простіше робити внутрішнє когнітивне пре-тестування і пілотні випробування.

Використовуйте власні припущення для створення гіпотез, а потім не намагайтеся експериментами підтвердити дизайн, а навпаки, тестуйте їх на міцність.

Пам’ятайте, що ціль досліджень – не довести, а допомогти команді або клієнту дізнатися якомога більше про те, що роблять люди і чи працює те, що ви будуєте.

Записуйте всі сесії на відео і проводьте їх хоча б у парі – щоб друга людина записувала нотатки.

Ретельно набирайте користувачів! Є серійні відвідувачі юзабіліті-сесій, які, звичайно, не підходять, але відстежувати їх вимагає як мінімум окремої перевірки тих, хто записався, а краще двох: по-перше, включивши відповідні питання в скринер, а потім перевіривши імена і прізвища по внутрішній базі учасників, яку ви, сподіваюся, ведете. Або почнете вести зараз.

Уникайте натякань запитань, які підштовхнуть людей до «правильних», на їхню думку, відповідей.

Прирівнюйте ваші експерименти. Складно щось радити конкретне – це основи теорії і методів експериментальних досліджень. HCI-спеціалізація на Coursera включає ґрунтовний курс по складанню, проведення і аналізу експериментів, але він не найпростіший навіть при попередніх двох профільних вищих освітах.

Використовуйте тріангуляцію методів, доповнюючи інтерв’ю спостереженнями, особливо при дослідженні складної поведінки, що включає в себе багато рішень і розумової активності.

Нехай всі учасники команди регулярно спостерігають, ведуть замітки і будуть присутні на дебрифінгу, хоча б дві години досліджень, раз у шість тижнів. Дві години і шість тижнів прийшли з GDS, відомої своїми високими стандартами досліджень. Так всі програмісти і менеджери будуть ближче до продукту. Я й сама неодноразово була свідком, як всього пара годин спостереження за загубленими користувачами в стані «де кнопки для натискання» змінювали навіть скептиків.

Будьте скромнішими і більш відкритими до інших поглядів і світогляду.

Яскравий приклад видатних інтелектуальних союзів минулого століття – пара дослідників Даніель Канеман і Амос Тверскі. Вони доповнювали один одного всюди: один тривожний, другий завзятий, один з ідеями і початком проектів, а другий – якому нібито і все одно, що робити, але робочі перепони одного ніколи не були такими для другого. Це співпраця тривала майже 30 років.

Потім вони вщент посварилися на грунті критичної оцінки робіт один одного; Тверскі помер у 1996 від меланоми, Канеман написав Thinking Fast and Slow, яка вже стала програмною, і отримав Нобелівську премію з економіки якраз за когнітивні упередження. У нобелівській автобіографії він повністю присвячує другу частину Тверскі, а ми можемо прочитати одне з найбільш зворушливих свідчень як величі Амоса, так і їх дружби і спільної роботи.

При спробі порахувати і систематизувати когнітивні упередження за різними джерелами вийшло трохи більше 170 видів, а дочитавши статтю до кінця, список рекомендацій може здатися нереальним на практиці – як все це тримати в голові, і ще не забувати активно слухати користувача в процесі?!

Це, дійсно, окрема величезна гілка навичок, і намагатися охопити всі упередження одночасно може коштувати тверезого розуму і душевної рівноваги. Але навіть перевірка можливої ​​упередженості своїх рішень і схильності шукати підтвердження бажаного результату може бути порятунком окремо взятого проекту.

Раніше Telegraf.design писав про те, як під час проектування сайту звертати увагу на потреби користувачів.