В своей статье дизайнер из Сан-Франциско Джесси Чэн резюмирует итоги презентации  Netflix и рассказывает об особенностях A/B тестирования одного из самых крупных провайдеров мультимедиа контента в мире. Telegraf публикует перевод статьи.

Вы когда-нибудь задумывались, почему Netflix стал таким успешным стриминговым сервисом? Хотите узнать, как они создавали свою домашнюю страницу, а также вносили другие изменения в дизайн пользовательского интерфейса через A/B тестирование? Если да, то эта статья для вас!

Начну с рассказа о своих заметках с мероприятия Designers + Geeks, которое я посетила на прошлой неделе в Yelp. Два отличных спикера Анна Блейлок и Навин Айенгар, оба продуктовые дизайнеры в Netflix, рассказали несколько инсайтов, полученных после многолетних A/B тестов на десятках миллионов пользователей Netflix. Они показали несколько подходящих примеров из своего кейса, чтобы помочь посетителям подумать над их собственными проектами.

Фото с презентации

Эксперименты

Мне очень понравился первый слайд презентации и я считаю очень остроумным использовать изображение из телешоу «Breaking Bad», чтобы объяснить концепцию экспериментов!

Фото с презентации

Научный метод

Фото из презентации

Гипотеза

В науке гипотеза – это идея или объяснение, которые вы затем проверяете путем изучения и экспериментирования. В дизайне теорию или предположение также можно назвать гипотезой.

 Фото из презентации

Основная идея гипотезы в том, что не существует заранее определенного результата. Это то, что можно протестировать и эти тесты можно проводить повторно.

«Общая концепция A/B тестирования заключается в создании эксперимента с контрольной группой и одной или несколькими экспериментальными группами (их называют «ячейки» (“cells”) в Netflix), которые получают альтернативный опыт пользования сервисом. Каждый член принадлежит исключительно к одной ячейке в рамках данного эксперимента, причем одна из них всегда обозначается «ячейкой по умолчанию». Она представляет собой контрольную группу, которая получает тот же опыт, что и все члены Netflix, не входящие в тест». – Блог Netflix

Вот как выполняется A/B тестирование в Netflix: как только тест начинает работать, они отслеживают конкретные важные показатели. Например, это могут быть такие пункты, как время стриминга и привлечение. Как только участники предоставили достаточно значимых выводов, они переходят на эффективность каждого теста и определяют победителя из разных вариантов.

Изображение из презентации

Фотография из презентации, которая показывает процесс создания гипотез

Эксперимент

Многие компании вроде Netflix запускают эксперименты для генерации пользовательских данных. Также важно уделить время и усилия правильной организации эксперимента. Это обеспечит достаточное количество и доступность как типа, так и объема данных, и поможет максимально эффективно разъяснить интересующие вопросы.

Вероятно, вы заметили, что шоу на главной странице Netflix меняется каждый раз, когда вы входите в систему. Все это часть комплексных экспериментов Netflix, чтобы завлечь вас к просмотру их шоу.

Главная страница, когда я вошла в систему в первый раз

Изображение из презентации: страница сериала «Карточный домик», которую видит незарегистрированный пользователь

Главная страница, когда я вошла во второй раз

Главная страница, когда я сменила имя учетной записи

Главная страница, когда я переключаю на детей

Главная страница, когда я не вошла в систему

Идея A/B тестирования в том, чтобы разным группам пользователей показывать разный контент, собирать их реакции и использовать результаты для разработки стратегий в будущем. Согласно этому сообщению в блоге, написанному инженером Netflix Гопалом Кришнаном:

Если вы не привлечете внимание юзера в течение 90 секунд, он, скорее всего, потеряет интерес и перейдет на другую страницу. Такие неудачные случаи время от времени происходят, потому что мы не показали пользователю нужный контент или потому, что мы показали правильный контент, но не предоставили достаточных доказательств того, почему он должен его посмотреть.

Netflix провели эксперимент еще в 2013 году, чтобы узнать, смогут ли они создать несколько вариантов обложки одного и того же телешоу, которые повысят коэффициент кликабельности. Вот результат:

Изображение из Netflix blog

Это был сигнал о том, что юзеры чувствительны к изменениям в визуальных элементах сервиса. Также мы поняли, что есть лучшие способы помочь им найти в Netflix именно те фильмы и сериалы, которые они хотят.

Позднее Netflix создал систему, которая автоматически группировала обложки с разными пропорциями, кадрированием, ретушью, локальными вариациями названия, но одинаковым фоновым изображением. Они повторили эксперимент на других своих телешоу, чтобы отследить относительную производительность обложек. Вот некоторые примеры:

Изображение из Netflix blog, два отмеченных изображения значительно превзошли все остальные.

Изображение из Netflix blog, последнее отмеченное значительно превзошло все остальные.

Просмотрите эти две записи в блогах, чтобы узнать больше об A/B тестировании Netflix:

1. Как Netflix выбирает лучшие изображения для анонса видео с помощью A/B тестирования
2. Платформа экспериментов Netflix. Сервис, который позволяет каждой инженерной команде Netflix внедрять свои A/B тесты с поддержкой специализированной инженерной команды.

Что я узнала

A/B тестирование – наиболее надежный способ изучения поведения пользователей. Как дизайнеры, мы должны думать о нашей работе через призму экспериментов.

Изображение из презентации: ваш инстинкт не всегда прав

1. Когда и почему нужно делать A/B тестирование?
   После того, как вы запустили проект в продакшн, используйте A/B тестирование, чтобы улучшить дизайн и настроить два ключевых показателя: привлечение и доход. С течением времени вы сможете увидеть результат. Если показатели улучшились, установите изменения по дефолту. Таким образом, A/B тестирование может использоваться для постоянного повышения бизнес-показателей.
2. Ваши пользователи находят или делают именно то, что вы хотите?
   Мой опыт показывает, что пользователи не всегда могут выполнить задачу так быстро, как вы ожидаете, а иногда даже не могут найти определенную кнопку на странице. Причины могут быть разными: возможно, дизайн недостаточно понятен; цвет неяркий; юзер не разбирается в технологии; он не знает, как принять решение, потому что на одной странице слишком много вариантов и так далее.
3. Правильны ли ваши предположения?
   К сожалению, когда дело доходит до поведения пользователя, наша интуиция может ошибаться и единственный путь узнать верный ответ – A/B тестирование. Это лучший способ проверить, является ли один дизайн UX более эффективным, чем другой. Наша команда потребительской экспертизы доказала это через A/B тестирование на рабочем сайте недвижимости. Например, мы хотели выяснить, можем ли внести изменения в дизайн, чтобы повысить количество регистраций среди пользователей, которые кликнули на рекламу Google. Было создано несколько различных экспериментальных дизайнов, которые впоследствии мы протестировали. Они думали, что дизайн, который скрывает только изображения недвижимости, победит. Но оказалось, что вариант, который скрывает как изображения недвижимости, так и цену, получил наилучший отклик.
4. Исследуйте границы
   Лучшие идеи приходят в моменты их активного поиска. Наша продуктовая команда объединяется для работы над многими проектами. С таким количеством вовлеченных сторон (от дизайнеров до продуктовых менеджеров и разработчиков) мы вместе исследуем границы. Некоторые из лучших идей иногда исходят от разработчиков или продуктовых менеджеров после тестирования наших прототипов.
5. Наблюдайте за тем, что люди делают, а не что они говорят
   Общаясь с пользователями, важно помнить: они всегда говорят одно, а делают другое. На этой неделе я провела несколько сеансов тестирования юзеров и получила прекрасный пример, чтобы показать вам, почему это важно. Один пользователь тестировал прототип списка контактов и я спросила его сортирует ли он свои контакты в повседневной жизни. Он сказал «нет», потому что ему это не нужно. Однако, когда он обнаружил новое раскрывающееся меню фильтров, был поражен тем, насколько удобно сортировать и фильтровать сразу несколько опций. После он спросил, когда это появиться в основной версии.
6. Используйте данные, чтобы оценить размер возможностей
   — Всегда помните о «почему»
   — Данные могут помочь сформировать идеи
   — Проверьте, не конфликтуют ли какие-либо A/B тесты

Согласитесь, быть UI и UX дизайнером весело. Знакомиться ближе с вашим юзером – самая захватывающая часть процесса! Не бывает готового дизайна, но есть много способов улучшить его и подарить пользователям крутой опыт. Я наслаждаюсь возможностью создавать утонченные настройки для наших юзеров, следить за их реакцией и работать с командой разработчиков, чтобы понять следующие шаги.

Оригинал статьи по ссылке. 

Перевод — Мария Мицьо.