В продуктовой разработке успех измеряется продуктовыми или бизнес-метриками: удержание (retention), количество активных пользователей, доходность, доля рынка и т.д.
Но у этих метрик есть один важный недостаток — они запаздывают. Это так называемые lagging metrics: изменения в них становятся заметны лишь спустя недели или даже месяцы после запуска изменений.
Поэтому одних бизнес-метрик недостаточно, чтобы оценивать эффективность гипотез. Нам нужны опережающие или прокси-метрики — те, которые позволяют быстро понять, движемся ли мы в правильном направлении.
Эффект от наших действий должен быть измерим как можно раньше, пока есть возможность скорректировать курс.
Как Netflix использовал прокси-метрики для оценки гипотез
В продуктовой разработке часто хочется оценивать успех через удержание (retention). У Netflix это была ключевая метрика: подписная модель, монетизация зависит от того, остаётся ли клиент. Но удержание — метрика запаздывающая, на неё сложно быстро повлиять, и A/B‑тесты на неё проводить дорого.
Поэтому Netflix активно использовал прокси-метрики — более «лёгкие» и быстрые показатели, которые коррелируют с удержанием. Команда провела интервью, фокус-группы и анализировала поведение новых пользователей. Оказалось, многие не понимали, что делать после регистрации: добавление фильмов в очередь вызывало затруднения.
Отсюда появилась гипотеза: если упростить интерфейс и убрать лишние шаги, больше новых пользователей сразу добавят фильмы в очередь.
Эта прокси-метрика (70% пользователей добавят как минимум 3 тайтла в очередь) давала быстрый сигнал о качестве онбординга и потенциальном влиянии на удержание.
Напоминаю, что в Карте Гипотез прокси-метрики прекрасно встраиваются в гипотезу. Напоминаю шаблон:
Если <воздействие, приводящее к изменению поведения субъекта>,
то <изменение поведения субъекта и изменение метрик М1 и М2 таким-то образом>,
потому что <идея, описывающая, почему воздействие должно изменить поведение субъекта [и повлиять на метрики]>
Гипотеза об упрощении интерфейса
Второй пример — персонализация контента в Netflix.
Она тоже началась как гипотеза, ориентированная прежде всего на рост удержания. Идея была в том, что хорошая рекомендательная система обеспечит быстрый доступ к большому объему контента, который соответствует вкусам пользователя. А это, в свою очередь, повышает вероятность, что он продлит подписку. Прокси-метрика, которую выбрал Netflix: 40% пользователей оценят как минимум 50 фильмов за первые шесть недель. Они верили в то, что если пользователи оценивают фильмы, то персонализация работает.
Гипотеза о персонализации
Шаблон прокси-метрики
Карта Гипотез — удобный инструмент для работы с продуктовыми и прокси-метриками. Они органично встраиваются прямо в формулировку гипотезы и помогают сделать её проверяемой.
Для прокси-метрик можно использовать такой шаблон:
Процент (пользователей / новых клиентов / вернувшихся клиентов), которые совершают как минимум (порог действия) в течение (определенного периода времени).