Чтобы проверить, сколько возвращений связано с рекламными уведомлениями, нужен заранее организованный опыт: сопоставимая аудитория случайным образом разделяется на группу с выбранным напоминанием и группу без него. Затем обе оцениваются по одному полезному действию и одинаковому сроку. Обычный график удержания или сравнение людей с разными настройками телефона не устанавливают эффект уведомления.
Такой опыт отвечает на узкий вопрос о конкретном стимуле. Он не измеряет всю ценность продукта и не доказывает, что уведомления следует отключить. Ниже — схема запроса для инвестора, а не сообщение о проведённом эксперименте DIAVERSE. Числа используются только для объяснения расчёта.
Сформулируйте, какой стимул исключается
Разделите рекламное напоминание, необходимое сообщение об операции и ответ на действие самого пользователя. Если проверить нужно приглашение вернуться к игре, не отключайте одновременно подтверждения платежей или другие важные сообщения. Иначе опыт меняет слишком много условий и может создавать неподходящие последствия.
Попросите назвать содержание, частоту, время, период и аудиторию выбранного сообщения. «Без уведомлений» может означать отсутствие одного напоминания или всех способов связи, включая письма. Эти варианты отвечают на разные вопросы. Контрольная группа должна быть определена столь же точно, как группа воздействия.
Доступность разрешений и согласий также входит в исходные условия. Эксперимент не является поводом обходить выбор пользователя. Если часть аудитории не может получать сообщения, её нельзя незаметно объединить с людьми, случайно назначенными в группу без отправки.
Сравнение существующих настроек не заменяет назначение
Люди, отключившие уведомления сами, могут отличаться от остальных по мотивации, возрасту аккаунта, устройству или привычке пользоваться приложением. Более высокая возвращаемость одной группы допускает эти объяснения. Нельзя автоматически приписать её самому факту включения сообщения.
Для проверки эффекта полезно заранее случайно распределить подходящих пользователей. Распределение должно сохраняться в течение измерения. Повторный вход, покупка или отсутствие активности не должны переводить человека в удобную для результата группу задним числом.
Документация Firebase по экспериментам с сообщениями описывает случайное разделение выбранной аудитории и возможность оставить базовую группу без сообщения. Это пример существующего способа проверки. Он не означает, что приложение использует Firebase или что одного стандартного отчёта достаточно для всех бизнес-вопросов.
Выберите полезный возврат, а не любое событие
Заранее определите действие, которое имеет смысл для продукта: человек выполнил задачу, завершил прогулку, использовал план или совершил иной заявленный полезный шаг. Простое открытие сообщения может показать внимание к рекламе, но не обязательно получение пользы от приложения.
Сохраните отдельно доставку, открытие сообщения, запуск приложения и целевое действие. Между ними возможны потери. Один человек может несколько раз нажать на сообщение и только один раз выполнить задачу; несколько событий не становятся несколькими вернувшимися людьми.
Обычное удержание пользователей требует собственного определения начала и окна. В эксперименте эти правила должны совпадать у обеих назначенных групп. Не сравнивайте возврат в один день у контроля с любым возвратом за неделю у получателей сообщения.
Учебное сравнение двух назначенных групп
Предположим, по 5000 подходящих пользователей заранее назначены в каждую группу. В одинаковое окно полезное действие совершили 900 человек в группе напоминания и 800 в группе без него. Допустим, эти счётчики достоверны, определения одинаковы и измерение завершено для всех.
| Учебная группа | Назначено | Выполнили действие | Доля |
|---|---|---|---|
| Напоминание | 5000 | 900 | 18% |
| Без напоминания | 5000 | 800 | 16% |
Наблюдаемая разница равна двум процентным пунктам. Относительно 16% это увеличение на 12,5%, а не прибавка 12,5 процентного пункта. Оба способа описания допустимы с правильной подписью. Ни один не должен скрывать исходные количества.
Таблица не устанавливает статистическую убедительность, стоимость или повторяемость эффекта. Для этого нужны процедура эксперимента и оценка неопределённости. Размер 5000 выбран для арифметики, не является универсальным требованием к любой проверке.
Сохраняйте исходную базу и поясняйте доставку
Пусть сообщение фактически доставлено только 4200 из назначенных 5000, а полезное действие выполнили те же 900. Для этого дополнительного примера предположим, что все 900 входят в доставленную подгруппу. Деление на доставленных дало бы примерно 21,43%. Но сравнить это число с 800 / 5000 контроля как равные условия нельзя: из первой базы исключены недоставленные сообщения, из второй аналогичного исключения нет.
Для проверки политики отправки покажите результат по исходным назначенным группам. Дополнительный анализ доставленных может отвечать на другой вопрос и требует собственного объяснения. Не выбирайте знаменатель после просмотра того, какой из них создаёт больший эффект.
Также сохраните причины недоставки и полноту данных. Отказ пользователя, техническая проблема и отсутствие сведений о доставке различаются. Не считайте неизвестное подтверждённой доставкой или сознательным игнорированием сообщения. Это особенно важно при сравнении платформ с разными условиями наблюдения.
Заранее определите срок и правило завершения
Срок должен соответствовать циклу использования и вопросу проверки. Для ежедневного действия и редкой покупки разумные горизонты могут различаться. Полная неделя включает другой состав дней, чем один удачный вечер. При этом произвольное увеличение срока после просмотра результата создаёт новую процедуру.
Запросите заранее выбранную главную метрику и правило решения. Если команда смотрела двадцать показателей и сообщила только один выросший, шанс увидеть случайное улучшение отличается от случая с единственным заранее выбранным вопросом. Не объявляйте любой найденный рост доказанным результатом опыта.
Частое промежуточное наблюдение тоже требует подходящей методики. Нельзя завершать опыт в первый день, когда желаемый вариант оказался впереди, и представлять процедуру как заранее фиксированную. Если порядок менялся, история изменения должна оставаться видимой.
Проверьте другие контакты между группами
Человек без выбранного уведомления может получить письмо, сообщение партнёра или рекламу в другом канале. Если эти воздействия распределены неравномерно, сравнение осложняется. Попросите описать, какие другие способы возврата действовали в обеих группах.
Также важно, как объединяются аккаунты и устройства. Один человек не должен случайно получить оба условия через разные входы, если процедура предполагает единую пользовательскую группу. Если это невозможно исключить достоверно, укажите ограничение оценки.
Не требуйте раскрывать контакты или личную переписку ради контроля. Проверяющий может использовать разрешённые сведения о назначении, отправках и агрегатах. Нужны доказательства соблюдения процедуры, а не неограниченный доступ инвестора к пользователям.
Убедитесь, что улучшение не покупается другой потерей
Дополнительные открытия могут сопровождаться отключением уведомлений, удалением приложения, жалобами или кратким использованием без дальнейшей пользы. Эти последствия стоит сохранять рядом с главной метрикой. Один положительный столбец не делает весь способ связи успешным.
Для финансового решения отдельно покажите расходы отправки и измеренные платежи, если они относятся к вопросу. Возвращение к действию не равно покупке. Не умножайте дополнительные 100 возвращений из примера на цену подписки, пока платежи этих людей не подтверждены.
Продолжительность эффекта также неизвестна из одной короткой проверки. Привыкание к частым сообщениям, сезонность и новая аудитория могут изменить результат. Факт опыта полезен в своём периоде, но не обещает одинаковую прибавку при любом масштабировании.
Если контрольной группы не было
Команда может иметь только прошлую рассылку и общий график последующих возвращений. Такой материал показывает совпадение по времени. Он не создаёт задним числом случайно назначенную группу без сообщения. Не следует выбирать неактивных людей из истории и объявлять их контролем: сам способ выбора связан с будущим результатом, который пытаются объяснить.
Сохраните то, что действительно известно: кто подходил для рассылки, кому отправили, какие события наблюдались и какие другие воздействия происходили. Это полезная отправная точка для будущей проверки. В инвестиционном прогнозе предполагаемый дополнительный эффект пока обозначается допущением, а не подтверждённой прибавкой к удержанию.
Нулевое различие в корректно организованном опыте также не доказывает ненужность любых уведомлений. Выбранный текст, время или аудитория могли не создавать заметного эффекта, а данных могло не хватать для уверенного различения. Уточните границу вывода. Если сравнение показывает ухудшение, не удаляйте его из пакета результатов: объяснение отрицательного опыта может дать больше полезной информации, чем новая неподтверждённая рассылка.
Что запросить вместо красивого процента
Попросите описание аудитории и назначения, выбранного сообщения, главного действия, срока, доставок, полноты наблюдений и ограничений. Рядом должны быть исходные количества обеих групп, метод оценки неопределённости и существенные неблагоприятные результаты. Если опыт не проводился, требуемый эффект пока остаётся гипотезой.
Для DIAVERSE нужны реальные разрешённые подтверждения команды. Инвестор получает полезное различие: какой возврат наблюдается без выбранного стимула и что дополнительно связано с его применением при проверенной процедуре. Это помогает обсуждать устойчивость использования, сохраняя отдельными вопросы спроса, оплаты и инвестиционного риска.