Если активных пользователей стало больше, сначала проверьте, что слово «активный» означает одно и то же до и после изменения. Новый инструмент, дополнительное событие или другое правило объединения устройств способны поднять график без соответствующего изменения поведения. Инвестору нужен ряд с историей определений и, когда данные позволяют, параллельный расчёт по одному правилу.
Здесь рассматривается сопоставимость измерения во времени. Это не новый словарь дневной и месячной активности и не оценка текущих метрик DIAVERSE. Все количества учебные. Цель — отделить наблюдаемое изменение пользователей от движения, вызванного способом подсчёта.
Запросите карточку определения
Карточка содержит событие, период, единицу пользователя, исключения, правила связи устройств и дату начала действия. «Заходил в приложение» недостаточно, если фактически учитываются фоновые обновления, открытие уведомления или успешное выполнение определённой задачи. Назовите момент, который действительно попадает в расчёт.
Google Analytics различает несколько пользовательских показателей. Его определения полезны как пример того, что количество всех, новых и активных пользователей имеет разные основания. Название готового отчёта не объясняет автоматически собственную продуктовую метрику компании.
Сохраните действительное определение, а не выбирайте самое строгое ради впечатления. Для разных задач могут быть полезны разные показатели. Ошибка возникает, когда одно число незаметно сменяет другое в непрерывном ряду и полученное движение объявляют ростом того же самого поведения.
Учебный разрыв одного правила
В первом месяце команда считает активным аккаунт, завершивший полезное действие. Таких 4000. Во втором вместо этого достаточно открыть приложение: новый отчёт показывает 6500. Однако при старом правиле во втором месяце полезное действие завершили 4200 аккаунтов.
Сравнение 6500 с 4000 даёт рост 62,5%. Сопоставимый старый ряд показывает 4200 против 4000, то есть 5%. Оба количества могут быть верны на своей базе. Но первое отношение не описывает рост завершивших полезное действие, потому что его части имеют разные определения.
| Учебный расчёт | Первый месяц | Второй месяц |
|---|---|---|
| Завершили полезное действие | 4000 | 4200 |
| Открыли приложение | Нет сопоставимого наблюдения | 6500 |
| Смешанная подпись «активные» | 4000 | 6500 |
Не следует также считать разницу 2300 между правилами доказанным количеством совсем бесполезных людей. Они могли получить другую пользу, закончить задачу позднее либо использовать иной сценарий. Разложение показывает различие измеряемых событий, а оценка ценности этих пользователей требует своего вопроса.
Дата настройки не равна дате поведения
Попросите журнал изменений: новый инструмент, обновлённая версия приложения, добавленное событие, изменённый фильтр или порядок связи устройств. Для каждого существенного изменения нужны дата и охват. Настройка может распространяться постепенно, поэтому один календарный день не всегда разделяет всю аудиторию.
Если новая версия доступна только части пользователей, ряд может одновременно содержать несколько правил. Сохраните известные группы и долю неизвестной версии. Не объясняйте любой скачок обновлением только по близости дат: нужна подтверждённая связь с тем, что теперь считается.
Также различайте дату события и дату его поступления в отчёт. Поздняя загрузка накопленных записей способна изменить вчерашний итог. Если система перерассчитывает прошлое, сохраните дату выгрузки. Два снимка одной даты могут различаться без появления новых действий в самом прошлом.
Параллельный расчёт строится на общей базе
Когда исходные события доступны, можно рассчитать старое и новое определения за один и тот же период. Общими должны быть доступная аудитория, окно, фильтры и способ объединения. Такой расчёт показывает влияние правила в конкретном наблюдаемом срезе.
Если для старого периода сохранилось только итоговое число 4000, восстановить все открытия приложения по нему невозможно. Не умножайте его на отношение 6500 / 4200 из нового месяца и не представляйте результат фактической историей. Состав и связь действий в прошлом могли быть другими.
При неполных данных покажите разрыв ряда открыто. Можно продолжить наблюдение по новому правилу, сохранив старые значения как отдельный ряд. Отсутствие единой истории ограничивает сравнение, но не делает весь новый отчёт недостоверным. Важно не создавать выдуманный мост между несопоставимыми числами.
Проверка пересечения объясняет новый состав
Для общей базы можно узнать, сколько аккаунтов отвечают обоим определениям. В нашем примере предполагается, что завершение полезного действия требует открытия; тогда все 4200 входят в 6500. Это заданное свойство учебной модели, которое в реальном продукте следует подтвердить.
Если успешное действие может происходить без учитываемого открытия, группы не обязаны быть вложенными. Тогда нужны три агрегата: только старое правило, только новое и пересечение. Простое вычитание общего количества не покажет движения каждой части. Не назначайте пересечение из удобного предположения.
Эта проверка может выполняться без раскрытия личных историй. Достаточный состав и способ подтверждения согласуются отдельно; материал о минимальном отчёте инвестору помогает сформулировать запрос. Полный экспорт пользовательской базы не возникает автоматически из необходимости проверить пару количеств.
Изменение распознавания создаёт ещё один разрыв
Старый отчёт мог объединять устройства по аккаунту, новый — считать каждую условную метку отдельно. Тогда люди с несколькими устройствами способны добавить записи без увеличения физической аудитории. Обратное изменение может снизить счётчик, хотя использование не ухудшилось.
Проверьте, какая единица подтверждена: человек, аккаунт, устройство или метка аналитики. Не обещайте идеальное соответствие между ними без доступной связи. Если после миграции часть связей потеряна, укажите охват и ограничения, а не объявляйте все новые метки новыми клиентами.
Смена периода тоже меняет величину. Уникальная аудитория за 30 дней не обязана равняться сумме дневных значений: один аккаунт может появляться многократно. Увеличение окна с семи дней до месяца не доказывает рост при прежнем горизонте. Подпись и правило должны меняться вместе с числом.
Фильтры служебных действий должны оставаться видимыми
В отчёт могут попасть тестовые аккаунты, автоматические проверки, сотрудники и восстановленные записи. Их включение определяется целью, но история должна сохранять один порядок. Если раньше служебные действия исключали, а после переноса фильтр пропал, выросший итог требует отдельного объяснения.
Не вычитайте произвольную «обычную долю тестов» из нового месяца. Нужны известные критерии и подтверждённые количества. Если часть служебных записей не распознаётся, оставьте неизвестный охват. Точная коррекция без источника делает итог хуже, чем честно ограниченный сырой показатель.
Особенно полезна небольшая разрешённая проверка: как одно обычное действие и одна служебная операция проходят правила двух расчётов. Она отвечает на конкретный вопрос о фильтре. Проверка не должна превращаться в массовый запуск действий, меняющий производственные метрики ради самого аудита.
Новая метрика может быть лучше старой
Не нужно оставлять менее полезное определение только ради непрерывной картинки. Если новое событие лучше описывает полученную пользу, его можно использовать. Но нужно объяснить начало ряда, связь со старым показателем и предел доступного пересчёта. Методическая ясность поддерживает изменение, а не запрещает его.
Попросите показать решение: почему выбран новый показатель, какую задачу он решает и какие предположения проверены. Не назначайте цель «максимально похожий график» ценой неверного события. Содержание показателя должно быть полезно пользователю отчёта и достаточно воспроизводимо.
Для следующих периодов сохраните версию карточки определения и согласованные снимки. Инвестору нужен известный способ понять, когда наблюдаемое движение относится к людям, а когда — к измерению.
Что запросить при отсутствии истории настройки
Если команда не сохранила прежнее правило, не следует заставлять её выбрать удобное описание по памяти. Отделите документально известное, объяснение ответственного сотрудника и неизвестную часть. Для конкретного скачка попросите доступный снимок старого отчёта, дату переноса и действующий расчёт на ограниченном периоде.
Такой пакет не гарантирует полного восстановления истории, но позволяет оценить охват доказательства. Если прежняя база остаётся неустановленной, вывод о сопоставимом росте откладывается именно по этой причине. Новое наблюдение можно продолжать с ясным определением, не выдавая его за подтверждение старого ряда и не меняя прошлые числа предположительно.
Вывод с двумя отдельными числами
Рабочий результат проверки содержит фактический ряд по каждому правилу, дату и охват изменения, параллельный срез при возможности и остаточные ограничения. В учебной модели 5% — сопоставимое изменение полезного действия, а 62,5% — движение смешанного счётчика. Называть их одним и тем же ростом нельзя.
В отношении DIAVERSE запрашиваются актуальные разрешённые сведения команды. Ни 4000, ни 6500 не являются её показателями. Ясная история определения помогает оценить рост на правильной базе, но сама по себе не подтверждает прибыль, качество привлечения или будущую доходность вложения.