Значимость статистики

Нам всем хотелось бы, чтобы наши ближайшие коллеги — те, кто принимает бизнес-решения, значительно шире использовали бы данные веб-аналитики для принятия более эффективных решений.Как же нам давать рекомендации / принимать решения, будучи твёрдо в них уверенными? Как нам побуждать к действиям, а не просто «сыпать цифрами»? Сложность в том, чтобы отделить Сигнал от Шума и доходчиво продемонстрировать эту разницу.

И здесь нам приходит на помощь совет №1. Используйте мощь Статистики.

Рассмотрим следующий сценарий (A):

Ваша фирма разослала 2 коммерческих предложения потенциальным покупателям. Результаты выглядят следующим образом:

• На первое предложение ответили: 5300. Сделали заказ: 46. Следовательно процент эффективности: 0, 87%
• На второе предложение ответили: 5200. Сделали заказ: 55. Следовательно процент эффективности: 1, 06%

Лучше ли второе предложение, чем первое? Да, у него «лучший» процент эффективности на 0.19%. Сможете ли вы решить, которое из них лучше, когда количество заказов составляет всего 40-50? Мы получили на 9 заказов больше при количестве ответов меньшем на 100.

Применив статистику мы увидим, что разница в результатах у этих двух предложений всего 0, 995 стандартного отклоненния и статистически несущественна. Это означает, что скорее всего причиной этой разницы в результатах явился шум.

Рассмотрим другой сценарий (B):

Ваша фирма разослала 2 коммерческих предложения потенциальным покупателям. Результаты выглядят следующим образом:

• На первое предложение ответили: 5300. Сделали заказ: 46. Следовательно процент эффективности: 0, 87%
• На второе предложение ответили: 5200. Сделали заказ: 63. Следовательно процент эффективности: 1, 21%

Применив статистику теперь, мы увидим, что два значения отстоят друг от друга на 1, 74 стандартного отклонения и результаты на 95% статистически значимы. 95%-ная значимость это очень сильный сигнал. Основываясь на этом, мы, имея выборку приблизительно всего в 5000 ответов и 60 с небольшим заказов, и можем уверенно прогнозировать успех.

Сложно ли это? Вовсе нет! Воспользуйтесь этой электронной таблицей: StatCalc.xls. (здесь представлен изначальный файл, и он содержит упоминание автора Брайана Тизли.)

Всё, что нужно сделать – подставить ваши значения в синие ячейки и вы получите результат. Эта методика может с лёгкостью применяться в различных аспектах вашей внутренней аналитики, например:

• Маркетинговые кампании в поисковых системах
• Различные предложения и кампании директ-маркетинга
• Любой анализ процентных долей (% траффика, достигающего цели из исходной точки 1 или из исходной точки 2);
• Разница в результатах ваших двух- или многовариантных тестов

Вы легко можете адаптировать таблицу, чтобы считать статистическую разницу между абсолютными величинами (скажем вы захотите узнать, существенна ли разница количества просмотров страниц, приходящихся на 1 посетителя или среднего времени посещения между двумя сегментами сайта).

Ощутимые преимущества представления результатов в виде статистической значимости вместо процента эффективности:

• Вы перестаёте быть частью уравнения. «Согласно богам Статистики, результаты следующие…» – звучит великолепно.
• Сосредотачиваясь на качестве Сигнала, мы, аналитики, выглядим умнее в глазах других людей.

Вы отметаете всякие обдумывания и вопросы. Либо оно статистически существенно, и мы действуем, либо оно не существенно, и нам стоит попробовать что-то другое. Это уже не отчёт, а руководство к действию.

Хочется указать ещё на один замечательный ресурс, содержащий подобные инструменты/таблицы, если вы хотите углубиться в предмет.

Два маленьких совета:

• Принято стремиться к 95% или большей статистической верности. Это не всегда обязательно, но рекомендуется.
• «Статистика, как бикини: то, что навиду будоражит мысли, но гораздо важнее то, что осталось скрыто.» — Аарон Левенштейн

Согласны? Не согласны? Не такой уж и хороший совет аналитику? Пожалуйста, поделитесь вашим мнением в комментариях.