Профессиональные аналитики уделяют много внимания статистической значимости, и это хорошо. Однако статистическая значимость — лишь один из аспектов хорошего анализа.
Проверка статистической значимости подразумевает выдвижение ряда предположений и определение вероятности того, что полученные результаты имели бы место в случае правильности выдвинутых предположений. Например, если предполагается, что монета симметрична, то количество случаев выпадения орла и решки будет одинаковым. При подбрасывании симметричной монеты шансы выпадения решки 10 раз подряд очень малы. Если это случилось, то существуют только два возможных объяснения.
Первое заключается в том, что это была полоса везения, что встречается один раз из 1024 попыток. Второе — в том, что монета несимметрична. Проверка статистической значимости, касающаяся выпадения решки 10 раз подряд, показала бы, что вероятность того, что монета несимметрична, равна 99,9%, поскольку симметричная монета позволяет получить такой результат лишь в 0,1% случаев. Такие расчеты представляют собой суть статистической значимости.
Необходимо различать статистическую значимость и важность для бизнеса. Это не одно и то же.
Статистическая значимость
Статистическая значимость часто используется для выявления средних значений и процентов, а также для определения оценок параметров статистических моделей. Проверка статистической значимости поможет убедиться в том, что данные не вводят вас в заблуждение. Она с математической точки зрения покажет, достаточно ли значимо различие. Бывает, что различия, которые кажутся существенными, не являются таковыми, а бывает и так, что значимыми оказываются небольшие различия. Статистическая проверка позволит убедиться в правильности сделанных выводов.
На основе тестирования создана целая дисциплина. В деловом мире она известна как подход «тестируй и изучай» (test and learn), включающий основные экспериментальные концепции, которые преподаются на курсах статистики в колледже. В среде «тестируй и изучай» эксперимент устроен так, что можно измерить эффекты использования одного или нескольких вариантов и определить, какой из них будет работать лучше всего.
Предприятия должны удостовериться, что они используют правильный подход и не гонятся за «очевидным» ответом. Один из моих любимых примеров, противоречащих интуиции, — задача, которую задают студентам в магистратуре. Посмотрите на табл. 7.2. Два игрока в бейсбол играли вместе в течение пяти сезонов. Согласно таблице в каждом сезоне среднее количество отбивания на бите у Джо было выше, чем у Тома. Возникает простой вопрос: «Кто из двух игроков имеет больший средний показатель за все пять сезонов?» Задумайтесь на минуту и запомните свой ответ.
Правильный ответ может удивить вас: мы не знаем, кто имеет больший средний показатель! Информации, представленной в табл. 7.2, недостаточно, чтобы ответить на этот вопрос. Почему? Если бы мы знали, что у Джо и Тома было одинаковое количество выходов на биту в каж дом сезоне, то ответ был бы столь же простым, как мог показаться на первый взгляд. Победителем был бы Джо. Но что если у них было разное количество выходов на биту? Что если в тот сезон, когда у обоих игроков было наилучшее среднее количество отбивания, Джо получил травму и за несколько месяцев выходил на биту намного реже, чем Том? Что если Том получил травму в сезон с самыми низкими показателями и, таким образом, Джо выходил на биту намного чаще? Получается, что у Тома может быть более высокий совокупный средний показатель, чем у Джо, хотя в каждом сезоне показатель Тома был ниже! Так бывает нечасто, но все же бывает!