Таблица 7.2

Среднее количество отбивания на бите по сезонам

Сезон 

Том    

Джо

Победитель

1

252

255

Джо

2

259

266

Джо

3

237

241     

Джо

4

253     

255

Джо

5

256

257

Джо

Никогда не «срезайте углы»

Если у вас неполная информация, легко прийти к неправильным выводам. Никогда не выбирайте легкий путь и не считайте результаты настолько убедительными, что нет необходимости в формальном доказательстве их статистической значимости. Всегда старайтесь убедиться в наличии всех необходимых данных и проверьте эти данные, прежде чем делать выводы.

Не зная количества выходов на биту, невозможно определить лучшего игрока. Посмотрите на табл. 7.3, чтобы понять, как Том может оказаться победителем по результатам пяти сезонов. В данном случае t-тест показал, что разница между средними показателями Тома и Джо не является статистически значимой. Таким образом, вместо очевидного ответа, что Джо имеет лучший показатель по сравнению с Томом, мы выясняем, что победитель — Том. Но и здесь не все так просто! Хотя Том победил, разница не является статистически значимой. С точки зрения статистики у них ничья. Ответ на этот вопрос имеет больше нюансов, чем кажется на первый взгляд.

Таблица 7.3

Полное сравнение средних показателей

Год

Том:

средний

показатель

Том:

выходы

на биту

Том:

количество

ударов

Джо:

средний

показатель

Джо:

выходы

на биту

Джо:

количество

ударов

Победитель

1

.252

123

31

.255

341

87

Джо

2

.259

355

92

.256

109

29

 

3

.237

139

33

.241

377

91

 

4

.253

304

77

.255

294

75

 

5

.256

363

93

.257

206

53

 

Общий

показатель

.254

1284

326

.252

1327

335

Том*

* Том победил, но разница в показателях не является статистически значимой. С точки зрения статистики у них ничья.

Большинство людей посмотрят табл. 7.2 и не станут утруждать себя лишними размышлениями. Они выберут очевидный ответ: у Джо лучший общий средний показатель. Никогда так не делайте! Всегда перепроверяйте свои выводы.

И последний момент, касающийся статистической значимости. Большинство людей будут удовлетворены, если получат в результате эксперимента 95%- или 99%-ную вероятность. Следует, однако, иметь в виду, что, когда вы на 95% уверены в том, что правы, существует еще 5%-ная вероятность того, что вы ошибаетесь. Это означает, что один раз из каждых 20 случаев проведения подобного эксперимента вы можете оказаться неправы, соглашаясь с результатами.

Убедитесь, что уровень доверия соответствует уровню риска, который вы можете себе позволить. Например, если в случае выбора неправильного ответа компании грозит полное банкротство, то 95%-ная вероятность не кажется таким уж хорошим показателем. Вероятно, следует стремиться к показателю 99,9% или выше.

В случае многочисленных повторений одного и того же действия шансы ошибиться по крайней мере один раз значительно повышаются. Вы должны быть готовы принять эти ошибки или установить очень высокий уровень доверия, чтобы обеспечить очень низкий уровень риска. Для клинических испытаний новых лекарственных препаратов используются очень высокие показатели, поскольку последствия выпуска плохого лекарства велики, вплоть до смерти. Уровень доверия для принятия решения о том, какое из двух изображений компании стоит поместить в верхней части веб-страницы на остаток дня, может быть значительно ниже.