В чем разница между ошибками типа I и типа II?

Представьте, что вы идете по рельсам, а вдоль полотна тянется сточная канава. Рядом вторая колея. Солнечный день, вы радуетесь жизни, одеты в новые замечательные брюки, поло и белоснежные кроссовки. Рельсы сворачивают в тоннель, из-за которого не видно поезда.

Перед тоннелем вам надо решить пойти вперед или спрыгнуть в канаву. Это зависит от наличия поезда впереди. Если его нет, то вы можете пройти, а если есть, то погибнете. Во втором случае лучше спрыгнуть, но тогда вы измажете кроссовки и брюки. В то же время поезда может не быть, так как о его наличии вы можете судить лишь с некоторой вероятностью. Зря прыгать тоже не хочется.

Теперь давайте переведем это на язык математической статистики. Нулевая гипотеза состоит в том, что поезда нет. Альтернативная, что есть. Если вы отвергаете нулевую гипотезу, принимаете альтернативную и прыгаете в канаву, а поезда все-таки нет, то вы совершаете ошибку первого рода. Если вы принимаете нулевую гипотезу, отвергаете альтернативную, а поезд есть, то вы совершаете ошибку второго рода.

Вероятность совершить ошибку первого рода называется значимостью теста. Обычно значимость устанавливается на каком-то заранее заданном значении. Можно проверить гипотезу на уровне значимости 10%, 5%, 1% или даже померить в сигмах (стандартных отклонениях). Это зависит от желания исследователя.

Одной только значимости недостаточно, иначе можно было отвергать гипотезы, просто включая генератор случайных чисел, который работает с заданным уровнем значимости. Например, с 1% вероятностью выпадает событие «отвергнуть», и вы отвергаете. Для этого не нужна статистическая выборка и тестирование гипотез. Поэтому вероятность ошибки второго рода тоже важна.

Вероятность ошибки второго никак не называется, но если ее вычесть из единицы, то вы получите показатель под названием мощность теста. Иначе можно сказать, что мощный тест снижает вероятность ошибки второго рода.