Правда в том, что Вы в большинстве случаев никак не сможете определить, корректная ли статистика. Сейчас скажу почему. Нас интересуют: объяснения структуры распределения, способы сбора статистики, способы обработки данных, наличие тестовой и контрольной групп и проверки на плацебо-эффект при экспериментах, точность приведения выводов, собственно структура выборки и сопутствующие факторы.
Объяснение распределения полученных ответов. Пример: кто чаще изменяет, мужчины или женщины? Предположим, опрос показал перевес в сторону мужчин. Если в данной местности женщинам не очень принято в этом признаваться, а мужику как раз стыдно не иметь любовницу, получается что в ответах много вранья, и реальные данные мы таким образом не получим.
Допустим, опрос, как вы относитесь к Путину. Заметный процент посчитает вопрос провокацией и не захочет расставаться с работой или садиться в тюрьму (допустим), так что реальный процент поддержки будет ниже, но мы не знаем насколько. С другой стороны, при снижении и повышении процента с годами один из факторов может быть что люди стали больше или меньше бояться. Кроме того, это во многом показывает только успех пропаганды.
Формулировка вариантов ответов. Например, опросы по верности в парах дадут разные результаты если будут спрашивать «Хоть раз Вы видели в толпе другую женщину/мужчину?», «У Вас был хоть раз секс на стороне?», «У Вас есть постоянный любовник/любовница в данный момент?», «Вы хоть с кем-то разговариваете, кроме супруга?». Поскольку нету единой формулировки, что такое верность, можно получить совершенно дикие результаты. Точно так же, «Поддерживаете ли Вы такие и такие тенденции и такие-то изменения, и применение таких-то законов?» и «Кто если не Путин?» дадут совершенно разные результаты поддержки, различие будет более 25%.
Побочные факторы. Например, тест IQ провели среди дикарей, состоятельных европейцев из мегаполисов и в самых бедных регионах Африки, и сделали вывод об интеллектуальных способностях. Результаты будут нерелевантные по многим причинам: в жизни дикарей очень важны другие стороны ума, чем в жизни европейцев, доступность образования для бедняков, то, что IQ разработали как раз в контексте реалий мегаполисов и городов, и наконец, IQ это вовсе не интеллект, а одна его сторона. Можно сформулировать более точное тестирование, но тогда нужна более корректная выборка.
Туда же тестирование эффекта гомеопатического средства, спонсированное производителем этого средства.
Например, тест на сверхчувственное восприятие проводится регулярно, и почти всегда неправильно. Если использовать слепое тестирование с генератором случайных чисел, будут другие результаты, чем при тесте на телепатию двух братьев, которые давно выступают с телепатическим номером в цирке.
Задайте себе вопрос, какие побочные явления влияют на выборку? Какова структура выборки? Что привело всех этих людей туда, где их тестируют или опрашивают? Чем они отличаются от других? Как контролируется корректность ответов?
В части случаев больше корректной статистики Вы получите, ища публикации в научных журналах. Особенно англоязычных.
Анекдоты про эксперименты и сбор данных:
Учёные давали тестовой группе обезьян, больных насморком, питьевую воду, а контрольной группе воду не давали. Через две недели обезьяны из первой группы выздоровели, а из второй умерли в страшных мучениях. Пейте воду, лучшее лекарство от насморка!
Вовочка делает домашнее задание по биологии. Поймал таракана. Хлопает по столу, таракан убегает. Обрывает ему пару ножек. Хлопает, таракан убегает. Обрывает ещё пару ножек. Таракан убегает медленнее. Обрывает последние ножки. Хлопает по столу, таракан не бежит. Записывает: Таракан слышит ногами, без ног теряет слух.
При написании этого ответа, ни один таракан не пострадал.