С пониманием того, что это может быть как нормой, так и серьёзным отклонением от неё. Есть даже такое понятие, как "метаанализ" - когда собирают результаты отдельных исследований, сравнивают их между собой, и, если выявляются серьёзные отличия, пытаются понять, почему они возникли. Плохо, когда результат, полученный одними исследователями, потом не воспроизводится больше ни у кого (разумеется, при условии, что другие коллективы используют не менее качественное оборудование и материалы, достаточные по размеру и репрезентативные выборки испытуемых, адекватные статистические методы и т.д.). Принципиальная невоспроизводимость может говорить об ошибках в методологии и проведении исследования или даже о сознательных фальсификациях. Но профессионально выполенные исследования тоже могут давать различнные результаты на разных выборках, в разное время и с применением разных методов.
Например, американский информационно-аналитический сайт Vox недавно опубликовал инфографику, показывающую, что "всё, что мы едим, одновременно вызывает и предотвращает рак" - в том смысле, что почти для любого продукта можно найти исследования, показывающие статистически значимое влияние на вероятность возникновения злокачественных опухолей как в положительную, так и в отрицательную сторону.
Причины этого интуитивно понятны: развитие раковой опухоли - длительный и сложный процесс, на который влияют множество факторов и который является вероятностным, а не детерминированным (т.е. ничто не защищает от рака на 100%). К тому же методы диагностики по-прежнему несовершенны. Так что эти исследования страдают от невозможности учесть абсолютно все различия между испытуемыми, а также от "белого шума": случайных отклонений, которые затрудняют обнаружение истинного эффекта. Бессмысленно сравнивать их выводы, например, с законами Ньютона, которые затрагивают намного более простые объекты и закономерности. Однако, и из таких "шумных" исследований можно составить для себя общую картину: невооружёным глазом видно, что статей, доказывающих положительную роль в предотвращении рака вина или томатов, намного больше, чем отстаивающих противоположные выводы. А для сливочного масла или говядины ситуация обратная.
Кроме того, существует такая проблема, как "степени свободы исследователя". При статистической обработке результатов, особенно неэкспериментальных (скажем, данных международной статистики) учёному всегда приходится принимать решения: какие внешние факторы должны быть учтены ("проконтролированы"), есть ли в выборке т.н. "выбросы", т.е. наблюдения, полученные с нарушением методологии или просто оказывающие непропорционально сильное влияние на общую закономерность. Группа исследователей под руководством американского психолога Брайна Носека сделала следующий эксперимент: 29 группам учёных раздали данные о красных карточках в футбольных матчах с характеристиками игроков и попросили определить, чаще ли футболисты с цветом кожи, отличным от белого, удаляются с поля по сравнению с белыми игроками. Результат представлен на картинке ниже.
При оценке результатов статистического анализа следует принимать во внимание два параметра: размер эффекта и его статистическую значимость, зависящую как от величины эффекта, так и от стандартной ошибки его измерения. Если в 90- или 95-%-ный доверительный интервал измеренного эффекта входит 0, он считается статистически незначимым. На графике выше серые кружки соответствуют незначимым эффектам, зелёные - значимым. Видно, что большинство групп нашли тот или иной эффект, обычно в пределах 1,5-кратного превышения вероятности удаления с поля не-белых игроков. Тем не менее, заметное меньшинство (9 из 29) не обнаружило статистически значимого эффекта (причём одна группа даже нашла почти трёхкратное превышение вероятности, при этом не являющееся статистически значимым.)
Так что лучше всего просто примириться с тем, что реальная наука - это не школьный задачник, где всегда известен правильный ответ, и смотреть не на одно исследование, а на всю их совокупность.