Две статьи одного и того же автора, способные дать пищу для мозга на недели (это не преувеличение).
- What's Wrong with Social Science and How to Fix It: Reflections After Reading 2578 Papers.
- How I Made $10k Predicting Which Studies Will Replicate
На перечисление всего, что из них можно узнать, даже в виде "тизеров" меня, боюсь, не хватит, но я все равно начну.
I. DARPA поддерживает многомиллионную программу DARPA SCORE, в рамках которой, в частности, работает сайт
replicationmarkets.com (
вот их самоописание). Чтобы было понятней, насколько это безумие, попробуем перевести на русский:
- исследовательское подразделение Министерства Обороны решает побороться с кризисом воспроизводимости (!) в социальных науках (!!)
- для этого спонсирует воспроизведение сотен (!!!) научных работ и конкурс, в рамках которого анонимные нерды через интернет участвуют в симуляции фондовой биржи, "товарами" на которой являются предсказания того факта, будет ли воспроизведен такой-то результат (всё, у меня закончились восклицательные знаки)
Это настолько странное, "ботанское" и "целящееся в Луну" использование денег военных, что даже непонятно, с чем сравнить. ИПМ им. Келдыша до такого ещё очень далеко.
II. В этом конкурсе люди вроде автора статей выше не просто участвуют, а вкладывают совершенно фантастическое количество усилий за негарантированные деньги порядка месячной зарплаты программиста в тех краях.
III. В процессе чтения первой статьи можно получить интуитивное, висцеральное понимание того, насколько общественные науки в их текущем состоянии сломаны. Словами самой же статьи:
Приятно критиковать плохую науку с вершины абстрактной горы. Вы слышите о результатах, которые не воспроизводятся, о методологиях, которые кажутся немного глупыми. "Им стоит улучшить используемые ими методы", "p-хакерство - это плохо", "нужно изменить систему стимулирования", - заявляете вы, как Зевс, со своего трона в облаках, а затем переходите к чему-то другому.
Но настоящее погружение в социальные науки, это море мусора, дает вам более осязаемую перспективу, более интуитивное отвращение и, возможно, даже чувство лавкрафтовского благоговения перед самим масштабом всего этого
IV. В процессе чтения второй статьи можно оценить (с высоты очень птичьего полёта, конечно), как выглядит инструментарий трейдера даже в такой игрушечно-модельной области, и заодно попробовать понять, почему постановка prediction markets именно такая, а не более простая: не просто "получает приз тот, кто угадывает итог лучше всех", а именно с симуляцией торговли "ценными бумагами" в процессе.
На этом пока всё, если хотите о чем-то подробнее, го в комментарии