Опасны не сами прогнозы, а то, какие решения принимаются на основании этих прогнозов. Наверное, стоит различать, какой статус прогноза имеется в виду - говорим ли мы об автономных технологиях и их самостоятельном принятии решений, или же речь идет об алгоритмических прогнозах, которые потом рассматриваются как руководства или рекомендации к действию. Разберемся.
Возьмем первый сценарий - технологии настолько автономны, что алгоритмы самостоятельно принимают решения и действуют. Такие алгоритмы применяются в сферах, где риски для благополучия человека относительно низкие, например - игры, социальные сети, творчество. Но если технология касается человеческой жизни напрямую - как в случае с беспилотными автомобилями или автопилотом самолета - уровень доверия к прогнозам алгоритмов резко снижается. Проблема в том, что машинные решения могут быть непрозрачными, плохо объяснимыми или вовсе неуместными (скажем, из-за недостатка данных).
Но есть и второй сценарий - гибридный, когда алгоритм предлагает рекомендации, на которые потом опираются люди в принятии решений. Мы видели много таких примеров в медицине, финансовой или банковской сфере, логистике, управлении. Алгоритмы обрабатывают большие объемы данных и ищут закономерности частно намного лучше людей, но контроль, проверка, мониторинг - всё ещё задача тех, кто готов нести персональную ответственность за последствия принятия этих решений.