Прочла книги Юваля Ноя Харари и узнала о новой религии - датаизм. Датаисты верят в алгоритмы и отвечают на вопросы, на которые традиционная наука не даёт ответа. Харари полагает, что на смену веры в Бога и Человека пришла новая религия - верящая в алгоритмы - Big Data. Удачи нам всем и мудрости!
Я считаю данный ответ сомнительным.
Это может быть тысячи программ каждая с своими данными задача объединить эти данные чтобы это не было хаосом а получилась одна конкретная !!
Big Data - это достаточно молодой термин, который появился в лексиконе ИТ-рынка в начале 2000х годов.
Это скорее набор описательных характеристик подходов и методов обработки массивов данных из разных источников систем с помощью средств автоматизации алгоритмов обработки данных и вычислений на их основе.
К Big Data можно отнести такие разделы, как:
получение данных (разработка скриптов подключений)
загрузку, очистку, трансформацию и хранение (базы данных)
нахождение взаимосвязей между данными (инжиниринг данных, хранилище данных)
математические и статистические вычисления на основе данных (скрипты машинного обучения для обработки данных, построение моделей данных для последующих расчетов)
визуализация данных (построение визуальных отчетов из моделей данных для бизнес-пользователей)
проведение анализа данных для выявления зависимостей, отклонений или аномалий (бизнес-анализ на очищенных данных)
Ключевое отличие в том, что все эти характеристики прежде всего говорят о наличие высокопроизводительных мощностей (серверное оборудование) и штата специалистов (инженер баз данных, инженер данных, аналитики и т.п.) и широкой сети источников данных (погода в определенных регионах и количество посетителей торгового зала).
При это важно понимать, что задолго до этого термина 1960х годах появилось понятие Business Intelligence, описывающие подход к работе с корпоративной информацией и данными. Именно в нем и заключается ответ на вторую часть Вашего вопроса. Да, каждая компания самостоятельно выбирает свой путь развития работы с данными, системы и источники. Но прежде всего нужно помнить о том, что данные придется между собой связывать. Поэтому изначально очень важно этот момент не упустить и в свободной форме, от руки, грубо говоря, нарисовать то, как данные должны использоваться. Проведя простой анализ: что есть сейчас и что должно стать завтра. Соответственно, чего сейчас не хватает, для использования завтра.
Подробнее можно прочитать у меня в статье: https://ceo-bi.club/article_BI_June_2021