Это может быть тысячи программ каждая с своими данными задача объединить эти данные чтобы это не было хаосом а получилась одна конкретная !!
Я считаю данный ответ сомнительным.
Big Data - это достаточно молодой термин, который появился в лексиконе ИТ-рынка в начале 2000х годов.
Это скорее набор описательных характеристик подходов и методов обработки массивов данных из разных источников систем с помощью средств автоматизации алгоритмов обработки данных и вычислений на их основе.
К Big Data можно отнести такие разделы, как:
получение данных (разработка скриптов подключений)
загрузку, очистку, трансформацию и хранение (базы данных)
нахождение взаимосвязей между данными (инжиниринг данных, хранилище данных)
математические и статистические вычисления на основе данных (скрипты машинного обучения для обработки данных, построение моделей данных для последующих расчетов)
визуализация данных (построение визуальных отчетов из моделей данных для бизнес-пользователей)
проведение анализа данных для выявления зависимостей, отклонений или аномалий (бизнес-анализ на очищенных данных)
Ключевое отличие в том, что все эти характеристики прежде всего говорят о наличие высокопроизводительных мощностей (серверное оборудование) и штата специалистов (инженер баз данных, инженер данных, аналитики и т.п.) и широкой сети источников данных (погода в определенных регионах и количество посетителей торгового зала).
При это важно понимать, что задолго до этого термина 1960х годах появилось понятие Business Intelligence, описывающие подход к работе с корпоративной информацией и данными. Именно в нем и заключается ответ на вторую часть Вашего вопроса. Да, каждая компания самостоятельно выбирает свой путь развития работы с данными, системы и источники. Но прежде всего нужно помнить о том, что данные придется между собой связывать. Поэтому изначально очень важно этот момент не упустить и в свободной форме, от руки, грубо говоря, нарисовать то, как данные должны использоваться. Проведя простой анализ: что есть сейчас и что должно стать завтра. Соответственно, чего сейчас не хватает, для использования завтра.
Подробнее можно прочитать у меня в статье: https://ceo-bi.club/article_BI_June_2021