Если примитивно, то Big Data – большие данные.
Если углубиться в смысл профессии аналитика или разработчика, то под big data поднимают набор методов и инструментов для хранения и обработки данных и решения задач.
Зачастую аналитик занимается неструктурированными (неорганизованными) данными, которым нужно придать форму с помощью алгоритмов, библиотек и Python. Разработчику же желательно давать ТЗ по структурированным данным, так получится быстрее решить какую-то бизнес-задачу.
Под понятием Big Data могут скрываться очень разные данные, в зависимости от сферы, направления компании, специфики конкретного специалиста. Например, данные по:
- погоде со всего мира, конкретной страны,
- трафику на дорогах,
- интересах или тратах клиентов банка или сети магазинов,
- приборам на электростанциях,
- продолжительности поездок клиентов на такси, маршрутам,
- и так далее.
Я считаю данный ответ сомнительным.
Это может быть тысячи программ каждая с своими данными задача объединить эти данные чтобы это не было хаосом а получилась одна конкретная !!
Big Data - это достаточно молодой термин, который появился в лексиконе ИТ-рынка в начале 2000х годов.
Это скорее набор описательных характеристик подходов и методов обработки массивов данных из разных источников систем с помощью средств автоматизации алгоритмов обработки данных и вычислений на их основе.
К Big Data можно отнести такие разделы, как:
получение данных (разработка скриптов подключений)
загрузку, очистку, трансформацию и хранение (базы данных)
нахождение взаимосвязей между данными (инжиниринг данных, хранилище данных)
математические и статистические вычисления на основе данных (скрипты машинного обучения для обработки данных, построение моделей данных для последующих расчетов)
визуализация данных (построение визуальных отчетов из моделей данных для бизнес-пользователей)
проведение анализа данных для выявления зависимостей, отклонений или аномалий (бизнес-анализ на очищенных данных)
Ключевое отличие в том, что все эти характеристики прежде всего говорят о наличие высокопроизводительных мощностей (серверное оборудование) и штата специалистов (инженер баз данных, инженер данных, аналитики и т.п.) и широкой сети источников данных (погода в определенных регионах и количество посетителей торгового зала).
При это важно понимать, что задолго до этого термина 1960х годах появилось понятие Business Intelligence, описывающие подход к работе с корпоративной информацией и данными. Именно в нем и заключается ответ на вторую часть Вашего вопроса. Да, каждая компания самостоятельно выбирает свой путь развития работы с данными, системы и источники. Но прежде всего нужно помнить о том, что данные придется между собой связывать. Поэтому изначально очень важно этот момент не упустить и в свободной форме, от руки, грубо говоря, нарисовать то, как данные должны использоваться. Проведя простой анализ: что есть сейчас и что должно стать завтра. Соответственно, чего сейчас не хватает, для использования завтра.
Подробнее можно прочитать у меня в статье: https://ceo-bi.club/article_BI_June_2021