Big data – что это?
Это не какое-то одно общее пространство с большими данными, каждая компания сама собирает свои данные?
Big Data - это достаточно молодой термин, который появился в лексиконе ИТ-рынка в начале 2000х годов.
Это скорее набор описательных характеристик подходов и методов обработки массивов данных из разных источников систем с помощью средств автоматизации алгоритмов обработки данных и вычислений на их основе.
К Big Data можно отнести такие разделы, как:
получение данных (разработка скриптов подключений)
загрузку, очистку, трансформацию и хранение (базы данных)
нахождение взаимосвязей между данными (инжиниринг данных, хранилище данных)
математические и статистические вычисления на основе данных (скрипты машинного обучения для обработки данных, построение моделей данных для последующих расчетов)
визуализация данных (построение визуальных отчетов из моделей данных для бизнес-пользователей)
проведение анализа данных для выявления зависимостей, отклонений или аномалий (бизнес-анализ на очищенных данных)
Ключевое отличие в том, что все эти характеристики прежде всего говорят о наличие высокопроизводительных мощностей (серверное оборудование) и штата специалистов (инженер баз данных, инженер данных, аналитики и т.п.) и широкой сети источников данных (погода в определенных регионах и количество посетителей торгового зала).
При это важно понимать, что задолго до этого термина 1960х годах появилось понятие Business Intelligence, описывающие подход к работе с корпоративной информацией и данными. Именно в нем и заключается ответ на вторую часть Вашего вопроса. Да, каждая компания самостоятельно выбирает свой путь развития работы с данными, системы и источники. Но прежде всего нужно помнить о том, что данные придется между собой связывать. Поэтому изначально очень важно этот момент не упустить и в свободной форме, от руки, грубо говоря, нарисовать то, как данные должны использоваться. Проведя простой анализ: что есть сейчас и что должно стать завтра. Соответственно, чего сейчас не хватает, для использования завтра.
Подробнее можно прочитать у меня в статье: https://ceo-bi.club/article_BI_June_2021
- разнообразием (variety),
- большими объемами (volume),
- высокой скоростью прироста и обработки (velocity).
- Правдивость данных определяется тем, насколько надежны источник данных, их тип и обработка.
- Ценность данных – это практическая выгода, которую можно извлечь из их обработки, например лучшее понимание своих клиентов или повышение производительности.
- Структурированные данные как правило имеют числовой формат, их легко форматировать и хранить.
- Неструктурированные данные не сведены к одному формату – это может быть текст, видео и изображения, они сложнее поддаются форматированию и исчислению.
Если примитивно, то Big Data – большие данные.
Если углубиться в смысл профессии аналитика или разработчика, то под big data поднимают набор методов и инструментов для хранения и обработки данных и решения задач.
Зачастую аналитик занимается неструктурированными (неорганизованными) данными, которым нужно придать форму с помощью алгоритмов, библиотек и Python. Разработчику же желательно давать ТЗ по структурированным данным, так получится быстрее решить какую-то бизнес-задачу.
Под понятием Big Data могут скрываться очень разные данные, в зависимости от сферы, направления компании, специфики конкретного специалиста. Например, данные по:
- погоде со всего мира, конкретной страны,
- трафику на дорогах,
- интересах или тратах клиентов банка или сети магазинов,
- приборам на электростанциях,
- продолжительности поездок клиентов на такси, маршрутам,
- и так далее.
Дословно, Big Data – это большие данные. Если говорить более профессиональным языком, то это набор специальных методов и инструментов, которые используются для хранения и обработки огромных объемов данных для решения конкретных задач. Причем данные могут быть как структурированными, так и неструктурированными (неорганизованными, неоднородными).
Прочла книги Юваля Ноя Харари и узнала о новой религии - датаизм. Датаисты верят в алгоритмы и отвечают на вопросы, на которые традиционная наука не даёт ответа. Харари полагает, что на смену веры в Бога и Человека пришла новая религия - верящая в алгоритмы - Big Data. Удачи нам всем и мудрости!
Это может быть тысячи программ каждая с своими данными задача объединить эти данные чтобы это не было хаосом а получилась одна конкретная !!