Что такое анализ больших данных?

Большие данные (или Big Data) – это технологии, позволяющие:

• Обрабатывать огромные объемы данных (по сравнению со стандартными);
• Работать с постоянно и быстро поступающими данными;
• Работать со структурированными и неструктурированными данными

Для работы с Big Data применяют MapReduce, NoSQL, Hadoop, R и различные аппаратные решения. Соответственно сам анализ – это процесс работы с Big Data.

Какие техники и методы применяют для анализа больших данных

• Смешение и интеграция – вы интегрируете разные данные из разных источников и проводите глубинный анализ (например, цифровую обработку сигналов и пр.);
• Machine Learning – вы используете специальную модель, которая позволяет получить комплексный прогноз по базовой модели;
• Симуляция (или имитационное моделирование) – построение моделей и описание процессов, если бы они происходили в реальности;
• Пространственный анализ – использование топологической, геометрической и географической информации, добытой из данных;
• Статистический анализ – А/В-тесты, анализ временных рядов – сравнение контрольных групп с тестовыми для изучения влияния изменения целевого показателя;
• Нейросети, сетевой анализ и другие.