Изучение и структурирование данных происходило постоянно. Однако большой рост данных произошёл на рубеже 2000-х годов - это показано на диаграмме из Википедии в статье о Big Data (
)
В 2001 года Дуг Лейни (Doug Laney) из Meta Group издал документ, описывающий вопросы управления данными: Volume, Velocity и Variety. Позже эти понятия стали основой для описательной модели Больших Данных под названием 3V (VVV).
А термин Big Data появился в 2008 году. Впервые его употребил редактор журнала Nature — Клиффорд Линч.
В 2004 году корпорация Google в лице Джеффри Дина и Санжая Гемавата представила эффективный подход к обработке огромного количества информации - технология MapReduce.
Далее в честь игрушечного слоненка сына Дуга Каттинга была спроектирована система Hadoop который спустя два года уже управлял распределенной поисковой системой Yahoo, развернувшийся на 10 000 процессорных ядрах. Тогда же Hadoop вошел в состав Apache Software Foundation. Основой Hadoop, был тот-же алгоритм MapReduce. Далее в системе SQL-решений на смену MapReduce пришли Hive, Tez; Spark SQL, Impala. В системе NoSQL это Hive. Так начиналось. В настоящее время существует десятки других технологических систем, управляющих Большими Данными, и характеристики расширили до 7V(Volume, Velocity, Variety, Veracity, Variability, Visualization, Value), но это уже продолжение.
Вообще-то потребность обработки больших объемов данных возникла во второй половине ХХ века в физических научных... Читать дальше
90% доступных данных было создано за последние два года, а термин «большие данные» был примерно в 2005 году, когда он был запущен O'Reilly Media в 2005 году. Однако использование больших данных и необходимость понимания всего... Читать далее
1 эксперт согласен
Артём Бойко
14 дек 2021подтверждает
Хороший ответ.
Sorry! Сама хотела бы знать ответ на этот вопрос. Понятие алгоритма относится к первоначальным, основным, базисным понятиям математики и известны человечеству с глубокой древности. Наука может взломать алгоритм, а технология –... Читать далее
Наверно, с обнаружения. После него данные начали собирать, преобразую в единую большую систему данных. данные надо обработать и подтвердить их подлинность, после чего можно спокойно ими пользоваться и ориентироваться по ним.