Теперь Кью работает в режиме чтения

Мы сохранили весь контент, но добавить что-то новое уже нельзя

Какие данные называются большими?

Есть ли средние данные, может быть, маленькие данные?

ТехнологииПрограммирование+3
Давид Кац
  ·   · 4,2 K
Куратор темы Data Science  · 5 июл 2021

Это данные больше, чем те, что мы могли представить 10 лет назад. Нет строгой границы между данными стандартных размеров, к статистическому описанию или статистической обработки которых мы привыкли 30 или 40 лет назад, и большими данными. Конечно, есть очевидные крайние случаи, когда спора быть не может. В таких случаях даже серверы находятся в больших зданиях, это тяжелые серверы и толстые кабели, так как физически там хранится очень большой объем информации. Но при этом сам по себе объем данных - это может быть не самое важное, что составляет определение Big Data. А самое важное - это то, применимы ли к обработке этих данных традиционные алгоритмы. Иногда привычные алгоритмы становятся неэффективными, они очень долго работают на больших данных. Тогда термин Big Data подразумевает, что нам требуются более эффективным способы подсчета статистики. Получается, что Big Data в полном смысле - набор технологий хранения больших массивов данных, их передачи и кодировки, а также упрощения алгоритмов их обработки. Все это вместе - это большие данные. Но при этом, поскольку термин Big Data возник относительно недавно, он все еще находится в такой стадии, когда его определение очень подвижно и изменчиво.

1 эксперт согласен
Диванный философ, по совместительству инженер  · 22 июл 2021
Big Data это не совсем дословно об объемах данных. Это скорее методики их использования и обработки. Например транзакции по счетам крупного банка за год имеют огромные объемы. Но по прямому назначению, т.е. для перемещения... Читать далее
1 эксперт согласен
Программист, экспериментатор, talk python to me.  · 13 июл 2021
Big Data- это не просто много данных, это очень много данных. Если вы работаете в Excel, то максимум с десятками тысячами срок. Если работаете с стандартными базами данных, у вас их миллионы. А Big Data, это уже когда вы для... Читать далее
Родился, учился и работал в СССР. Инженер-оптик...  · 14 авг 2021
Это где, когда и как. Когда-то все, что не влезало в файл 500мб, потом в таблицу 2гб, было очень большими данными. Потом появились RDBMS , которые могли хранить сотни гигабайт и быстро в них находить нужные мегабайты. Это были... Читать далее
Chief Data Scientist Стратегии Сбера, HSE AI...  · 6 сент 2021
Все просто, большие данные - чисто маркетинговое понятие. Есть принцип 5 V: 1) Volume (объем) - непосредственно объем данных. 1 гб вряд ли большой объем, но 1 гб в сек уже можно считать большими данными 2) Velocity (скорость)... Читать далее
любовь  · 5 июл 2021
Содержание. Какие большие данные. Как работает технология больших данных? Как обрабатываются большие данные? Где используется аналитика больших данных? Продажа товаров Подбор персонала. Банки. Автомобильная промышленность... Читать далее
Всё очень просто. Большие данные, это те, что не влезают в вашу оперативку. Всё. К сожалению у меня остались символы =( Естественно, в большинстве случаев имеется ввиду, что не влезает в оперативку большинства серверов. И тут... Читать далее
Первый
IT сфера, программирование, анализ данных.  · 28 окт 2021
Если данных хватает для ответов по запросам маркетологов, рекламодателей, руководства компании или простых покупателей - считаем это большие данные. Т. е. если раньше информация о товаре содержала дату производства товара... Читать далее