Лучший
Мне известен только один адекватный способ - это связка Data Warehouse + Python (Pandas, NumPy и т. д., в зависимости от самих данных). В качестве хранилища данных обычно используют OLAP СУБД (PostgreSQL, CLickhouse), либо специализированные продукты.
3 эксперта согласны
Борис Державец
16 дек 2021подтверждает
Ответ профессиональный. Выбор СУБД ( Я бы выбрал иначе ) - это дело личного предпочтения и бюджета.
Здравствуйте! Есть много способов обработки больших объёмом данным.
- Хранение файлов на S3 подобных хранилищах.
- Выгрузка данных в кластерный сервер Clickhouse
- А так же все возможные интеграции.
- Хранение файлов на S3 подобных хранилищах.
- Выгрузка данных в кластерный сервер Clickhouse
- А так же все возможные интеграции.