Как стать автором
Обновить

Когда данных слишком много… как оптимизировать хранение

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров4.5K
Всего голосов 8: ↑6 и ↓2+6
Комментарии4

Комментарии 4

Что-то мне кажется, если менять байтовый размер переменных, то за миллиардом абстракций выравнивания, сериализации, еще миллиона прослоек, это станет экономией пяти копеек при покупке мерседеса. ну если у вас не свой, особый формат данных для огроменных числодробилок с огроменной нагрузкой.

Ну можно ещё протобуф использовать https://ru.wikipedia.org/wiki/Protocol_Buffers

OpenStreetMap, например, в том числе этом формате данные распространяет

Работал в Dell с системами хранения данных. Дедупликация уменьшала размер необходимого пространства в десятки раз (для типичной компании, например бухгалтерские таблицы). Ну и опять таки система была мультиуровневая - часто используемые данные хранились на быстрых дисках, редко используемые проваливались вниз на медленные HDD, или даже в частное облако, которое в некоторых случаях дешевле своего датацентра.

Слишком много - это когда имеющиеся технологии, в т.ч. и описанные тут, уже не помогают

Зарегистрируйтесь на Хабре, чтобы оставить комментарий