Комментарии 5
"выяснилось, что почти 90% данных никому не нужны" видимо в этом и есть корень всей оптимизации. Такие вещи желательно знать до начала проекта
Итак, мы создали новую таблицу с новой схемой и использовали данные из Kafka для ее заполнения. После переноса всех записей мы развернули новую версию приложения, которая для INSERT использовала новую таблицу с секционированием и удалили старую, чтобы освободить место.
Вот этот абзац реально решает проблему. Только данные можно было брать не из кафки, а прямо из старой таблицы.
И зачем автору весь остальной текст?
Эмм, как бы проблема была с mysql, так в чем проблема была этот самый mysql оптимизировать?
А так получается, что то вроде
— Сэр, у меня мыши едят запасы.
— Попробуйте использовать отвертку.
— Сэр, у меня жена рожает.
— Попробуйте использовать отвертку.
— Сэр, леса горят.
— Ну что же вы голубчик, попробуйте отвертку.
А так получается, что то вроде
— Сэр, у меня мыши едят запасы.
— Попробуйте использовать отвертку.
— Сэр, у меня жена рожает.
— Попробуйте использовать отвертку.
— Сэр, леса горят.
— Ну что же вы голубчик, попробуйте отвертку.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как справиться с более чем двумя миллиардами записей в SQL-базе данных