Для работы с виртуальными машинами( тестирования Ansible, кластеров и
т.п.) компанией HashiCorp был создан отличный инструмент под названием
Vagrant. Но в прошлом году эта компания заблокировала доступ к своим ресурсам из России, а следовательно пользоваться этим инструментом стало почти невозможно. Для решения этой проблемы был создан публичный репозиторий.
User
Кластер ElasticSearch на 1Ptb+
Черновик статьи был написан еще год назад, когда я работал на крупном международном проекте, но из-за разных событий прошлого года он остался неопубликованным.
На проекте в моем ведении находилось несколько on-premise кластеров в нескольких европейских датацентрах. «Мы» в этой статье — небольшая команда DataOps из 5 человек.
Было дело я читал на Хабре статью про «Кластер Elasticsearch на 200 ТБ+» и примерял написанное к нам, у нас такой кластер считался средним, самый маленький кластер под 0,1Ptb, а большой тогда был под 0,5Ptb. Потом была поставлена задача подготовить кластер к увеличению объемов входящих данных в 2-3 раза, а срок хранения в 2 раза, т. е. объем хранимых данных, если грубо экстраполировать, должен был стать в районе 2-3Ptb.
Хочу поделиться нашим опытом, может кому пригодиться.
Information
- Rating
- Does not participate
- Location
- Россия
- Registered
- Activity