Поскольку хостинг и техподдержку мы осуществляем сами — ES нам не стоит ничего. В день система прокачивает около 3Тб логов. Под такие объёмы нужна лицензия Splunk Enerprise. Посчитайте — сколько это будет стоить за индексирование 3Тб/сутки.
Да, но есть ещё недобрая часть на других языках + логи nodejs + логи nginx + логи почты + много разной экзотики. Нужен был универсальный инструмент. К тому же, логи сливаются не только в эластик, в виде файлов они тоже нужны для долговременного хранения.
Уточню про flume: под нагрузкой зависала связка kafka -> flume. Симптомы: все ядра под 100%, память утекает неизвестно куда, в логах пусто. Как в данных условиях лечить — непонятно, поэтому пришлось ампутировать.
Абсолютно никакого. Все сервера у нас в UTC, но компания большая, людей много, серверов ещё больше, и если откуда-то вдруг прилетит MSK — надо быть к этому готовым заранее. Индексы старше 21 дня удаляются, поэтому лучше чтобы они сразу создавались за правильную дату.
Этот параметр влияет только на то, когда создаётся индекс. Позволяет избежать создания индексов, когда, например на сервере эластика ещё сегодня, а логи шлют уже из завтра. Эластик сам вычисляет таймстамп записи из даты и времени пришедших в логах. Поэтому, кстати, очень важно, чтобы в логах были указаны таймзоны. Потому что если их нет — Эластик будет считать по UTC и логи поплывут.
[SplitterName]
type = "RegexSplitter"
delimiter = ‘here_is_delimeter’
delimiter_eol = true/false
И в боевых конфигах мы используем имена реальных сервисов в заголовках всех блоков, для удобочитаемости. Но для статьи пришлось их поменять на нейтральные названия.
С коллегами на «ты», с начальством пытаюсь на «вы» (дистанцию всё-таки держать нужно), но начальство ругается и требует называть на «ты». Нашёл компромисс: называю шефа полным именем (Юрий), но на «ты», раз уж ему так хочется.
А с уборщицей, конечно всегда на «вы», потому что уважаю их труд (без шуток и сарказма).
И в боевых конфигах мы используем имена реальных сервисов в заголовках всех блоков, для удобочитаемости. Но для статьи пришлось их поменять на нейтральные названия.
Самый близкий к нему аналог из реально существующих — модафинил. Но он в России запрещён (первый список).
Вот тут я в корне не согласен.
ssh -f -N -D 8888 your_wds_address
Потом прописываем свежесозданный sock-proxy (localhost:8888) себе в настройки и всё. Никакой Роскомнадзор вас больше не побеспокоит.
Разумеется, если задача звучит как «иметь доступ до любого заблокированного сайта», а не «потренироваться в написании анонимайзеров».
А с уборщицей, конечно всегда на «вы», потому что уважаю их труд (без шуток и сарказма).