Хотелось бы почитать на базе каких инструментов это реализовалось, были ли нюансы интеграций, как делали разграничение прав на всех слоях, а то выглядит как пустая теория какая то.
Эх, вообщем все плюс минус тоже самое. Для хоть какого то контроля IaC, те части что не поддерживаются через API, мы дергаем террагрантом используя модуль который в свою очередь дергает скрипты. Мы так же в процессе изучения решения с кафкой, но вот с соглашением по логам пожалуй самая сложная часть. Я иногда думаю что надо было внедрять Loki со статическим мапингом и не париться с типами данный, просто все что не попадает под шаблон режектить. Спасибо за развернутый ответ.
Спасибо за статью. Мы год назад перешли на Open Search и конечн опокушали много кактусов. Интересно почему мы выбрали Logstash, а не FluentBit/DataPreper? И как вы в своем решении решаете проблему того что в индекс может прилетать одно и тоже поле с разным типом данных? Ну и на десерт я бы посмотрел на то как вы описали кодом создание ISM, index patters, Snapshot policy и т.п?
Яндекс только на оплату электричества для обучения Алисы тратит больше чем вы вероятно представляете. Сделать своего ассистента лучше Алисы это прям очень не дёшево.
Для сравнения алгоритмов дедупликации пришлось бы провести полноценное исследование, включая сорсы zfs/btrfs bees, для подобной статьи потребуется затратить около 2х месяцев по вечерам и выходным, в данный момент я к сожалению не располагаю таким ресурсом.
Да и в целом мне хотелось сравнить и показать "а чё там из коробки доступно?"
Большинство пользователей или ИТ специалистов не хотят тратить дни и недели на допиливание кода и сборку на арчах под свои нужды.
Но в целом соглашусь что было бы интересно сделать прям научную статью со сравнением алгоритмов и разбором на разных дата сетах.
Я на самом деле ожидал что блочная дедупликация будет эффективнее чем файловая, вообще детального описания алгоритма от MS я не нашел, за исключением того самого описания на оффсайте, больше похоже что все таки оно работает на гибридном уровне.
Спасибо за технический комментарий. Я привел пример минимального рабочего варианта, честно, статья отняла сильно больше сил и времени чем я планировал, поэтому пример сервиса/юнита получился довольно кривой, я старался сфокусироваться больше на теме стати и результатах. Хотел еще подтащить OpenDedup, но с ним по быстрому не вышло, да и так портянка получилась не маленькая.
Если брать чисто кейс с моим дата сетом, то да согласен, но мне хотелось покопаться и сравнить именно разные варианты дедупликации. У меня в проде был когда то массив от PureStorage, уж не знаю на базе чего у них была построена FS, но массив дедупил на лету все и вся с очень хорошими коэффициентами, я надеялся что найду +- похожее решение на Linux.
Хотелось бы почитать на базе каких инструментов это реализовалось, были ли нюансы интеграций, как делали разграничение прав на всех слоях, а то выглядит как пустая теория какая то.
Эх, вообщем все плюс минус тоже самое.
Для хоть какого то контроля IaC, те части что не поддерживаются через API, мы дергаем террагрантом используя модуль который в свою очередь дергает скрипты.
Мы так же в процессе изучения решения с кафкой, но вот с соглашением по логам пожалуй самая сложная часть.
Я иногда думаю что надо было внедрять Loki со статическим мапингом и не париться с типами данный, просто все что не попадает под шаблон режектить.
Спасибо за развернутый ответ.
Спасибо за статью.
Мы год назад перешли на Open Search и конечн опокушали много кактусов.
Интересно почему мы выбрали Logstash, а не FluentBit/DataPreper?
И как вы в своем решении решаете проблему того что в индекс может прилетать одно и тоже поле с разным типом данных?
Ну и на десерт я бы посмотрел на то как вы описали кодом создание ISM, index patters, Snapshot policy и т.п?
Конечно.
И да это не опечатка.
Господи, Яндекс и его ...ные велописеды наносят очередной удар по здравому смыслу.
Хотелось бы конечно по экпериментироватьс 70B, но интернеты очень быстро чистят.
Да, хорошая мысль. =)
Яндекс только на оплату электричества для обучения Алисы тратит больше чем вы вероятно представляете. Сделать своего ассистента лучше Алисы это прям очень не дёшево.
Мне кажется будет отличным вариантом если ты опишешь свой опыт общения, и у нас получится серия статей на эту тему.
Я прям дежавю ловил, одно за другим.
Искренне сочувствую коллега.
Если есть желание можем созвонится.
По графикам zabbix видно что место не заканчивалось.
Получилось как есть, ничего не менял, не правил.
Для сравнения алгоритмов дедупликации пришлось бы провести полноценное исследование, включая сорсы zfs/btrfs bees, для подобной статьи потребуется затратить около 2х месяцев по вечерам и выходным, в данный момент я к сожалению не располагаю таким ресурсом.
Да и в целом мне хотелось сравнить и показать "а чё там из коробки доступно?"
Большинство пользователей или ИТ специалистов не хотят тратить дни и недели на допиливание кода и сборку на арчах под свои нужды.
Но в целом соглашусь что было бы интересно сделать прям научную статью со сравнением алгоритмов и разбором на разных дата сетах.
Возьму на заметку.
Интересно будет написать вторую часть статьи, когда найду в себе силы.
Может быть как раз добавить VDO, sdfs, lessfs.
Не совсем понимаю как трактовать ваш комментарий, если возможно ответьте более развернуто.
Спасибо!
Я на самом деле ожидал что блочная дедупликация будет эффективнее чем файловая, вообще детального описания алгоритма от MS я не нашел, за исключением того самого описания на оффсайте, больше похоже что все таки оно работает на гибридном уровне.
Спасибо за технический комментарий.
Я привел пример минимального рабочего варианта, честно, статья отняла сильно больше сил и времени чем я планировал, поэтому пример сервиса/юнита получился довольно кривой, я старался сфокусироваться больше на теме стати и результатах.
Хотел еще подтащить OpenDedup, но с ним по быстрому не вышло, да и так портянка получилась не маленькая.
Если брать чисто кейс с моим дата сетом, то да согласен, но мне хотелось покопаться и сравнить именно разные варианты дедупликации.
У меня в проде был когда то массив от PureStorage, уж не знаю на базе чего у них была построена FS, но массив дедупил на лету все и вся с очень хорошими коэффициентами, я надеялся что найду +- похожее решение на Linux.