Кибана практически в сыром виде эти логи и выводит
В ES очень много подводных камней не очевидных даже опытному админу, если он не спец по ES. Это может выстрелить в любой момент - просто не увидишь нужную критичную запись из за особенностей поискового запроса / настроек анализатора.
Выводит то может и похоже, хотя тут тоже спорный момент - настроили или нет корректное разбиение на записи обрабатываемого логфайла при заливке большой вопрос, и чаще ответ будет нет, чем да. Graylog тут чуть лучше смотрится, так как у него хотя бы есть нормальный log-ориентированный протокол.
На любых хоть сколько-нибудь значимых объемах эластик это очень дорого. Стоит ли платить за его мощь как распределенного поискового движка - зависит от случая. Среднестатистический админ профита получит с гулькин нос, а боли - достаточно.
Вообще, кажется что лучше и удобнее чем grep по файлам пока не придумали ничего, но даже таким инструментом не каждый админ умеет нормально пользоваться.
Использовать ZMQ конечно оригинально, и в целом не лишено смысла, но почему не рассматривали вариант взять готовую библиотеку для передачи мультимедиа, которая умеет в какой-нибудь современный Opus, автоматическую подстройку задержки и обработку проблем соединения? И использовать какой-нибудь стандартный для передачи потока аудио протокол :-).
Безотносительно этого вопроса, ребята и ментор - молодцы, нормальная работа.
Тут ведь всё дело в выборке. Если взять самых талантливых IT'шников - то будет 95%. Если взять всех Россиян (а многие студенты IT специальностей потом в IT не идут, так что можно и приравнять) - то и 1% можно нарисовать.
Например, оказалось, что большинство стандартных утилит для работы с HPC (High Performance Computing) поддерживают только IPv4. Яндекс, в свою очередь, уже много лет живёт в дата-центрах IPv6-only.
Пытался через openmpi году примерно в 2016м запустить ipycluster на нодах hahn, не осилил :).
А есть какой-то смысл в "без хабов"? Иначе уж 16 то устройств типа указанных в статье любой современный роутер потянет. Интерфейс для конечного пользователя все равно ведь нужно будет допиливать?
А не было подобного обзора с расшифровкой маркировок Cascade Lake? Было сложно разобраться отличается ли какой-то 24-ядерник от аналогичной старшей модели чем-то кроме порезанного FMA который на машинке с кучей GPU вряд-ли понадобится (не помню, кажется в итоге оказалось что сравнивали модели для 2 vs 4 сокетов), и что за маркировка R.
У вас административно запрещено использовать VirtualenvOperator и все зависимости зашиваются в docker-образ где запускается worker?
Как организовано распределение ресурсов и ответственных за аппрув обновлений версий зависимостей в различных очередях? Каждой команде по своей очереди?
Смысл создавать отдельную функцию, а не просто использовать math.tanh(), в том, чтобы удобнее было ее заменить, в случае, если я решу, что другая будет эффективней.
Выбор HDFS vs Ozone очевиден после того как покопаешься в исходниках механизмов обеспечения HA в HDFS. И почитаешь тикет с "дизайн-доком" этого велосипеда с квадратными колесами.
Прекрасно понимаю, тож полдня возился с компом племянника. Перенес данные сначала rsync'ом (наивный), ntfsclone не умеет налету уменьшать раздел, пришлось каким-то partition magic'ом с его "миграцией hdd на ssd" данные переносить, но оно таки не осилило само mbr поправить, в итоге сначала руками в hex и python'ом смотрел/фиксил чего там в MBR не так, но потом всё-таки со второго раза виндовым встроенным bootmgr'ом всё пофиксилось.
ps. но на хабр ты такое зря выложил, не поймут это местные адепты пиратских фиксилок mbr
В ES очень много подводных камней не очевидных даже опытному админу, если он не спец по ES. Это может выстрелить в любой момент - просто не увидишь нужную критичную запись из за особенностей поискового запроса / настроек анализатора.
Выводит то может и похоже, хотя тут тоже спорный момент - настроили или нет корректное разбиение на записи обрабатываемого логфайла при заливке большой вопрос, и чаще ответ будет нет, чем да. Graylog тут чуть лучше смотрится, так как у него хотя бы есть нормальный log-ориентированный протокол.
На любых хоть сколько-нибудь значимых объемах эластик это очень дорого. Стоит ли платить за его мощь как распределенного поискового движка - зависит от случая. Среднестатистический админ профита получит с гулькин нос, а боли - достаточно.
Вообще, кажется что лучше и удобнее чем grep по файлам пока не придумали ничего, но даже таким инструментом не каждый админ умеет нормально пользоваться.
Локи имеет право на жизнь.
Swift же
Использовать ZMQ конечно оригинально, и в целом не лишено смысла, но почему не рассматривали вариант взять готовую библиотеку для передачи мультимедиа, которая умеет в какой-нибудь современный Opus, автоматическую подстройку задержки и обработку проблем соединения? И использовать какой-нибудь стандартный для передачи потока аудио протокол :-).
Безотносительно этого вопроса, ребята и ментор - молодцы, нормальная работа.
Тут ведь всё дело в выборке. Если взять самых талантливых IT'шников - то будет 95%. Если взять всех Россиян (а многие студенты IT специальностей потом в IT не идут, так что можно и приравнять) - то и 1% можно нарисовать.
Пытался через openmpi году примерно в 2016м запустить ipycluster на нодах hahn, не осилил :).
Да, это вам не pytorch syntetic benchmark на паре Tyan 8x2080ti PCIe3 2x10Gbit гонять, ради таких штук в Яндекс вернуться можно :).
Когда с 16.04 то переедете и на что?..
А есть какой-то смысл в "без хабов"? Иначе уж 16 то устройств типа указанных в статье любой современный роутер потянет. Интерфейс для конечного пользователя все равно ведь нужно будет допиливать?
Так себе UI - зато маркетинг как хорош, какая виральность!
Чтобы это не было отвратительно медленно в конечном итоге всё равно придется завести какую-нибудь громоздкую dask/spark/flink/datafusion.
А не было подобного обзора с расшифровкой маркировок Cascade Lake? Было сложно разобраться отличается ли какой-то 24-ядерник от аналогичной старшей модели чем-то кроме порезанного FMA который на машинке с кучей GPU вряд-ли понадобится (не помню, кажется в итоге оказалось что сравнивали модели для 2 vs 4 сокетов), и что за маркировка R.
Ещё вот такая штука у автора fastapi недавно вышла, с ней стало легче женить модельки с представлением - https://github.com/tiangolo/sqlmodel
У вас административно запрещено использовать VirtualenvOperator и все зависимости зашиваются в docker-образ где запускается worker?
Как организовано распределение ресурсов и ответственных за аппрув обновлений версий зависимостей в различных очередях? Каждой команде по своей очереди?
И как происходит обновление на воркерах?
Статья норм, а вот перевод "специалист по данным" это жесть.
Говорят что ВКонтакте в этом плане очень даже в тренде, и эпоха не ушла. Там как раз две галочки есть, канонично по этому слогану.
С разморозкой всех.
Выбор HDFS vs Ozone очевиден после того как покопаешься в исходниках механизмов обеспечения HA в HDFS. И почитаешь тикет с "дизайн-доком" этого велосипеда с квадратными колесами.
Жалко что про эту штуку не знает никто кроме админов ya/ex-ya… Надо будет хоть самому затестить как-нибудь.
В молодости ubuntu 6.04 девочке поставил. Она потом со мной год не общалась.
Прекрасно понимаю, тож полдня возился с компом племянника. Перенес данные сначала rsync'ом (наивный), ntfsclone не умеет налету уменьшать раздел, пришлось каким-то partition magic'ом с его "миграцией hdd на ssd" данные переносить, но оно таки не осилило само mbr поправить, в итоге сначала руками в hex и python'ом смотрел/фиксил чего там в MBR не так, но потом всё-таки со второго раза виндовым встроенным bootmgr'ом всё пофиксилось.
ps. но на хабр ты такое зря выложил, не поймут это местные адепты пиратских фиксилок mbr