Как стать автором
Обновить
3
0
Андрей Григорьев @eigrad

Linux, Python

Отправить сообщение

Кибана практически в сыром виде эти логи и выводит

В ES очень много подводных камней не очевидных даже опытному админу, если он не спец по ES. Это может выстрелить в любой момент - просто не увидишь нужную критичную запись из за особенностей поискового запроса / настроек анализатора.

Выводит то может и похоже, хотя тут тоже спорный момент - настроили или нет корректное разбиение на записи обрабатываемого логфайла при заливке большой вопрос, и чаще ответ будет нет, чем да. Graylog тут чуть лучше смотрится, так как у него хотя бы есть нормальный log-ориентированный протокол.

На любых хоть сколько-нибудь значимых объемах эластик это очень дорого. Стоит ли платить за его мощь как распределенного поискового движка - зависит от случая. Среднестатистический админ профита получит с гулькин нос, а боли - достаточно.

Вообще, кажется что лучше и удобнее чем grep по файлам пока не придумали ничего, но даже таким инструментом не каждый админ умеет нормально пользоваться.

Локи имеет право на жизнь.

Использовать ZMQ конечно оригинально, и в целом не лишено смысла, но почему не рассматривали вариант взять готовую библиотеку для передачи мультимедиа, которая умеет в какой-нибудь современный Opus, автоматическую подстройку задержки и обработку проблем соединения? И использовать какой-нибудь стандартный для передачи потока аудио протокол :-).

Безотносительно этого вопроса, ребята и ментор - молодцы, нормальная работа.

Тут ведь всё дело в выборке. Если взять самых талантливых IT'шников - то будет 95%. Если взять всех Россиян (а многие студенты IT специальностей потом в IT не идут, так что можно и приравнять) - то и 1% можно нарисовать.

Например, оказалось, что большинство стандартных утилит для работы с HPC (High Performance Computing) поддерживают только IPv4. Яндекс, в свою очередь, уже много лет живёт в дата-центрах IPv6-only.

Пытался через openmpi году примерно в 2016м запустить ipycluster на нодах hahn, не осилил :).

Да, это вам не pytorch syntetic benchmark на паре Tyan 8x2080ti PCIe3 2x10Gbit гонять, ради таких штук в Яндекс вернуться можно :).

Когда с 16.04 то переедете и на что?..

А есть какой-то смысл в "без хабов"? Иначе уж 16 то устройств типа указанных в статье любой современный роутер потянет. Интерфейс для конечного пользователя все равно ведь нужно будет допиливать?

Так себе UI - зато маркетинг как хорош, какая виральность!

Чтобы это не было отвратительно медленно в конечном итоге всё равно придется завести какую-нибудь громоздкую dask/spark/flink/datafusion.

А не было подобного обзора с расшифровкой маркировок Cascade Lake? Было сложно разобраться отличается ли какой-то 24-ядерник от аналогичной старшей модели чем-то кроме порезанного FMA который на машинке с кучей GPU вряд-ли понадобится (не помню, кажется в итоге оказалось что сравнивали модели для 2 vs 4 сокетов), и что за маркировка R.

Ещё вот такая штука у автора fastapi недавно вышла, с ней стало легче женить модельки с представлением - https://github.com/tiangolo/sqlmodel

У вас административно запрещено использовать VirtualenvOperator и все зависимости зашиваются в docker-образ где запускается worker?

Как организовано распределение ресурсов и ответственных за аппрув обновлений версий зависимостей в различных очередях? Каждой команде по своей очереди?

И как происходит обновление на воркерах?

Статья норм, а вот перевод "специалист по данным" это жесть.

Смысл создавать отдельную функцию, а не просто использовать math.tanh(), в том, чтобы удобнее было ее заменить, в случае, если я решу, что другая будет эффективней.

self.act = math.tanh

Говорят что ВКонтакте в этом плане очень даже в тренде, и эпоха не ушла. Там как раз две галочки есть, канонично по этому слогану.

С разморозкой всех.

Выбор HDFS vs Ozone очевиден после того как покопаешься в исходниках механизмов обеспечения HA в HDFS. И почитаешь тикет с "дизайн-доком" этого велосипеда с квадратными колесами.

Жалко что про эту штуку не знает никто кроме админов ya/ex-ya… Надо будет хоть самому затестить как-нибудь.

В молодости ubuntu 6.04 девочке поставил. Она потом со мной год не общалась.

Прекрасно понимаю, тож полдня возился с компом племянника. Перенес данные сначала rsync'ом (наивный), ntfsclone не умеет налету уменьшать раздел, пришлось каким-то partition magic'ом с его "миграцией hdd на ssd" данные переносить, но оно таки не осилило само mbr поправить, в итоге сначала руками в hex и python'ом смотрел/фиксил чего там в MBR не так, но потом всё-таки со второго раза виндовым встроенным bootmgr'ом всё пофиксилось.


ps. но на хабр ты такое зря выложил, не поймут это местные адепты пиратских фиксилок mbr

Информация

В рейтинге
2 109-й
Откуда
Лимассол, Government controlled area, Кипр
Дата рождения
Зарегистрирован
Активность