Использовать ZMQ конечно оригинально, и в целом не лишено смысла, но почему не рассматривали вариант взять готовую библиотеку для передачи мультимедиа, которая умеет в какой-нибудь современный Opus, автоматическую подстройку задержки и обработку проблем соединения? И использовать какой-нибудь стандартный для передачи потока аудио протокол :-).
Безотносительно этого вопроса, ребята и ментор - молодцы, нормальная работа.
Тут ведь всё дело в выборке. Если взять самых талантливых IT'шников - то будет 95%. Если взять всех Россиян (а многие студенты IT специальностей потом в IT не идут, так что можно и приравнять) - то и 1% можно нарисовать.
Например, оказалось, что большинство стандартных утилит для работы с HPC (High Performance Computing) поддерживают только IPv4. Яндекс, в свою очередь, уже много лет живёт в дата-центрах IPv6-only.
Пытался через openmpi году примерно в 2016м запустить ipycluster на нодах hahn, не осилил :).
А есть какой-то смысл в "без хабов"? Иначе уж 16 то устройств типа указанных в статье любой современный роутер потянет. Интерфейс для конечного пользователя все равно ведь нужно будет допиливать?
А не было подобного обзора с расшифровкой маркировок Cascade Lake? Было сложно разобраться отличается ли какой-то 24-ядерник от аналогичной старшей модели чем-то кроме порезанного FMA который на машинке с кучей GPU вряд-ли понадобится (не помню, кажется в итоге оказалось что сравнивали модели для 2 vs 4 сокетов), и что за маркировка R.
У вас административно запрещено использовать VirtualenvOperator и все зависимости зашиваются в docker-образ где запускается worker?
Как организовано распределение ресурсов и ответственных за аппрув обновлений версий зависимостей в различных очередях? Каждой команде по своей очереди?
Смысл создавать отдельную функцию, а не просто использовать math.tanh(), в том, чтобы удобнее было ее заменить, в случае, если я решу, что другая будет эффективней.
Выбор HDFS vs Ozone очевиден после того как покопаешься в исходниках механизмов обеспечения HA в HDFS. И почитаешь тикет с "дизайн-доком" этого велосипеда с квадратными колесами.
Прекрасно понимаю, тож полдня возился с компом племянника. Перенес данные сначала rsync'ом (наивный), ntfsclone не умеет налету уменьшать раздел, пришлось каким-то partition magic'ом с его "миграцией hdd на ssd" данные переносить, но оно таки не осилило само mbr поправить, в итоге сначала руками в hex и python'ом смотрел/фиксил чего там в MBR не так, но потом всё-таки со второго раза виндовым встроенным bootmgr'ом всё пофиксилось.
ps. но на хабр ты такое зря выложил, не поймут это местные адепты пиратских фиксилок mbr
Сделать партиционированную таблицу с текущей таблицей в качестве единственной партиции
Добавить новую партицию, перенаправить запись туда
Создать ещё одну табличку, куда заселектить нужные данные из старой, и переподключить её на место старой. Или спокойно удалить записи прямо из старой (если запись туда не производится, то можно хоть за один запрос, не?).
Не, тут пользователи ССЗБ — берут накрученную поделку вместо официального приложения (от разработчиков используемой повсеместно opensource библиотеки) у которого >100млн скачиваний.
Использовать ZMQ конечно оригинально, и в целом не лишено смысла, но почему не рассматривали вариант взять готовую библиотеку для передачи мультимедиа, которая умеет в какой-нибудь современный Opus, автоматическую подстройку задержки и обработку проблем соединения? И использовать какой-нибудь стандартный для передачи потока аудио протокол :-).
Безотносительно этого вопроса, ребята и ментор - молодцы, нормальная работа.
Тут ведь всё дело в выборке. Если взять самых талантливых IT'шников - то будет 95%. Если взять всех Россиян (а многие студенты IT специальностей потом в IT не идут, так что можно и приравнять) - то и 1% можно нарисовать.
Пытался через openmpi году примерно в 2016м запустить ipycluster на нодах hahn, не осилил :).
Да, это вам не pytorch syntetic benchmark на паре Tyan 8x2080ti PCIe3 2x10Gbit гонять, ради таких штук в Яндекс вернуться можно :).
Когда с 16.04 то переедете и на что?..
А есть какой-то смысл в "без хабов"? Иначе уж 16 то устройств типа указанных в статье любой современный роутер потянет. Интерфейс для конечного пользователя все равно ведь нужно будет допиливать?
Так себе UI - зато маркетинг как хорош, какая виральность!
Чтобы это не было отвратительно медленно в конечном итоге всё равно придется завести какую-нибудь громоздкую dask/spark/flink/datafusion.
А не было подобного обзора с расшифровкой маркировок Cascade Lake? Было сложно разобраться отличается ли какой-то 24-ядерник от аналогичной старшей модели чем-то кроме порезанного FMA который на машинке с кучей GPU вряд-ли понадобится (не помню, кажется в итоге оказалось что сравнивали модели для 2 vs 4 сокетов), и что за маркировка R.
Ещё вот такая штука у автора fastapi недавно вышла, с ней стало легче женить модельки с представлением - https://github.com/tiangolo/sqlmodel
У вас административно запрещено использовать VirtualenvOperator и все зависимости зашиваются в docker-образ где запускается worker?
Как организовано распределение ресурсов и ответственных за аппрув обновлений версий зависимостей в различных очередях? Каждой команде по своей очереди?
И как происходит обновление на воркерах?
Статья норм, а вот перевод "специалист по данным" это жесть.
Говорят что ВКонтакте в этом плане очень даже в тренде, и эпоха не ушла. Там как раз две галочки есть, канонично по этому слогану.
С разморозкой всех.
Выбор HDFS vs Ozone очевиден после того как покопаешься в исходниках механизмов обеспечения HA в HDFS. И почитаешь тикет с "дизайн-доком" этого велосипеда с квадратными колесами.
Жалко что про эту штуку не знает никто кроме админов ya/ex-ya… Надо будет хоть самому затестить как-нибудь.
В молодости ubuntu 6.04 девочке поставил. Она потом со мной год не общалась.
Прекрасно понимаю, тож полдня возился с компом племянника. Перенес данные сначала rsync'ом (наивный), ntfsclone не умеет налету уменьшать раздел, пришлось каким-то partition magic'ом с его "миграцией hdd на ssd" данные переносить, но оно таки не осилило само mbr поправить, в итоге сначала руками в hex и python'ом смотрел/фиксил чего там в MBR не так, но потом всё-таки со второго раза виндовым встроенным bootmgr'ом всё пофиксилось.
ps. но на хабр ты такое зря выложил, не поймут это местные адепты пиратских фиксилок mbr
Кажется так будет чуть прямее?
Не, тут пользователи ССЗБ — берут накрученную поделку вместо официального приложения (от разработчиков используемой повсеместно opensource библиотеки) у которого >100млн скачиваний.