У меня дома даже принтер мне по SNMP рассказывает как там у него дела, в том числе про загрузку своего проца, память и сетевой трафик (меня правда интересует от него только состояние картриджей). Собираю snmp-exporter, хотя можно хоть чем.
Видеокарты тоже мониторятся, есть sysctl, BAR-регистры если хочется хардкора...
И все эти метрики стандартизированы и работает всё без питона с его кучей пакетов. Кстати, из питона SNMP тоже можно читать если вы хотите попрактиковаться.
Кажется алгоритмы хабра совсем сломались, меня уже начинает бесить когда такое попадает в мою ленту и тратит моё время. Пусть будет всего одна статья в месяц, но не про то как кто-то сходил в магазин и накупил красивых коробочек с проводами...
Нам когда я там работал в тех-ком центре на ул Чаянова в 2000 году раздавали памятные футболки с надписью "6 лет РТС". Никакие статьи не заменят то, что прожил сам.
К слову, это было чудесное время и одна из самых лучших команд в которых я работал последние 30 лет.
И как-то мало про существование РТС с 1994 года, поразительно! :-) Там к 1998 году даже клиринговый центр был, больше 50К tps обрабатывалось... ММВБ всё кругами ходила облизывалась и как только дир-а Лёшу Телятникова (с Сухоруковым) уговорили уйти, так и прибрали систему к рукам...
По опыту скажу что Red Hat/IBM довольно агрессивно подсаживает клиентов на OpenShift, при этом всё вроде "почти как" в K8s, но на практике не совсем. Иногда создаётся ощущение что это сделано искусстевенно.
Да, в Openshift вроде всё есть, всё удобно, но если захочется что-то новое/нестандартное... в общем лучше не надо.
Работая с K8s ощущаешь себя настоящим инженером у которого всё под контролем и можно сделать действительно красивые вещи. Сообщество также классное, много новых идей и их реализаций. Да, нужно лучше разбираться в предмете, но это того стоит.
Мы тоже проходили этот путь :) Про Marquize не знал, а OpenMetadata и особенно Datahub хороши.
Немного может напугать сложность моделирования своей собственной модели метаданных, но с должным погружением в устройство Datahub всё это реализуемо. Мы общались с создателями на их townhall встречах и просили улучшить этот вопрос. Вроде как там сделали улучшения на этот счёт, правда после распада основной команды (уход Марса Лана и реорганизация после этого) всё как-то замедлилось.
Если честно, то по тому что я видел когда с этой темой работал, большинство компаний кто серьёзно и на перспективу хочет себя обеспечить удобной системой каталогизации данных - они форкают что-то event-based (как Datahub или OpenMetadata) или пишут своё. Это сопоставимые усилия если хочется что-то по-настоящему удобное иметь.
Отличная статья про отличный инструмент! Кстати, вчера вышла новая версия uv 0.5 :) Обновляйтесь осторожно, у нас пайплайны не сразу заработали, пришлось в паре мест фиксить косяки небольшие.
Это не тот тепловой throttling что на ноутбуках :-) Вот тут например люди постарались и разложили по полочкам: https://www.datadoghq.com/blog/kubernetes-cpu-requests-limits/ Хотя я больше был под впечатлением от одного доклада с недавней конференции, там как раз про типичные ошибки в выставлении лимитов было, и я по возвращении презентовал идеи коллегам.
У нас нет СТО, у нас board of architects, только они уже меньше тех вопросами занимаются чем принято считать. С менеджерами "которым не нужно понимать" технические детали инженер у нас даже не разговаривает. Вообще-то это тема важная, потому что одни могут соптимизировать расходы на cloud инфраструктуру, а другие сделать более оптимальныйи красивый дизайн и развеску нагрузок. Хотя это всё тема другой большой дискуссии...
Вот только хотел про это написать, опередили :-) Делал презентацию нащим менеджерам на прошлой неделе, они не понимают что такое throttling cpu. В современных кубернетесах можно хорошо так загубить производительность если не понимать как проц слайсится.
Не совсем. Одноплатники - это всё же отдельный компьютер, а тут уже своя специализация под свои конкретные задачи. Конкретнее про мой случай - интересуют модули форм-фактора PCIe/NGFF/USB (как тот же Coral) для ускорения инференса уже обученных моделей. Согласитесь что не вся статья про это.
Разумеется всякие AVX512/GPU общеизвестны и лежат на поверхности как очевидные широкоиспользуемые средства ускорения, их не рассматриваем.
Интересны ускорители для инференса с малым энергопотреблением, пусть даже заточеные под одну библиотеку. Я купил себе Coral поиграться, ощущeния пока неоднозначные из-за целочисленной квантизации... Какие сейчас тренды в этой области?
А есть кстати такой RSS-digest сервис? Ну чтобы туда подцеплять разные источники (обычные RSS и всякие каналы с телеги например), он там сам читает, делает выжимку и отдаёт опять же как RSS. И читать этот RSS с того к чему кто привык.
Спасибо за хорошую статью!
А stoken не подошёл бы?
Консольный, стабильный как кирпич :) Может чего-то не хватает конечно...
UPD: да, он похоже только RSA умеет, так что это не совсем то же самое
Эх, а как же стандартный SNMP?
У меня дома даже принтер мне по SNMP рассказывает как там у него дела, в том числе про загрузку своего проца, память и сетевой трафик (меня правда интересует от него только состояние картриджей). Собираю snmp-exporter, хотя можно хоть чем.
Видеокарты тоже мониторятся, есть sysctl, BAR-регистры если хочется хардкора...
И все эти метрики стандартизированы и работает всё без питона с его кучей пакетов.
Кстати, из питона SNMP тоже можно читать если вы хотите попрактиковаться.
Кажется алгоритмы хабра совсем сломались, меня уже начинает бесить когда такое попадает в мою ленту и тратит моё время. Пусть будет всего одна статья в месяц, но не про то как кто-то сходил в магазин и накупил красивых коробочек с проводами...
На википедии есть что-то, но не совсем корректное: https://en.wikipedia.org/wiki/Russian_Trading_System.
Нам когда я там работал в тех-ком центре на ул Чаянова в 2000 году раздавали памятные футболки с надписью "6 лет РТС". Никакие статьи не заменят то, что прожил сам.
К слову, это было чудесное время и одна из самых лучших команд в которых я работал последние 30 лет.
И как-то мало про существование РТС с 1994 года, поразительно! :-)
Там к 1998 году даже клиринговый центр был, больше 50К tps обрабатывалось...
ММВБ всё кругами ходила облизывалась и как только дир-а Лёшу Телятникова (с Сухоруковым) уговорили уйти, так и прибрали систему к рукам...
Специально для вас ссылка на то место где про это говорится (да, я просто сделал поиск по тексту):
https://www.datadoghq.com/blog/kubernetes-cpu-requests-limits/#metrics-to-watch-cpu-throttling
По опыту скажу что Red Hat/IBM довольно агрессивно подсаживает клиентов на OpenShift, при этом всё вроде "почти как" в K8s, но на практике не совсем. Иногда создаётся ощущение что это сделано искусстевенно.
Да, в Openshift вроде всё есть, всё удобно, но если захочется что-то новое/нестандартное... в общем лучше не надо.
Работая с K8s ощущаешь себя настоящим инженером у которого всё под контролем и можно сделать действительно красивые вещи. Сообщество также классное, много новых идей и их реализаций. Да, нужно лучше разбираться в предмете, но это того стоит.
Мы тоже проходили этот путь :)
Про Marquize не знал, а OpenMetadata и особенно Datahub хороши.
Немного может напугать сложность моделирования своей собственной модели метаданных, но с должным погружением в устройство Datahub всё это реализуемо.
Мы общались с создателями на их townhall встречах и просили улучшить этот вопрос.
Вроде как там сделали улучшения на этот счёт, правда после распада основной команды (уход Марса Лана и реорганизация после этого) всё как-то замедлилось.
Если честно, то по тому что я видел когда с этой темой работал, большинство компаний кто серьёзно и на перспективу хочет себя обеспечить удобной системой каталогизации данных - они форкают что-то event-based (как Datahub или OpenMetadata) или пишут своё.
Это сопоставимые усилия если хочется что-то по-настоящему удобное иметь.
Отличная статья про отличный инструмент!
Кстати, вчера вышла новая версия uv 0.5 :)
Обновляйтесь осторожно, у нас пайплайны не сразу заработали, пришлось в паре мест фиксить косяки небольшие.
Хорошая статья, хочется продолжения по данной тематике, спасибо!
Это не тот тепловой throttling что на ноутбуках :-)
Вот тут например люди постарались и разложили по полочкам: https://www.datadoghq.com/blog/kubernetes-cpu-requests-limits/
Хотя я больше был под впечатлением от одного доклада с недавней конференции, там как раз про типичные ошибки в выставлении лимитов было, и я по возвращении презентовал идеи коллегам.
У нас нет СТО, у нас board of architects, только они уже меньше тех вопросами занимаются чем принято считать. С менеджерами "которым не нужно понимать" технические детали инженер у нас даже не разговаривает.
Вообще-то это тема важная, потому что одни могут соптимизировать расходы на cloud инфраструктуру, а другие сделать более оптимальныйи красивый дизайн и развеску нагрузок.
Хотя это всё тема другой большой дискуссии...
Вот только хотел про это написать, опередили :-)
Делал презентацию нащим менеджерам на прошлой неделе, они не понимают что такое throttling cpu. В современных кубернетесах можно хорошо так загубить производительность если не понимать как проц слайсится.
Не знал почему-то про него, почитал в википедии, звучит здорово.
Мне кажется что набиваться не надо, пусть развивается своим темпом.
Не совсем. Одноплатники - это всё же отдельный компьютер, а тут уже своя специализация под свои конкретные задачи.
Конкретнее про мой случай - интересуют модули форм-фактора PCIe/NGFF/USB (как тот же Coral) для ускорения инференса уже обученных моделей. Согласитесь что не вся статья про это.
Разумеется всякие AVX512/GPU общеизвестны и лежат на поверхности как очевидные широкоиспользуемые средства ускорения, их не рассматриваем.
Интересны ускорители для инференса с малым энергопотреблением, пусть даже заточеные под одну библиотеку. Я купил себе Coral поиграться, ощущeния пока неоднозначные из-за целочисленной квантизации...
Какие сейчас тренды в этой области?
Да, у меня так и сделано, мне хотелось узнать какие digest сервисы-читалки есть чтобы выжимки делать. За ссылку спасибо, буду расширять кругозор.
А есть кстати такой RSS-digest сервис?
Ну чтобы туда подцеплять разные источники (обычные RSS и всякие каналы с телеги например), он там сам читает, делает выжимку и отдаёт опять же как RSS.
И читать этот RSS с того к чему кто привык.
Вашим ученикам повезло что у них такой хороший преподаватель!