Отличная статья про отличный инструмент! Кстати, вчера вышла новая версия uv 0.5 :) Обновляйтесь осторожно, у нас пайплайны не сразу заработали, пришлось в паре мест фиксить косяки небольшие.
Это не тот тепловой throttling что на ноутбуках :-) Вот тут например люди постарались и разложили по полочкам: https://www.datadoghq.com/blog/kubernetes-cpu-requests-limits/ Хотя я больше был под впечатлением от одного доклада с недавней конференции, там как раз про типичные ошибки в выставлении лимитов было, и я по возвращении презентовал идеи коллегам.
У нас нет СТО, у нас board of architects, только они уже меньше тех вопросами занимаются чем принято считать. С менеджерами "которым не нужно понимать" технические детали инженер у нас даже не разговаривает. Вообще-то это тема важная, потому что одни могут соптимизировать расходы на cloud инфраструктуру, а другие сделать более оптимальныйи красивый дизайн и развеску нагрузок. Хотя это всё тема другой большой дискуссии...
Вот только хотел про это написать, опередили :-) Делал презентацию нащим менеджерам на прошлой неделе, они не понимают что такое throttling cpu. В современных кубернетесах можно хорошо так загубить производительность если не понимать как проц слайсится.
Не совсем. Одноплатники - это всё же отдельный компьютер, а тут уже своя специализация под свои конкретные задачи. Конкретнее про мой случай - интересуют модули форм-фактора PCIe/NGFF/USB (как тот же Coral) для ускорения инференса уже обученных моделей. Согласитесь что не вся статья про это.
Разумеется всякие AVX512/GPU общеизвестны и лежат на поверхности как очевидные широкоиспользуемые средства ускорения, их не рассматриваем.
Интересны ускорители для инференса с малым энергопотреблением, пусть даже заточеные под одну библиотеку. Я купил себе Coral поиграться, ощущeния пока неоднозначные из-за целочисленной квантизации... Какие сейчас тренды в этой области?
А есть кстати такой RSS-digest сервис? Ну чтобы туда подцеплять разные источники (обычные RSS и всякие каналы с телеги например), он там сам читает, делает выжимку и отдаёт опять же как RSS. И читать этот RSS с того к чему кто привык.
Что-то совсем примитив... интересно, автор сам понимает как всё это работает?
И кстати, что-то я засомневался что рекомендательные алгоритмы хабра работают как надо, меня вот раздражает когда такое попадает ко мне в ленту, хочется вкладку в броузере закрыть вообще...
Спасибо за популярное изложение, думаю многим будет полезно.
За KAN сетями будущее, которое на данный момент сдерживается только значительно бОльшими вычислительными затратами при обучении по сравнению с сетями-перцептронами. Но это ненадолго, на подходе специализированные ASIC и TPU, так что тут прогресс идёт.
Сначала думал что тут про очередное развёртывание nextcloud на vps или домашнем утюге, а тут... google drive. Ну хорошо, раз работает и делает то что вам нужно - пусть будет и такая цифровизация.
Пашка выберется, вон за него и шейхи вступились, к тому же планы для таких критических ситуаций уже были давно продуманы и подготовлены. В этой истории важна сама легитимизация атаки на независимую интернет-площадку общения.
На данный момент имеем подмоченную репутацию Франции как страны где есть свобода слова. Критики их действий хоть отбавляй, из того что вижу - сухая официальная поддержка только от сми.
Всё идёт к тому что пользоваться люди будут децентрализованными соцсетями (mastodon) и мессенджерами (matrix). И всегда будут те, "кому нечего скрывать" и они будут продолжать сидеть в фб, вотсап, инсте, гмэйле и ходить с айфоном в кармане.
Процессор TDP 225W для домашнего компа - это всё же жарковато. Для себя всегда беру 65W, вот сейчас стоит Ryzen9 7900 (12 cores 24 threads), вполне себе зверь.
Но глобально я вашу позицию понимаю и даже скорее соглашусь - при условии что обучение НС происходит нечасто, имеется очень быстрая многоканальная память и нет желания/бюджета/возможности подключить GPU.
Думаю, что для обучения real-life моделей производительность на ватт у GPU будет лучше. Можно пооптимизировать под конкретную задачу и бюджет, но перевес всё же есть.
Отличная статья про отличный инструмент!
Кстати, вчера вышла новая версия uv 0.5 :)
Обновляйтесь осторожно, у нас пайплайны не сразу заработали, пришлось в паре мест фиксить косяки небольшие.
Хорошая статья, хочется продолжения по данной тематике, спасибо!
Это не тот тепловой throttling что на ноутбуках :-)
Вот тут например люди постарались и разложили по полочкам: https://www.datadoghq.com/blog/kubernetes-cpu-requests-limits/
Хотя я больше был под впечатлением от одного доклада с недавней конференции, там как раз про типичные ошибки в выставлении лимитов было, и я по возвращении презентовал идеи коллегам.
У нас нет СТО, у нас board of architects, только они уже меньше тех вопросами занимаются чем принято считать. С менеджерами "которым не нужно понимать" технические детали инженер у нас даже не разговаривает.
Вообще-то это тема важная, потому что одни могут соптимизировать расходы на cloud инфраструктуру, а другие сделать более оптимальныйи красивый дизайн и развеску нагрузок.
Хотя это всё тема другой большой дискуссии...
Вот только хотел про это написать, опередили :-)
Делал презентацию нащим менеджерам на прошлой неделе, они не понимают что такое throttling cpu. В современных кубернетесах можно хорошо так загубить производительность если не понимать как проц слайсится.
Не знал почему-то про него, почитал в википедии, звучит здорово.
Мне кажется что набиваться не надо, пусть развивается своим темпом.
Не совсем. Одноплатники - это всё же отдельный компьютер, а тут уже своя специализация под свои конкретные задачи.
Конкретнее про мой случай - интересуют модули форм-фактора PCIe/NGFF/USB (как тот же Coral) для ускорения инференса уже обученных моделей. Согласитесь что не вся статья про это.
Разумеется всякие AVX512/GPU общеизвестны и лежат на поверхности как очевидные широкоиспользуемые средства ускорения, их не рассматриваем.
Интересны ускорители для инференса с малым энергопотреблением, пусть даже заточеные под одну библиотеку. Я купил себе Coral поиграться, ощущeния пока неоднозначные из-за целочисленной квантизации...
Какие сейчас тренды в этой области?
Да, у меня так и сделано, мне хотелось узнать какие digest сервисы-читалки есть чтобы выжимки делать. За ссылку спасибо, буду расширять кругозор.
А есть кстати такой RSS-digest сервис?
Ну чтобы туда подцеплять разные источники (обычные RSS и всякие каналы с телеги например), он там сам читает, делает выжимку и отдаёт опять же как RSS.
И читать этот RSS с того к чему кто привык.
Вашим ученикам повезло что у них такой хороший преподаватель!
Что-то совсем примитив... интересно, автор сам понимает как всё это работает?
И кстати, что-то я засомневался что рекомендательные алгоритмы хабра работают как надо, меня вот раздражает когда такое попадает ко мне в ленту, хочется вкладку в броузере закрыть вообще...
Спасибо за популярное изложение, думаю многим будет полезно.
За KAN сетями будущее, которое на данный момент сдерживается только значительно бОльшими вычислительными затратами при обучении по сравнению с сетями-перцептронами.
Но это ненадолго, на подходе специализированные ASIC и TPU, так что тут прогресс идёт.
Сначала думал что тут про очередное развёртывание nextcloud на vps или домашнем утюге, а тут... google drive.
Ну хорошо, раз работает и делает то что вам нужно - пусть будет и такая цифровизация.
Пашка выберется, вон за него и шейхи вступились, к тому же планы для таких критических ситуаций уже были давно продуманы и подготовлены. В этой истории важна сама легитимизация атаки на независимую интернет-площадку общения.
На данный момент имеем подмоченную репутацию Франции как страны где есть свобода слова. Критики их действий хоть отбавляй, из того что вижу - сухая официальная поддержка только от сми.
Всё идёт к тому что пользоваться люди будут децентрализованными соцсетями (mastodon) и мессенджерами (matrix). И всегда будут те, "кому нечего скрывать" и они будут продолжать сидеть в фб, вотсап, инсте, гмэйле и ходить с айфоном в кармане.
Это всё правильно, но двигаться вперёд тоже нужно. Откатить конф емакса - это совсем пустяк
Процессор TDP 225W для домашнего компа - это всё же жарковато.
Для себя всегда беру 65W, вот сейчас стоит Ryzen9 7900 (12 cores 24 threads), вполне себе зверь.
Но глобально я вашу позицию понимаю и даже скорее соглашусь - при условии что обучение НС происходит нечасто, имеется очень быстрая многоканальная память и нет желания/бюджета/возможности подключить GPU.
Спасибо за такую подробную статью, как раз вовремя :-)
У меня аналогичная ситауция, с годами конфиг емакса как-то устаканился и всё более-менее устраивает, устраивать big bang очень не хочется.
Но с другой стороны видимо придётся поразбираться и обновить/отрефакторить то что есть.
Так что автору большое спасибо!
Думаю, что для обучения real-life моделей производительность на ватт у GPU будет лучше.
Можно пооптимизировать под конкретную задачу и бюджет, но перевес всё же есть.
Переубедите меня если я неправ.