Две GPU - это специально чтобы поэкспериментировать с K8s подами и миграцией с карты на карту, но и большие (даже densed) модели взлетают неплохо. Использую llama.cpp, у него очень хорошая поддержка таких конфигураций. Сейчас правда перехожу на LocalAI, там комбайн стал более-менее стабилен и очень универсален.
В своей изначальной конфигурации система задумывалась для процессинга видео архива, но потом нашлись применения и поинтереснее.
В целом инференс машина у меня лишь часть SOHO который постепенно развивался последние >20 лет. Там есть полный комплект от mail/web/git/xmpp/sip/vpn/nut сервисов до персонального nextcloud+onlyoffice, k8s лабы и всяких экспериментов. Всё это добро на FreeBSD (кроме инференс сервера и нескольких VM), есть свой сервис сборки BSD пакетов (всё собирается из исходников и с моими специфичными опциями компиляции).
Работает очень хорошо и практически не требует поддержки, система очень стабильна.
У меня похожая система которая развивается своим темпом - несколько физических машин, под инференс собрал 24 cpu / 256 Gb RAM / 2x 1Tb NVMe / 2x 5060Ti 16 Gb, развернуться есть где и поэкспериментировать/поизучать.
Спасибо за статью! Очень интересно, возможно тоже опишу свой опыт развития SOHO системы
Да, согласен, так что посмотрим что обе компании будут предлагать.
У меня есть (вернее уже был) контакт в Groq, поэтому ещё пару лет назад я имел представление над чем они работают. Для NVidia было очень логично их купить.
Если не ошибаюсь, SRAM у Groq в самом начале только была, а к моменту перехода под крыло NVidia у них уже был большой задел под DRAM.
Думаю что по этой технологии Samsung сделает что-то для consumer market, а NVidia для corporate. В любом случае такая конкуренция пойдёт на пользу и подтолкнёт цены к снижению...
Но это же уже несколько лет как было сделано Groq (которые были недавно куплены NVidia)... Производство таких чипов настолько дорогое, что пока никто не решается предлагать их в промышленных масштабах. Хотя хорошо что Samsung начинает конкурировать с NVidia ))
Всё правильно написано, но что интересно, к этому приходишь только с годами. Когда молод то кажется что всё просто, "стоит только чуть поднажать и всё получится" :-) Время - самый ценный ресурс и очень непросто его использовать тем самым, оптимальгым образом...
У Амадеуса уже лет 20+ как есть система автоматического перестроения travel legs, причём вы же понимаете что у каждого из перевозчиков свои policy при смене маршрута - они все принимаются во внимание. Про другие GDS не скажу, но полагаю у них давным-давно такое тоже есть.
Если вы пообщаетесь с GDS, то возможно всё станет проще с вашей задачей.
Обожаю такие проекты и людей которые их делают! Очень интересно читать, много ценной информации и неочевидных моментов описано. Спасибо и удачи вам с проектом!
Редкий текст в котором каждая фраза имеет сжатый смысл. Читал с удовольствием, спасибо! Могут быть разные точки зрения, но осмыслить написанное автором будет очень полезно многим людям
Тема очень индивидуальная, но как человек половину своей жизни проживший в иимиграции я соглашусь с автором, многие моменты неочевидны и хорошо описаны.
Добавлю только один момент - если вы решились сменить место жительства, то делайте это по-настоящему, учите язык, вливайтеь в общество, становитесь своим в новой среде.
Любые половинчатые решения - это невосполнимая потеря вашего времени жизни. Это очень неочевидная вещь!
И ещё - помните что мир не идеален, в новом месте жительства тоже могут быть свои нюансы. Пообщайтесь с людьми, соберите максимум информации перед принятием решения.
И самое главное - не теряйте время, уехать в 30 лет не то же самое что уехать в 40 и тем более в 50. Начинайте учить языки прямо сейчас! С одним английским вы превращаетесь в "очередного туриста", поймите это! Два-три иностранных языка - это действительно полезно и открывает много возможностей.
Про культуру конечно всё зависит от страны, это приходит через 3-4 года очень активной интеграции. Не замыкайтесь ни в коем случае в русскоязычной среде! Вам нужны люди вне этого чтобы по-настоящему стать своим. Но и это займёт время...
Следующий этап - не прикасаться к клавиатуре, а управлять всем этим голосом :-)
Но если серьёзно, то у вас или задачи слишком простые / некритичные или вы не понимаете досконально как всё работает. Извините, не хочу обидеть, но базовые команды чтобы управлять системой нужно знать очень хорошо и понимать что там происходит внутри.
Спасибо за интересный рассказ, читается на одном дыхании :-)
Согласен со многими выводами, локальный инференс - крутая вещь! Мне лично очень нравится пробовать его для разных личных задач и без всяких месячных подписок со скачущими ценами и пр. Если понадобится что-то тяжёлое то да, можно обратиться к провайдерам, а вот поизучать - самое то
Да, у Unsloth очень хорошие модели получаются, мне нравятся их GGUF которые загружаю в llama.cpp. Там всё довольно сурово оптимизировано по памяти, можно даже комбинированный инференс CPU+GPU делать. Сейчас хочу себе вторую GPU купить пока они совсем не подорожали...
Две GPU - это специально чтобы поэкспериментировать с K8s подами и миграцией с карты на карту, но и большие (даже densed) модели взлетают неплохо. Использую llama.cpp, у него очень хорошая поддержка таких конфигураций. Сейчас правда перехожу на LocalAI, там комбайн стал более-менее стабилен и очень универсален.
В своей изначальной конфигурации система задумывалась для процессинга видео архива, но потом нашлись применения и поинтереснее.
В целом инференс машина у меня лишь часть SOHO который постепенно развивался последние >20 лет. Там есть полный комплект от mail/web/git/xmpp/sip/vpn/nut сервисов до персонального nextcloud+onlyoffice, k8s лабы и всяких экспериментов. Всё это добро на FreeBSD (кроме инференс сервера и нескольких VM), есть свой сервис сборки BSD пакетов (всё собирается из исходников и с моими специфичными опциями компиляции).
Работает очень хорошо и практически не требует поддержки, система очень стабильна.
У меня похожая система которая развивается своим темпом - несколько физических машин, под инференс собрал 24 cpu / 256 Gb RAM / 2x 1Tb NVMe / 2x 5060Ti 16 Gb, развернуться есть где и поэкспериментировать/поизучать.
Спасибо за статью! Очень интересно, возможно тоже опишу свой опыт развития SOHO системы
Да, согласен, так что посмотрим что обе компании будут предлагать.
У меня есть (вернее уже был) контакт в Groq, поэтому ещё пару лет назад я имел представление над чем они работают. Для NVidia было очень логично их купить.
Если не ошибаюсь, SRAM у Groq в самом начале только была, а к моменту перехода под крыло NVidia у них уже был большой задел под DRAM.
Думаю что по этой технологии Samsung сделает что-то для consumer market, а NVidia для corporate. В любом случае такая конкуренция пойдёт на пользу и подтолкнёт цены к снижению...
Но это же уже несколько лет как было сделано Groq (которые были недавно куплены NVidia)...
Производство таких чипов настолько дорогое, что пока никто не решается предлагать их в промышленных масштабах. Хотя хорошо что Samsung начинает конкурировать с NVidia ))
Всё правильно написано, но что интересно, к этому приходишь только с годами. Когда молод то кажется что всё просто, "стоит только чуть поднажать и всё получится" :-)
Время - самый ценный ресурс и очень непросто его использовать тем самым, оптимальгым образом...
У Амадеуса уже лет 20+ как есть система автоматического перестроения travel legs, причём вы же понимаете что у каждого из перевозчиков свои policy при смене маршрута - они все принимаются во внимание. Про другие GDS не скажу, но полагаю у них давным-давно такое тоже есть.
Если вы пообщаетесь с GDS, то возможно всё станет проще с вашей задачей.
Спасибо, довольно глубокий анализ работы, в кое-каких моментах помогло лучше разобраться
Обожаю такие проекты и людей которые их делают!
Очень интересно читать, много ценной информации и неочевидных моментов описано.
Спасибо и удачи вам с проектом!
Редкий текст в котором каждая фраза имеет сжатый смысл. Читал с удовольствием, спасибо!
Могут быть разные точки зрения, но осмыслить написанное автором будет очень полезно многим людям
Отличная работа! Пожалуйста продолжайте ещё по этой тематике!
Чёрт побери, до слёз! Спасибо тебе дружище за такое погружение в ностальгию, отличная работа!
Да, русский язык у меня стал хромать, согласен.
Тут у меня калька с местного языка проявилась в этой фразе, так что пардонне-муа...
Тема очень индивидуальная, но как человек половину своей жизни проживший в иимиграции я соглашусь с автором, многие моменты неочевидны и хорошо описаны.
Добавлю только один момент - если вы решились сменить место жительства, то делайте это по-настоящему, учите язык, вливайтеь в общество, становитесь своим в новой среде.
Любые половинчатые решения - это невосполнимая потеря вашего времени жизни. Это очень неочевидная вещь!
И ещё - помните что мир не идеален, в новом месте жительства тоже могут быть свои нюансы. Пообщайтесь с людьми, соберите максимум информации перед принятием решения.
И самое главное - не теряйте время, уехать в 30 лет не то же самое что уехать в 40 и тем более в 50. Начинайте учить языки прямо сейчас! С одним английским вы превращаетесь в "очередного туриста", поймите это! Два-три иностранных языка - это действительно полезно и открывает много возможностей.
Про культуру конечно всё зависит от страны, это приходит через 3-4 года очень активной интеграции. Не замыкайтесь ни в коем случае в русскоязычной среде! Вам нужны люди вне этого чтобы по-настоящему стать своим. Но и это займёт время...
Тем кто решился - желаю удачи от всей души!
Хороший обзор, спасибо
Следующий этап - не прикасаться к клавиатуре, а управлять всем этим голосом :-)
Но если серьёзно, то у вас или задачи слишком простые / некритичные или вы не понимаете досконально как всё работает. Извините, не хочу обидеть, но базовые команды чтобы управлять системой нужно знать очень хорошо и понимать что там происходит внутри.
Автору огромное спасибо за систематизацию и краткое и ясное изложение с примерами!
Спасибо за интересный рассказ, читается на одном дыхании :-)
Согласен со многими выводами, локальный инференс - крутая вещь! Мне лично очень нравится пробовать его для разных личных задач и без всяких месячных подписок со скачущими ценами и пр. Если понадобится что-то тяжёлое то да, можно обратиться к провайдерам, а вот поизучать - самое то
Да, у Unsloth очень хорошие модели получаются, мне нравятся их GGUF которые загружаю в llama.cpp. Там всё довольно сурово оптимизировано по памяти, можно даже комбинированный инференс CPU+GPU делать. Сейчас хочу себе вторую GPU купить пока они совсем не подорожали...
ОК, разобрался - смотрим breaking change releases и обновляемся по ним (с предварительными бэкапами и тп). Врукопашную придётся видимо всё делать...