Считаю, что он не прав. Управление людьми со своими тараканами и загонами не может быть передано в ИИ. Опять же - ответственность перед всеми и учет многих фактов при планировании.
Но если компании считают иначе - пусть экспериментируют.
Да ладно. Наоборот - расцвет в полную силу. Гитхаб уже не вывозит нагрузки. Все что вокруг AI как в части инструментов и библиотек, так и тонны вайбкода из которых вырастает новое. Новых ОС не будет (зачем?) но зато уже много нового. Тот же Греганов llama.cpp это огромный кусок.
Да нифига не скучная. Ускорение в 2-3 раза, больше попугаев чем в в большей предыдущей версии вышедшей месяца 3 назад. Модели для "микроволновок". Не говоря уже о коммерческих решениях, где помимо роста еще и нашпиговывание инструментами.
Не вложились или не смогли в прорыв. Да и за полтора года геополитика и конкуренция сильно поменялись.
Они вложились в адаптацию под местные чипы, о чем явно сообщили, но какой большой бизнес будет пользоваться этим из США и Европы? Даже без этого - лаг, как вы подметили, реально большой. Даже недопустимый. Пока стоимость сильно снижается, а качество прилично растет пользоваться решением даже годичной давности - ошибка.
В классической разработке ПО в новую версию добавляются новые фичи, исправляются ошибки. Можно спокойно планировать. Качество результата зависит от качества работы и понятно еще на ранних этапах.
В разработке моделей каждый раз буквально кровь-кишки-… Не просто дообучить на новом подрихтовав, а еще и архитектуру поменять, попугаев наплодить ощутимо. Качество результата не то чтобы не зависит от стараний… Но случаев когда не получилось - да достаточно. Еще эти наши завышенные ожидания сплошная проблема.
Алибаба кажется уже проговорилась - эпоха халявы закончилась.
Нельзя же исключать мрачный сценарий по которому QWEN 3.6 будет последним открытым. Потом передумает Google/Gemma. А NVIDIA уже предлагает платный локальный.
Через несколько лет те кто не смогут или не захотят позволить себе платить останутся с «кубинским автопарком» 3.6+++
Чуть лучше QWEN 3.6 на каких весах? QWEN и Gemma буквально есть у нас дома. DS при «чуть лучше» это либо их API с обучением на ваших данных либо не дома.
Работает психологическое насилие и нежелание вышестоящего руководства решать проблемы. Точнее работало. Решилось сменой работодателя и вычеркиванием из памяти.
Не, мне правда интересно. Зачем условно мне 5090 с монстрами на коробке, если нужен только ИИ, лучше чтобы Flash-память прям там же со стримингом данных в память NPU.
Нубский вопрос - почему вообще речь идет про GPU, а не про NPU? Или просто исторически удобное понятие? Потому что NVIDIA эксплуатирует и развивает архитектуру GPU?
Еще не понял почему у автора для 70B модели - скажем так средней по нынешним временам, надо аж 13,5ТБ памяти. Даже 1,35 не нужно. Квантование уже не так отупляет модели. Сокращение на несколько попугаев при возможности запускать 30B вообще локально в 90 токенов (правда индивидуально).
Ну колесо как инструмент тоже тупик получается.
Считаю, что он не прав. Управление людьми со своими тараканами и загонами не может быть передано в ИИ. Опять же - ответственность перед всеми и учет многих фактов при планировании.
Но если компании считают иначе - пусть экспериментируют.
Да ладно. Наоборот - расцвет в полную силу. Гитхаб уже не вывозит нагрузки. Все что вокруг AI как в части инструментов и библиотек, так и тонны вайбкода из которых вырастает новое.
Новых ОС не будет (зачем?) но зато уже много нового. Тот же Греганов llama.cpp это огромный кусок.
Да нифига не скучная. Ускорение в 2-3 раза, больше попугаев чем в в большей предыдущей версии вышедшей месяца 3 назад. Модели для "микроволновок". Не говоря уже о коммерческих решениях, где помимо роста еще и нашпиговывание инструментами.
Mac mini
производительные
несложно объединяются в кластеры
оптимизация под MLX идет семимильными шагами
так что вложение в Mini - отличная идея если не использовать его разово
Это и сейчас можно. Не целый день, но полноценная Gemma вполне себе работает локально на смартфонах. Способ разжечь огонь она знает.
Не вложились или не смогли в прорыв. Да и за полтора года геополитика и конкуренция сильно поменялись.
Они вложились в адаптацию под местные чипы, о чем явно сообщили, но какой большой бизнес будет пользоваться этим из США и Европы? Даже без этого - лаг, как вы подметили, реально большой. Даже недопустимый. Пока стоимость сильно снижается, а качество прилично растет пользоваться решением даже годичной давности - ошибка.
И автор @Runnin тоже здесь :)
В классической разработке ПО в новую версию добавляются новые фичи, исправляются ошибки. Можно спокойно планировать. Качество результата зависит от качества работы и понятно еще на ранних этапах.
В разработке моделей каждый раз буквально кровь-кишки-… Не просто дообучить на новом подрихтовав, а еще и архитектуру поменять, попугаев наплодить ощутимо. Качество результата не то чтобы не зависит от стараний… Но случаев когда не получилось - да достаточно. Еще эти наши завышенные ожидания сплошная проблема.
открытые или локальные?
Недавно была новость, что готов способ оплаты за запуск локально. Детали не смотрел, но похоже на ПО с лицензией.
И это WIN для него - не только лопаты продает, но и аренду за участок получает. Красавец!
Прикиньте - промт «придумай хитрую схему…» в предыдущий версии не сработал!
Алибаба кажется уже проговорилась - эпоха халявы закончилась.
Нельзя же исключать мрачный сценарий по которому QWEN 3.6 будет последним открытым. Потом передумает Google/Gemma. А NVIDIA уже предлагает платный локальный.
Через несколько лет те кто не смогут или не захотят позволить себе платить останутся с «кубинским автопарком» 3.6+++
Не. Вы путаете OpenSource как открытый индивидуально или коллективно написанный код - никуда не денется, даже будет еще больше.
И модели в обучение которых надо очень серьезно вкладываться. Сходу не могу вспомнить ни одну сколь нибудь приличную модель созданную с 0 коммюнити.
Чуть лучше QWEN 3.6 на каких весах? QWEN и Gemma буквально есть у нас дома. DS при «чуть лучше» это либо их API с обучением на ваших данных либо не дома.
Работает психологическое насилие и нежелание вышестоящего руководства решать проблемы.
Точнее работало. Решилось сменой работодателя и вычеркиванием из памяти.
Программисты, архитекторы, дизайнеры, тестировщики, девопсы и даже ПМ и РП - нужны.
А Оруелку сократившему 30 тыс бедолаг - СПИД и гроб.
Не, мне правда интересно. Зачем условно мне 5090 с монстрами на коробке, если нужен только ИИ, лучше чтобы Flash-память прям там же со стримингом данных в память NPU.
Нубский вопрос - почему вообще речь идет про GPU, а не про NPU? Или просто исторически удобное понятие? Потому что NVIDIA эксплуатирует и развивает архитектуру GPU?
Еще не понял почему у автора для 70B модели - скажем так средней по нынешним временам, надо аж 13,5ТБ памяти. Даже 1,35 не нужно. Квантование уже не так отупляет модели. Сокращение на несколько попугаев при возможности запускать 30B вообще локально в 90 токенов (правда индивидуально).
А список производителей комплектующих?
С северо-нигерийскими IP и хорошо бы переводом (это не дорого при нынешнем развитии нейросетей).