слабые открытые модели сильно деградируют с превышением контекста где то в районе 100к (qwen3.6 как я вижу уже после 64к.. это плавный процесс, для уточнения предела этого потребуются сложные бенчмарки), так какой смысл вкладывать ресурсы (экспоненциальные от размера контекста) в это.
У алибаба проблемы (команду которая занималась открытой частью разогнали), они не смогли монетизировать свои решения, и скорее всего в ближайшее время мы не увидим их крутые решения, если не совсем.
Обидно, больше полугода назад их компания создала открытое решение, которое до сих пор другие открытые решения обогнать не могут.
тот стартап за пол года после первой публикации не сумел собрать из этого бизнес (боюсь не хочет работать с частниками много железа дешево а хочет продавать мало железа за дорого крупняку, а те жмутся и не хотят)
Боты хотят данные, судя по всему в общем защититься от ботов вы не можете (я знаю что статья перевод и автора тут нет, но с этим сталкиваются многие так или иначе), т.е. данные они и так получат, но стоить этот процесс будет для владельца сервера заметные суммы.
Решение - отдать данные добровольно, в удобном виде, без ограничений (автор и так их точно так же забрал у других, так что 'по совести' это верный шаг). А свой сервис строить не на самих данных, а как инструмент по работе с ними, т.е. предоставить возможность пользователю приходить на сайт не за данными а за решением.
p.s. большая часть сайтов, которые я частично скрайпил для себя, предоставляли максимально неадекватные возможности, т.е. данные есть но без полной их загрузки себе, сделать с ними почти ничего нельзя.
Есть еще экономический эффект, когда одна конкретная компания производитель ИИ (или если несколько - то все они в одной стране), собирает дополнительный приличный налог на оплату этого инструмента, причем чем дальше тем больше компаний его будут платить.
Это не страшно для компаний внутри этой же страны, но для любых других стран фатально.
Решая задачу влоб, на 16гб запустить примеры с git не удалось, можно перенести часть операций в ram... больше получаса считал пример (nvidia gtx 4060ti)
первый же пример из git
обучать роботов на таком чревато, ведь предметы не умеют самостоятельно под манипулятор подставляться ;)
нет, это чистый ASIC, ничего программируемого (ну не заявлялось, спеков на железки публично вроде не был). Фишка в том что readonly memory дешевле в производстве (по занимаемой площади чипа) на порядок или даже два.
На некоторых должностях люди отвечают своей свободой за принятые решения
ну ок, менее 0.01% от общей массы, ИИ на этих местах вычеркиваем.
p.s. не мучайтесь, над проблемой гарантий ИИ задумались еще когда начали массово внедрять автопилот у автомобилей, и до сих пор красиво не решили (назначают стрелочника - водителя, который обязан держаться за руль и отвечать за все косяки ИИ).
Не совсем понимаю, в каком именно месте вы поставили бота-оператора в продажах. И любой ли живой человек у вас сможет лучше?
И главное, какие модели у вас работали, какие промпты вы использовали и какой пайплайн. ИИ это именно вот эта троица,.. достаточно ли вы дали данных ему. А то получится как у сотовых операторов, я конечно с ИИ общался, но только к решению ни одной из задач, что я обычно обращался, прав им не давали. Т.е. ИИ добросовестно нес чушь и отказывался решать мои проблемы исключительно по воле создателя.
У ИИ скорость принятия решения выше человеческой и конечно непревзойденная выносливость, т.е. ИИ агент, даже если его способности ниже среднего, способен работать быстрее человека 24 часа в сутки.
По поводу творчества, массовый мусор, заполонивший интернет, это скорее всего следствие стремления удешевить этот процесс.. при должном старании и вложениях (не кошмарных) ИИ способен удивлять.
Вы видите недостатки генерации видео, в дешевом синтезе речи, в дешевой обработке исходных текстов, в примитивном алгоритме построения 'говорящей головы', мусорящей эмоциями невпопад... все это решаемо, просто по итоговым ценам никому не нужное, массово. Не ИИ шаблонно строит речь, это гугл ограничил свои генерации фактически одним виртуальным блогером.
Гарантия это юридический конструкт, по аналогии с системой страхования, где стаховщик вычисляет вероятность страхового случая и размазывает компенсацию по всем своим клиентам.
Не могу найти даже приблизительных прогнозов стоимости готового железа с таким функционалом.
17к токенов в секунду (кстати не сказали с какой скоростью input анализирует и есть ли кеш, это важный момент) позволяют эксплуатировать возможность повышения качества ответа слабой модели через дополнительные генерации (разные способы, от статистического анализа множества повторных генераций до сложных пайплайнов размышлений и их непрерывного анализа отдельными агентами).
p.s. хочу запечный в чипе qwen3.6-27b или qwen3.6-35b-a3b, с такой скоростью генерации.
не отказоустойчивость, а следствие избыточности (сотни и тысячи прогонов модели с высокой вероятностью шли по одному и тому же пути и подбирали одни и те же крошки)...
только стоимость ее поддержания неадекватно дорогая (7 миллиардов сообщений в логах, каждое сообщение как минимум запрос на инференс, например tool call)
оптика для локального (микроны) прогрева быстрого, а нам бы хотя быв глубину.
вроде бы для этого подходит длина волны по длиннее, условная микроволновка по мощнее.
с кпд процесса в 0.5%?
в статье акцент на то что метод очень эффективный по энергии (и похоже эффективнее простого миксера)
слабые открытые модели сильно деградируют с превышением контекста где то в районе 100к (qwen3.6 как я вижу уже после 64к.. это плавный процесс, для уточнения предела этого потребуются сложные бенчмарки), так какой смысл вкладывать ресурсы (экспоненциальные от размера контекста) в это.
У алибаба проблемы (команду которая занималась открытой частью разогнали), они не смогли монетизировать свои решения, и скорее всего в ближайшее время мы не увидим их крутые решения, если не совсем.
Обидно, больше полугода назад их компания создала открытое решение, которое до сих пор другие открытые решения обогнать не могут.
тот стартап за пол года после первой публикации не сумел собрать из этого бизнес (боюсь не хочет работать с частниками много железа дешево а хочет продавать мало железа за дорого крупняку, а те жмутся и не хотят)
торт!
а нет ли видео (интересует шум) установки, перемешивающей таким способом тонны материи?
точность ломает квантизация кеша, причем даже 8битная (заметно, но не значимо)
для конкурентной борьбы маркетинг идет на любые извращения и гадости
Боты хотят данные, судя по всему в общем защититься от ботов вы не можете (я знаю что статья перевод и автора тут нет, но с этим сталкиваются многие так или иначе), т.е. данные они и так получат, но стоить этот процесс будет для владельца сервера заметные суммы.
Решение - отдать данные добровольно, в удобном виде, без ограничений (автор и так их точно так же забрал у других, так что 'по совести' это верный шаг). А свой сервис строить не на самих данных, а как инструмент по работе с ними, т.е. предоставить возможность пользователю приходить на сайт не за данными а за решением.
p.s. большая часть сайтов, которые я частично скрайпил для себя, предоставляли максимально неадекватные возможности, т.е. данные есть но без полной их загрузки себе, сделать с ними почти ничего нельзя.
Есть еще экономический эффект, когда одна конкретная компания производитель ИИ (или если несколько - то все они в одной стране), собирает дополнительный приличный налог на оплату этого инструмента, причем чем дальше тем больше компаний его будут платить.
Это не страшно для компаний внутри этой же страны, но для любых других стран фатально.
а зачем вы создали своим клиентам геморой?
Решая задачу влоб, на 16гб запустить примеры с git не удалось, можно перенести часть операций в ram... больше получаса считал пример (nvidia gtx 4060ti)
первый же пример из git
нет, это чистый ASIC, ничего программируемого (ну не заявлялось, спеков на железки публично вроде не был). Фишка в том что readonly memory дешевле в производстве (по занимаемой площади чипа) на порядок или даже два.
ну ок, менее 0.01% от общей массы, ИИ на этих местах вычеркиваем.
p.s. не мучайтесь, над проблемой гарантий ИИ задумались еще когда начали массово внедрять автопилот у автомобилей, и до сих пор красиво не решили (назначают стрелочника - водителя, который обязан держаться за руль и отвечать за все косяки ИИ).
Не совсем понимаю, в каком именно месте вы поставили бота-оператора в продажах. И любой ли живой человек у вас сможет лучше?
И главное, какие модели у вас работали, какие промпты вы использовали и какой пайплайн. ИИ это именно вот эта троица,.. достаточно ли вы дали данных ему. А то получится как у сотовых операторов, я конечно с ИИ общался, но только к решению ни одной из задач, что я обычно обращался, прав им не давали. Т.е. ИИ добросовестно нес чушь и отказывался решать мои проблемы исключительно по воле создателя.
У ИИ скорость принятия решения выше человеческой и конечно непревзойденная выносливость, т.е. ИИ агент, даже если его способности ниже среднего, способен работать быстрее человека 24 часа в сутки.
По поводу творчества, массовый мусор, заполонивший интернет, это скорее всего следствие стремления удешевить этот процесс.. при должном старании и вложениях (не кошмарных) ИИ способен удивлять.
Вы видите недостатки генерации видео, в дешевом синтезе речи, в дешевой обработке исходных текстов, в примитивном алгоритме построения 'говорящей головы', мусорящей эмоциями невпопад... все это решаемо, просто по итоговым ценам никому не нужное, массово. Не ИИ шаблонно строит речь, это гугл ограничил свои генерации фактически одним виртуальным блогером.
а люди дают такие гарантии?
Гарантия это юридический конструкт, по аналогии с системой страхования, где стаховщик вычисляет вероятность страхового случая и размазывает компенсацию по всем своим клиентам.
Не могу найти даже приблизительных прогнозов стоимости готового железа с таким функционалом.
17к токенов в секунду (кстати не сказали с какой скоростью input анализирует и есть ли кеш, это важный момент) позволяют эксплуатировать возможность повышения качества ответа слабой модели через дополнительные генерации (разные способы, от статистического анализа множества повторных генераций до сложных пайплайнов размышлений и их непрерывного анализа отдельными агентами).
p.s. хочу запечный в чипе qwen3.6-27b или qwen3.6-35b-a3b, с такой скоростью генерации.
не отказоустойчивость, а следствие избыточности (сотни и тысячи прогонов модели с высокой вероятностью шли по одному и тому же пути и подбирали одни и те же крошки)...
только стоимость ее поддержания неадекватно дорогая (7 миллиардов сообщений в логах, каждое сообщение как минимум запрос на инференс, например tool call)
китаю идеологически проще замалчивать, несогласных призывать к молчанию, угрозами отобрать 'кошкожену и риску миса'