Как-то кажется, что слово "уязвимость" в данном случае не совсем точно описывает событие.. Spectre - это уязвимость, а тут какой-то другой термин нужен..
Повеселило, что ни в одной новости о "своей новой модели" группы Т-технологии почему-то не упомянуто об истоках этой модели. Справделивости ради в HF не стали скрывать:
Ну и на дежурный вопрос "расскажи о себе" модель сразу же бурно начинает повествовать что она - qwen3 созданная компанией Alibaba...
Из хорошего - сразу выложили кванты, и т.к. это потомок квена - в основных движках поддержка уже есть.
На одну акулу приходится ОЧЕНЬ много зубов, поэтому их находят много, плюс они пожалуй из всей акулы самые прочные и у них банально больше шансов долежать до палеонтологов Позвонки минерализованы заметно сильнее чем "кости" черепа (которые хрящи на самом деле, впрочем как и позвонки), поэтому них шансов долежать до паленонтологов больше... но негусто, поэтому собственно их и немного найдено (по сравнению с зубами) . Может и составляющие черепа найдут когда нибудь..
Прошу прощения, но переход от "где бы похостить синхронизацию обсидиана" до "а разверну-ка я кластер кубернетса" для меня выглядит не вполне очевидным. Я понимаю, что дома и разворачивание кластера для собственного удовольствия и исследований - дело нормальное.. Но если исходить из функциональных требований, разве что-то попроще уровня обычного докера не подошло бы?
А как это связано с мотивацией делать сильный продукт?
Такой вопрос на рынке могут ставить считаные единицы, если его задаёт хрюша на аутсорсе в рядовую компанию, то тут проблемы определенно не со стороны соискателя.
Хорошие ответы, которые работают
Мне близок ваш подход к продукту – фокус на данные и скорость принятия решений. Это то, как я сам привык работать.
Хороший ответ, жаль что враньё.
Хорошие ответы, которые работают
Хочу работать именно с вашим руководителем – давно читаю его посты, ценю его экспертизу.
Очень сильный ответ. Показывает, что вы идете за опытом и знаете, у кого хотите учиться.
Очень сильный ответ </s>. И снова за рамкам считаных единиц компаний и тем более людей - унылое лизоблюдство. (Мне прям интересно, сколько человек из сотен тысяч устроившихся в IT искренне прошли по такому треку. Я вот с трудом представляю свою реакцию на такой ответ при собеседовании, сейчас почему-то кажется, что брезгливость)
Хорошие ответы, которые работают
Мне важны вызовы – у вас сейчас как раз этап трансформации продукта, и мне интересно пройти этот путь вместе с вами.
Показывает, что вы не просто ищете комфорт, а готовы включаться в сложные задачи и брать на себя ответственност
Вы часто в жизни такими словами разговариваете? Мы же не рассматриваем позиции продажников/рп, мы же ещё про IT?
Плохие ответы, которые я слышал не раз
Попробуем изменить тональность ответов. Хорошие варианты
Если обе стороны понимают, что второе это эквивалент первого, к чему эти танцы? При этом, если вы, прости господи, карьерный консультант, вы ведь должны понимать, что в норме, в паре рекрутер-соискатель, у первого опыта в выслушивании таких фраз на несколько порядков больше, чем у второго в их говорении. И насколько убого эти фразы, заученные перед собесами, звучат на них? Мы ведь еще про найм профессионалов в своей области а не профессионалов по прохождению собеседований? (хотя уже серьезные сомнения есть)
Это когда его обзорщик на ютубе спрашивает "hi" и радостно смотрит на вывод lm studio в 18t/s, а когда ему скармливают в контекст пару сотен тыщ знаков из кода и задают вопрос - там наступает глобальный ой, на реддите уже несколько тредов попадалось на эту тему
А расскажите где её взять? А то у меня сложилось впечатление что она существует лишь на обзорах ютуба. Любая попытка дойти до реального продавца упирается в "через 2-3 месяца привезем", причем эти 2-3 месяца постепенно также и сдвигаются..
PS. Соврал немного, еще в облаках иногда встречается, но это тоже не очень про "взять"
А я правильно понимаю, вы попробовали VSCode с каким-то из AI-плагинов, Cursor, или любой другой форк студии или zed и потом нашли для себя Codex? Потому что для меня пока сравнение IDE дополненной AI-фичами (мда, ну в том смысле в котором vscode можно считать ide) и Codex который из себя представлет web-CLI к агентской системе выглядит ну.. как-то странно
Насколько я помню, запрос от вас идет на сервер курсора, там дополняется, идет на сервер LLM и потом только возвращается к вам, т.е. хост с LLM должен быть открыт для доступа снаружи
Буквально на днях проверял работу в лине на облачном gpu и сравнивал с win-домашним. На удивление домашний даже чуть побыстрее был. Разница в районе единиц процентов. С другой стороны на облачном еще может влиять интерференция от других пользователей. Но в любом случае речь не про десятки процентов.
Первую половину удивлялся, почему идея нахождения быстрого алгоритма была запущена на самом неочевидном для проверки скоростей языке, а во второй половине выяснилось, что самый быстрый алгоритм на питоне - это алгоритм в котором минимум питона. И почему же я не удивлён
Вроде бы веб-версия плюс-минус с мобильного работает. А если хотите свою - кто мешает сделать поддержку пакетов sigame? Насколько помню, там обычный xml-был. И вот уже гигантская база паков разной степени упоротости уже в наличии )
А могли бы пояснить механику вычисления? Если 80-90% популяции имела иммунитет, то снижение до 40%.. Это радикальное изменение популяции? Или детектируемый иммунитет относительно короткий? Или это на очень большом временном интервале изменение (что плюс-минус попадает в радикальное изменение популяции)? А то как-то в голове пока не складывается такой разброс
Веса распаковываются на лету, потери на распаковку компенсируются общим выигрышем по размеру.
На лету - то есть на каждом проходе слоя для каждого токена выполняется это преобразование? У меня мелькала мысль о таком подходе, но навскидку казалось что потери должны быть заметно страшнее.
Про табличку еще вопрос - это ваши внутренние замеры, или такое где-то спрятано в глубинах обсуждений репы llama.cpp? Я просто как раз собирался погонять на разных квантах модели, чтобы собрать примерно такие же данные, но с радостью воспользуюсь и готовым результатом, если он в открытом доступе ))
И главный минус - их существование только в статьях интернета. Купить их до сих пор, насколько знаю негде. А учитывая, как нынешнее поколение nvidia появляется в продаже, есть подозрение, что во вменяемой рознице по обещанной цене они будут в самом лучшем случае к следующему году, если вообще будут..
У меня только один момент в голове пока не сходится. Если например из Q4_K_<> мы потом во время инференса восстанвливаем с помощью групповых коэффициентов более точные значения, то почему модели с низким квантом занимают место в памяти все-таки пропорционально квантованному размеру, а не разбухают до базового FP32/16/8?
И хотелось бы все таки добавить, что perplexity - это отличный коэффициент для рассчёта, но к сожалению нет никаких гарантий, что в вашей конкретной задаче большее или меньшее его значение будет означать лучшие или худшие ответы. И еще сложнее оценить насколько они лучше или хуже (особенно, когда речь про совсем уж нетривиальные режимы квантования типа IQ и т.д)
Спустя двое суток 4.5К, шесть суток 7К, 15 суток - 10К.
Грубо предположив что дальше тренд будет таким же, получаем что максимум заинтересованных на бесконечном интервал врядли превысит 15 тысяч человек. У - Успешный Успех.
Как-то кажется, что слово "уязвимость" в данном случае не совсем точно описывает событие.. Spectre - это уязвимость, а тут какой-то другой термин нужен..
https://huggingface.co/Qwen/Qwen3-235B-A22B-Instruct-2507 - обновленная модель выложенная накануне. https://huggingface.co/Qwen/Qwen3-235B-A22B - её предыдущая итерация. Они разные
Повеселило, что ни в одной новости о "своей новой модели" группы Т-технологии почему-то не упомянуто об истоках этой модели. Справделивости ради в HF не стали скрывать:
Ну и на дежурный вопрос "расскажи о себе" модель сразу же бурно начинает повествовать что она - qwen3 созданная компанией Alibaba...
Из хорошего - сразу выложили кванты, и т.к. это потомок квена - в основных движках поддержка уже есть.
На одну акулу приходится ОЧЕНЬ много зубов, поэтому их находят много, плюс они пожалуй из всей акулы самые прочные и у них банально больше шансов долежать до палеонтологов
Позвонки минерализованы заметно сильнее чем "кости" черепа (которые хрящи на самом деле, впрочем как и позвонки), поэтому них шансов долежать до паленонтологов больше... но негусто, поэтому собственно их и немного найдено (по сравнению с зубами) . Может и составляющие черепа найдут когда нибудь..
Прошу прощения, но переход от "где бы похостить синхронизацию обсидиана" до "а разверну-ка я кластер кубернетса" для меня выглядит не вполне очевидным.
Я понимаю, что дома и разворачивание кластера для собственного удовольствия и исследований - дело нормальное.. Но если исходить из функциональных требований, разве что-то попроще уровня обычного докера не подошло бы?
Такой вопрос на рынке могут ставить считаные единицы, если его задаёт хрюша на аутсорсе в рядовую компанию, то тут проблемы определенно не со стороны соискателя.
Хороший ответ, жаль что враньё.
Очень сильный ответ </s>. И снова за рамкам считаных единиц компаний и тем более людей - унылое лизоблюдство. (Мне прям интересно, сколько человек из сотен тысяч устроившихся в IT искренне прошли по такому треку. Я вот с трудом представляю свою реакцию на такой ответ при собеседовании, сейчас почему-то кажется, что брезгливость)
Вы часто в жизни такими словами разговариваете? Мы же не рассматриваем позиции продажников/рп, мы же ещё про IT?
Если обе стороны понимают, что второе это эквивалент первого, к чему эти танцы? При этом, если вы, прости господи, карьерный консультант, вы ведь должны понимать, что в норме, в паре рекрутер-соискатель, у первого опыта в выслушивании таких фраз на несколько порядков больше, чем у второго в их говорении. И насколько убого эти фразы, заученные перед собесами, звучат на них? Мы ведь еще про найм профессионалов в своей области а не профессионалов по прохождению собеседований? (хотя уже серьезные сомнения есть)
Это когда его обзорщик на ютубе спрашивает "hi" и радостно смотрит на вывод lm studio в 18t/s, а когда ему скармливают в контекст пару сотен тыщ знаков из кода и задают вопрос - там наступает глобальный ой, на реддите уже несколько тредов попадалось на эту тему
А расскажите где её взять? А то у меня сложилось впечатление что она существует лишь на обзорах ютуба. Любая попытка дойти до реального продавца упирается в "через 2-3 месяца привезем", причем эти 2-3 месяца постепенно также и сдвигаются..
PS. Соврал немного, еще в облаках иногда встречается, но это тоже не очень про "взять"
А я правильно понимаю, вы попробовали VSCode с каким-то из AI-плагинов, Cursor, или любой другой форк студии или zed и потом нашли для себя Codex?
Потому что для меня пока сравнение IDE дополненной AI-фичами (мда, ну в том смысле в котором vscode можно считать ide) и Codex который из себя представлет web-CLI к агентской системе выглядит ну.. как-то странно
Насколько я помню, запрос от вас идет на сервер курсора, там дополняется, идет на сервер LLM и потом только возвращается к вам, т.е. хост с LLM должен быть открыт для доступа снаружи
Пока там под капотом js - куда ж деваться..
А они со временем не отваливаются? (и если не секрет, какие девайсы через такую цепочку действий прогоняли?)
Буквально на днях проверял работу в лине на облачном gpu и сравнивал с win-домашним. На удивление домашний даже чуть побыстрее был. Разница в районе единиц процентов. С другой стороны на облачном еще может влиять интерференция от других пользователей. Но в любом случае речь не про десятки процентов.
Первую половину удивлялся, почему идея нахождения быстрого алгоритма была запущена на самом неочевидном для проверки скоростей языке, а во второй половине выяснилось, что самый быстрый алгоритм на питоне - это алгоритм в котором минимум питона. И почему же я не удивлён
Вроде бы веб-версия плюс-минус с мобильного работает. А если хотите свою - кто мешает сделать поддержку пакетов sigame? Насколько помню, там обычный xml-был. И вот уже гигантская база паков разной степени упоротости уже в наличии )
А могли бы пояснить механику вычисления? Если 80-90% популяции имела иммунитет, то снижение до 40%.. Это радикальное изменение популяции? Или детектируемый иммунитет относительно короткий? Или это на очень большом временном интервале изменение (что плюс-минус попадает в радикальное изменение популяции)? А то как-то в голове пока не складывается такой разброс
На лету - то есть на каждом проходе слоя для каждого токена выполняется это преобразование? У меня мелькала мысль о таком подходе, но навскидку казалось что потери должны быть заметно страшнее.
Про табличку еще вопрос - это ваши внутренние замеры, или такое где-то спрятано в глубинах обсуждений репы llama.cpp? Я просто как раз собирался погонять на разных квантах модели, чтобы собрать примерно такие же данные, но с радостью воспользуюсь и готовым результатом, если он в открытом доступе ))
И главный минус - их существование только в статьях интернета. Купить их до сих пор, насколько знаю негде. А учитывая, как нынешнее поколение nvidia появляется в продаже, есть подозрение, что во вменяемой рознице по обещанной цене они будут в самом лучшем случае к следующему году, если вообще будут..
Ого, огромное спасибо за статью и комментарии )
У меня только один момент в голове пока не сходится. Если например из Q4_K_<> мы потом во время инференса восстанвливаем с помощью групповых коэффициентов более точные значения, то почему модели с низким квантом занимают место в памяти все-таки пропорционально квантованному размеру, а не разбухают до базового FP32/16/8?
И хотелось бы все таки добавить, что perplexity - это отличный коэффициент для рассчёта, но к сожалению нет никаких гарантий, что в вашей конкретной задаче большее или меньшее его значение будет означать лучшие или худшие ответы. И еще сложнее оценить насколько они лучше или хуже (особенно, когда речь про совсем уж нетривиальные режимы квантования типа IQ и т.д)
Спустя двое суток 4.5К, шесть суток 7К, 15 суток - 10К.
Грубо предположив что дальше тренд будет таким же, получаем что максимум заинтересованных на бесконечном интервал врядли превысит 15 тысяч человек. У - Успешный Успех.