Понятно, да, как стоп-кран от зацикливания имеет смысл оставить, хотя 4к токенов маловато, у меня бывало 3.6 без зацикливания и по 8к токенов думало над чем-то сложным.
reasoning-budget на самое лучшее решение, это как мешком по голове, чтоб все мысли убрать. У 3.8 можно гораздо гибче размышления настраивать с помощью reasoning-effort.
сырой файл из лаборатории содержит всего около 700к генотипированных точек (SNPs). В масштабах человеческого генома (3 миллиарда пар оснований) — это смешные 0.02%.
Гуглопоиск по whole genome sequencing выдает кучу контор, которые утверждают, что делают не 0.02%, а весь геном, типа такого. Они по настоящему делают, или тоже через TOPMed прогоняют?
Хуанг вообще не хочет продавать народу, он хочет продавать датацентрам.
Хотеть может и хочет, но в свете того, что почти все владельцы датацентров объявили о том, что разрабатывают свои собственные чипы для инреференса, надо быть дураком, чтоб не понимать, к чему это может привезти, а он не дурак.
И это ровно та нагрузка, которую моё железо не тянет.
На 7,6 т/с ответ в чате нормален — модель обгоняет скорость вашего чтения. Но агентный цикл платит префилл на каждом ходу по растущему контексту, и двадцать ходов превращаются в вечер.
Вообще, есть кэширование контекста, когда тот-же llama.cpp создает чекпойнт kv-кэша на определенное место в контексте и в следующий раз не весь контекст пересчитывается, а с этого чекпойнта. Но это кеширование сильно жрет память. Как вариант, для маков можно попробовать Omlx вместо llama.cpp ибо они этот кэш контекста пишут на диск вместо памяти. Но Omlx не работает с gguf моделями, либо mlx, который весьма хреново жмет, тупо все слои одинаково, либо их собственный какой-то optiq-mlx, который в теории лучше, но я когда с ним последний раз игрался (пару месяцев назад), моделей в этом формате было мало, а то-что находил, было тупее gguf. Может сейчас ситуация улучшилась.
Почему все подобные статьи пишут люди далекие от темы, которым столь лениво самим разбираться, что выплевывают устаревшую на годы инфу? Что их заставляет так делать? И ведь даже не смутила надпись на скрине со списком моделей, что DeepSeek R1 0528 Qwen 8B был выложен 370 дней назад!
DeepSeek — модели для общего общения, программирования и рассуждений.
Llama — семейство моделей Meta.
Qwen — семейство моделей Alibaba, хорошо подходящее для самых разных задач.
Gemma — компактные модели Google.
Mistral — модели французской компании Mistral AI.
Phi — небольшие модели Microsoft, рассчитанные в том числе на запуск на относительно слабом железе.
DeepSeek самая маленькая современная модель занимает 167Гб, она изначально с весами 4 бита, так что даже если квантовать агрессивно, нужен весьма продвинутый комп, чтоб запустить и погрустить от того, как оно медленно.
llama - их последняя модель вышла в апреле 2025 и тоже была слишком большая для обычных компов, причем весьма посредственная, что привело к тому, что руководителя заменили и теперь Мета пилит закрытые модели с другим именем.
Mistral - последний релиз в марте не задался, во-первых mistral small теперь на 116B параметров, что слишком много для обычных компов, во-вторых модель так себе, хуже конкурентов.
Phi - последний релиз в декабре аж 2024, вроде по слухам команду распустили, кто-то уволился, кто-то перешел в другие отделы.
CO2 в атмосфере это не загрязнение, а основа жизни, если его уменьшить до определенного уровня вся жизнь на земле погибнет.
Но вы все забываете про вымирания и смены флоры и фауны.
Вымирания происходили во времена катаклизмов. Ну и наступления ледниковых периодов. Смена флоры и фауны постепенно происходит всегда: одни виды меняются на другие. А вот количество жизни на земле зависит от того, сколько CO2 в атмосфере - больше CO2 - больше жизни. Хотя, конечно, есть предел, высокий уровень после которого бегающей жизни начнет плохеть.
Проблема в том, что опенсорс моделей как-то и нету.
Есть, все еще выкладывают модели где открыта и базовая модель и датасеты для обучения с нуля (эти ребята, например https://allenai.org/), но они не популярны потому-что значительно хуже всех остальных. Думаю основная причина: правильный датасет обучения это критическая часть, даже может важнее архитектуры модели, а сделать его правильным без того, чтоб набежали всякие правообладатели - невозможно.
Тем не менее, тот-же ДипСик выложил базовые модели, которые теперь файнтюнит, промежуточный вариант между опенсорсом и просто открытыми весами.
Квен как-то апнулся до версии 3.8, но моделей после 3.6 с открытыми весами не выкладывал.
Они собираются выложить веса 3.8 Мах в следующую среду, чего раньше никогда не делали, Макс всегда был закрытым. И также пообещали выложить 3.8 27b и другие.
Ну вот опять вы спорите с воображаемыми противниками. Я не отрицаю рост CO2 в атмосфере. Не отрицаю что большая его часть - скорее всего заслуга людей: раньше в некоторых районах нефть из луж вычерпывали, теперь надо забуриваться на два километра. И не отрицаю, что он влияет на климат, что климат меняется, в частности тают ледники.
Я лишь сомневаюсь, что эти изменения строго плохие. Они становятся плохими и даже ужасными, нагнетающими мысли что мы скоро все умрем тогда, когда это надо тому кому надо, и тогда на сцены экономического форума вытаскивают девочек, вместо ученых, а климатологи получают гранты если пишут в определенном направлении.
А в промежутках потихоньку выходят другие исследования, о том, как планета озеленяется с ростом CO2.
Выйдите на улицу и посмотрите на самое большое дерево в округе. Так вот, половина его массы это исключительно углерод, C, добытый фотосинтезом из CO2, добытого только из воздуха. Остальное в массе в основном вода и не немножко всякого разного другого.
Все ископаемое топливо: уголь, нефть, газ, когда-то давно было живыми существами и росло, или бегало по планете. Теперь мы снова превращаем его в жизнь.
Лучшеб все эти зеленые боролись не с CO2, а с действительно вредными выбросами убивающими планету, но за это тем кто накручивает массы зеленых не заплатят, поэтому и шансов на такое нет.
Кто врет и о чем именно в вашем допущении? Различных утверждений вокруг изменения климата очень много. Есть очень многие с которыми лично я очень даже согласен.
Значит те учёные, что против этого имеют статьи и цифры и модели более точно описывающие наблюдаемые нами эффекты?
Ну вот например все эти статьи, цифры и модели предсказывающие, что с ростом СО2 теплые районы начнут становиться жаркими и опустыниваться потерпели полное фиаско и никак не бьются с наблюдениями, когда с ростом СО2 наоборот пустыни стали озеленяться.
Есть страны активно сопротивляющиеся этому всему антропогенному загрязнению.
О да! Например, Германия, которая позакрывала все свои АЭС ибо они страшные и вдруг взорвутся, подсадила себя на газ с которого теперь уже не слезть (вроде правильно - сосед же рядом с дешеванским газом), но вдруг раз, и газ теперь американский и другого больше не будет в ближайших десятилетиях. А АЭС внезапно стали самыми чистыми в мире.
Не скажете почему?
Потому-что всегда против политических и экономических конкурентов пауки в банке воюют грязными методами, враньем и чужой кровью.
но вот отрицающие глобальное потепление постоянно в комментариях в большом числе
А кто именно отрицает потепление, или рост CO2 в атмосфере? Вроде бы никто. Есть те, кто считает, что эта тема уж больно политизирована попытками в свое время ее эксплуатировать для сдерживания роста помышленности в неугодных странах и в целом для борьбы с конкурентами.
В целом, есть факт, что жизнь на планете земля - углеродная. И еще, есть факт, который также никто из ученых не отрицает, даже самых тревожащихся: с ростом CO2 в атмосфере, растет и биомасса земли. Так что зеленым следовало-бы задуматься насколько они реально зеленые, если топят за то, чтоб уменьшить биомассу земли. :)
Интересно, видел посты про этот бенчмарк на редите несколько раз, вот уж не думал, его кто-то русскоговорящий делает. Как все-таки модели быстро эволюционируют. Еще в начале года только топовые закрытые модели могли какую-то прибыль делать, все остальные, включая самые большие открытые модели стабильно банкротились, а теперь уже куча открытых моделей делают хорошие прибыли, а Опус 5 вообще в отрыв ушел. Странно что у Gpt 5.6 результат даже ниже 5.5.
Понятно, да, как стоп-кран от зацикливания имеет смысл оставить, хотя 4к токенов маловато, у меня бывало 3.6 без зацикливания и по 8к токенов думало над чем-то сложным.
reasoning-budget на самое лучшее решение, это как мешком по голове, чтоб все мысли убрать. У 3.8 можно гораздо гибче размышления настраивать с помощью reasoning-effort.
Попробуй такой параметр для llama-server:
Можно задавать low, medium, high, и кажется xhigh
Уже опять устарело, на этой неделе вышли Gemini 3.7 Flash и GLM-5.3 :)
И Grok 4.6 (в прошлой статье был 4.5)
Спасибо, интересно.
Гуглопоиск по whole genome sequencing выдает кучу контор, которые утверждают, что делают не 0.02%, а весь геном, типа такого. Они по настоящему делают, или тоже через TOPMed прогоняют?
Хотеть может и хочет, но в свете того, что почти все владельцы датацентров объявили о том, что разрабатывают свои собственные чипы для инреференса, надо быть дураком, чтоб не понимать, к чему это может привезти, а он не дурак.
Вообще, есть кэширование контекста, когда тот-же llama.cpp создает чекпойнт kv-кэша на определенное место в контексте и в следующий раз не весь контекст пересчитывается, а с этого чекпойнта. Но это кеширование сильно жрет память. Как вариант, для маков можно попробовать Omlx вместо llama.cpp ибо они этот кэш контекста пишут на диск вместо памяти. Но Omlx не работает с gguf моделями, либо mlx, который весьма хреново жмет, тупо все слои одинаково, либо их собственный какой-то optiq-mlx, который в теории лучше, но я когда с ним последний раз игрался (пару месяцев назад), моделей в этом формате было мало, а то-что находил, было тупее gguf. Может сейчас ситуация улучшилась.
Почему все подобные статьи пишут люди далекие от темы, которым столь лениво самим разбираться, что выплевывают устаревшую на годы инфу? Что их заставляет так делать? И ведь даже не смутила надпись на скрине со списком моделей, что DeepSeek R1 0528 Qwen 8B был выложен 370 дней назад!
DeepSeek самая маленькая современная модель занимает 167Гб, она изначально с весами 4 бита, так что даже если квантовать агрессивно, нужен весьма продвинутый комп, чтоб запустить и погрустить от того, как оно медленно.
llama - их последняя модель вышла в апреле 2025 и тоже была слишком большая для обычных компов, причем весьма посредственная, что привело к тому, что руководителя заменили и теперь Мета пилит закрытые модели с другим именем.
Mistral - последний релиз в марте не задался, во-первых mistral small теперь на 116B параметров, что слишком много для обычных компов, во-вторых модель так себе, хуже конкурентов.
Phi - последний релиз в декабре аж 2024, вроде по слухам команду распустили, кто-то уволился, кто-то перешел в другие отделы.
CO2 в атмосфере это не загрязнение, а основа жизни, если его уменьшить до определенного уровня вся жизнь на земле погибнет.
Вымирания происходили во времена катаклизмов. Ну и наступления ледниковых периодов. Смена флоры и фауны постепенно происходит всегда: одни виды меняются на другие. А вот количество жизни на земле зависит от того, сколько CO2 в атмосфере - больше CO2 - больше жизни. Хотя, конечно, есть предел, высокий уровень после которого бегающей жизни начнет плохеть.
Есть, все еще выкладывают модели где открыта и базовая модель и датасеты для обучения с нуля (эти ребята, например https://allenai.org/), но они не популярны потому-что значительно хуже всех остальных. Думаю основная причина: правильный датасет обучения это критическая часть, даже может важнее архитектуры модели, а сделать его правильным без того, чтоб набежали всякие правообладатели - невозможно.
Тем не менее, тот-же ДипСик выложил базовые модели, которые теперь файнтюнит, промежуточный вариант между опенсорсом и просто открытыми весами.
Они собираются выложить веса 3.8 Мах в следующую среду, чего раньше никогда не делали, Макс всегда был закрытым. И также пообещали выложить 3.8 27b и другие.
V4-Flash-0731 кодит сильно лучше чем v4-pro.
Ну вот опять вы спорите с воображаемыми противниками. Я не отрицаю рост CO2 в атмосфере. Не отрицаю что большая его часть - скорее всего заслуга людей: раньше в некоторых районах нефть из луж вычерпывали, теперь надо забуриваться на два километра. И не отрицаю, что он влияет на климат, что климат меняется, в частности тают ледники.
Я лишь сомневаюсь, что эти изменения строго плохие. Они становятся плохими и даже ужасными, нагнетающими мысли что мы скоро все умрем тогда, когда это надо тому кому надо, и тогда на сцены экономического форума вытаскивают девочек, вместо ученых, а климатологи получают гранты если пишут в определенном направлении.
А в промежутках потихоньку выходят другие исследования, о том, как планета озеленяется с ростом CO2.
Выйдите на улицу и посмотрите на самое большое дерево в округе. Так вот, половина его массы это исключительно углерод, C, добытый фотосинтезом из CO2, добытого только из воздуха. Остальное в массе в основном вода и не немножко всякого разного другого.
Все ископаемое топливо: уголь, нефть, газ, когда-то давно было живыми существами и росло, или бегало по планете. Теперь мы снова превращаем его в жизнь.
Лучшеб все эти зеленые боролись не с CO2, а с действительно вредными выбросами убивающими планету, но за это тем кто накручивает массы зеленых не заплатят, поэтому и шансов на такое нет.
Вот пример, с чем зеленые бороться не будут:
https://www.youtube.com/watch?v=SC2eSujzrUY
то-же самое на русском:
https://www.youtube.com/watch?v=6PV4hyxFBCA
Кто врет и о чем именно в вашем допущении? Различных утверждений вокруг изменения климата очень много. Есть очень многие с которыми лично я очень даже согласен.
Ну вот например все эти статьи, цифры и модели предсказывающие, что с ростом СО2 теплые районы начнут становиться жаркими и опустыниваться потерпели полное фиаско и никак не бьются с наблюдениями, когда с ростом СО2 наоборот пустыни стали озеленяться.
О да! Например, Германия, которая позакрывала все свои АЭС ибо они страшные и вдруг взорвутся, подсадила себя на газ с которого теперь уже не слезть (вроде правильно - сосед же рядом с дешеванским газом), но вдруг раз, и газ теперь американский и другого больше не будет в ближайших десятилетиях. А АЭС внезапно стали самыми чистыми в мире.
Потому-что всегда против политических и экономических конкурентов пауки в банке воюют грязными методами, враньем и чужой кровью.
Вы про этих деятелей? https://habr.com/ru/articles/75953/
А кто именно отрицает потепление, или рост CO2 в атмосфере? Вроде бы никто. Есть те, кто считает, что эта тема уж больно политизирована попытками в свое время ее эксплуатировать для сдерживания роста помышленности в неугодных странах и в целом для борьбы с конкурентами.
В целом, есть факт, что жизнь на планете земля - углеродная. И еще, есть факт, который также никто из ученых не отрицает, даже самых тревожащихся: с ростом CO2 в атмосфере, растет и биомасса земли. Так что зеленым следовало-бы задуматься насколько они реально зеленые, если топят за то, чтоб уменьшить биомассу земли. :)
Ну, раньше за подобное на хабре минусовали в ноль, а теперь наоборот. Удивительно.
Опять кто-то Хабр с твиттером перепутал
А кто вообще кодинг тулзам дает доступ к прод базам да еще и полный доступ на очистку всего?
Если база тестовая, то с чего новость?
Не обязательно UUID, есть и другие варианты для числовых идентификаторов без всякого централизованного сервиса, например: https://en.wikipedia.org/wiki/Snowflake_ID
Надо только продумать как выдавать уникальные machineid при старте пода.
Интересно, видел посты про этот бенчмарк на редите несколько раз, вот уж не думал, его кто-то русскоговорящий делает.
Как все-таки модели быстро эволюционируют. Еще в начале года только топовые закрытые модели могли какую-то прибыль делать, все остальные, включая самые большие открытые модели стабильно банкротились, а теперь уже куча открытых моделей делают хорошие прибыли, а Опус 5 вообще в отрыв ушел.
Странно что у Gpt 5.6 результат даже ниже 5.5.