В реальности скорее нет чем да. Субъективно скорее sol low, или даже Luna max. Но вообще неожиданно, я то был почти уверен что гугл отстал от всех месяцев на 6 минимум. А это flash версия, если они сделают moe на пару триллионов, а не пару сотен миллиардов, как вероятно сейчас, то могут и сравняться с клодом.
Ну да, гугл ведь мёртв, растоптан, уничтожен, в руинах, пал, обанкротился, унижен, эээ, простите, что-то у меня с фантазией на синонимы сегодня не густо.
Если немного зарыться в теоретические обоснования и модели, то на 99% (условно, но порядок такой) греем именно мы. (Если мы это человечество)
Люди которые отрицают само наличие глобального потепления - без комментариев.
Люди которые считают что антропогенного влияния там почти или совсем нет, ну как сказать, вероятность что они правы есть. Так же как есть вероятность что правы плоскоземельщики.
Да, я про турбоквант слышал, но не пользовался. Но даже так, лям контекста 18гигов... Что там остаётся от видеокарты... И 256к на мой взгляд маловато, разве что сжимать постоянно. Ну в общем если кому-то хочется извращаться, то кто я такой чтобы мешать. Сам ведь такой же.
Ну такое. Нет, про приватность то ок, аблитерированные модельки - ну допустим, хотя они ничего нормального писать то и не умеют) (нормальная художка, тем более nsfw, прям больное место абсолютно всех моделей) Но вот всё остальное это на мой взгляд немного натягивание бедного животного на его же хвост, где минусы подаются как плюсы. Чтоб был нормальный контекст (это я с учётом квантования контекста) нужна видеокарта от 32гб (ну или безжалостно квантвоать модельку, но качество страдает) выжать приемлемую скорость декода тоже сложно. Нужно однозначно пихать всё в видеокарту, даже моешка вероятно не поможет, я вот на 32ddr4 и 8гд rtx 3070 запускал 3.8 27b (в q4 k.m кажется), и получил свои честные 3.5 токена в секунду... Ну это ни о чём.
И качество. По бенчмаркам (хотя там вероятно некорректно сравнение обязок) qwen 3.8 27b действительно в общем-то обходит opus 4.6, но блин, может она подойдёт для чего-то относительно несложного, мелких правок, чата, но модельки за последние 8 месяцев вообще говоря улучшились, как и обвязки. И прям существенно. Так что чат да, поиграться да, мелкая несложная работа возможно, если есть видяха стоимость как крыло самолета.
Про то что корпорации следят за нами... Ну Карл. Покажите мне того кто не следит в той или иной мере.
Всё таки. Вот зачем. Как-то я очень скептично отношусь к локальным моделькам... Да, это почти уровень opus 4.6 умещающийся в видеокарте на 16-24гб, окей, вау, великолепно... Но в чем смысл? Да если по электричеству посчитать загрузку видеокарты под агента условные 24/7 то выйдет те-же 20 долларов подписки если не дороже... Только вот подписка даст не фронтир 8-10 месячной давности а слегка получше модельки. Нет, для каких-то специфичных целей/условий еще туда-сюда, но для повседневного использования...
Я в том плане что как только какой-то специфический тест достаточно широко распространяется то высока вероятность что в тренировочном корпусе появляется датасет специально под этот тип задач. Или даже вовсе под одну конкретную свгшку. И тот факт что какая-то сетка хорошо с ним справляется с какого-то момента особо ничего не говорит.
Да нифига, гугл скатился почти на дно. Хотя казалось бы с учётом их ресурсов это невозможно. 3.6 Flash единственное где чуть лучше даже лёгкого deepseek, это в агентах, а в остальном он её обходит. (И это не замечая слона в комнате, то бишь сравнения по цене).
Ну и реально по итогу ее активного пользования она не пригодна ни на что кроме легких правок аля "поменяй цвет кнопочки".
Да прям прикольно. Особенно про сравнение качества, даже не знаю что и сказать про уровень модельки 20-21 года. Я то был уверен что нормальные маленькие появились сильно позже, но видимо вся проблема была именно в нормальном sft . Я кстати предполагаю что просто миллиарда параметров недостаточно для языкового переноса знаний, и на английском gemma отвечала бы гораздо лучше. Возможно.
А кстати отвлечённый вопрос, а вы никогда не пытались запустить обучение в kaggle, на TPU v5e-8? Там теоретически 122 гб, буквально что-то среднее между h100 и h200, но вот настроить это всё так чтобы оно запускалось и нормально распределялось по чипам мне не удалось... А вот маленькую модельку может и на одном чипе получится, там в основном с распределением по 8 чипам каждый раз затык да и среда кастрированная. Для инференса ещё туда сюда, да и то через одно место а вот с обучением у меня не вышло.
Обычно модельки меньше 5b так или иначе выдают осмысленный бред в 95% случаев. Было бы интереснее лично для меня обучить lora какой нибудь модельки (кстати там отдельная тема что у большинства моделей все очень плохо с выводом больше 2-3к токенов за раз, есть что то типа long writer Zero 32b, но он очень уж сухонький, под мою задачу с художкой в свое время не подошёл, а вот для хабра вероятно вполне) на 20-30млрд параметров в формате пар, промт к статье-сама статья (можно еще и комменты в конце генерить), для генерации промтов использовать deepseek v4, по стоимости +- приемлемо.
Но как эксперимент прикольно. Я ожидал что моделька меньше миллиарда вообще ни на что способна не будет, и чисто мешанину из тематических слов едва осмысленную будет выводить.
И кстати может качество будет получше если обучать на меньшем количестве токенов, но уже предобученную модельку? А то обучать с нуля обычно мало смысла...
ps. Интересно, если прогнать датасет через фильтр сгенерированного текста, какой процент отвалится...
pps. Неужто проблема с torchaudio не вылезла? Решается вроде относительно легко но как же сцуко бесит каждый раз.
Не знаю какая версия мема была оригинальной, но оно должно быть здесь. Сообщения и описания нло всегда имеют удивительную корреляцию с распространением образов в литературе и массовом сознании, будь то дирижабли, летающие тарелки, или четырехугольники мутноватого вида с огнями по краям...
чем холоднее климат, тем хуже кормовая база. И тем накладнее содержать орган, которых много потребляет, но даёт меньше преимуществ, чем, скажем, большая мышечная масса или густая шерсть.
Это так. Но неужто баланс невозможен? Когда и корма достаточно и температура не слишком высокая? Вот я вроде имею перед глазами убедительное обоснования что интеллект статистически не нужен, но все аргументы кажутся подогнанными под это обоснование... Ну да ладно, шило в заднице (ну или скорее в мозгу) исключительно моя проблема.
Есть парадокс Ферми, а теперь для меня будет и парадокс интеллекта, пока не найду для себя достаточно убедительных аргументов...
Не совсем так. Нужно, чтобы те, у кого признак есть оставляли больше плодовитого потомства.
Одно не следствие другого? Если все у кого нет признака помирают то те у кого есть и знак неизбежно оставляют больше потомства, ибо все остальные успешно померли.
Кстати 1300 человек выглядит как нечто прям на грани способности выжить с точки зрения генетического вырождения.
проблемы с поддержанием тепла у них не было, была проблема от тепла избавиться.
Так то да, но ведь есть же куча мест в которых не то чтобы тепло, и соответственно дофига видов у которых была ровно противоположная проблема.
Эволюция - она такая зараза. Испортить что-то ей проще, чем создать. И если вид спокойно выживает без чего-то энергозатратного (например, без разума), то, рано или поздно, оно исчезнет.
Ммм. Ну во первых опять же, мне не кажется это таким уж энергозатратным, это относительно незначительная прибавка к базовому энергообмену и, что важно, вероятно при образовании чего-то способствующему интеллекту (мне кажется называть это разумом как-то... мы же не будем утверждать что интеллект обязательно = разум/сознание. хотя ладно, это я просто о терминах занудствую, откройте окошко) зачатки условного мозга потребляли скорее всего гораздо меньше чем сейчас, и разница была бы совсем незначительная. И да, долгое планирование, гибкость к различным ситуациям это не то, что прям необходимо большинству, но вероятность что среди миллионов видов и сотен миллионов лет это пригодится лишь одному виду, где мозг сможет развиться в достаточной степени мне кажется стремящейся к нулю, по крайней мере с учётом всего того что я знаю. (Очевидно что есть причина по которой это произошло, но все вышеприведённые в статье и комментах кажутся мне всё ещё слишком малозначимыми). Ну то есть как я понимаю, чтобы мозг (или нечто аналогичное) начал развиваться нужно чтобы большинство без этого признака умирало до репродуктивного возраста. И мне кажется что таких ситуаций происходило дофига и больше.
Вообще, 15-20% потребления тела за возможность долгосрочного планирования мне не кажутся большой ценой с точки зрения эволюции. Это не так уж много. Да и эти 15-20% не уходят то в никуда, тело их может использовать как лишний источник тепла для терморегуляции, как кем-то было замечено выше. В этом плане я так и не понял честно говоря схрена ли интеллект не встречается буквально у каждого первого. Это всё ещё выглядит логично. Ну ладно, пусть не у каждого первого, но не ОДИН же успешный пример за всю историю. Про сырую пишу кстати спорно. Не говоря уже о стабильных условиях для образования ума. Тезис статьи что стабильные условия видут лишь к стабильным простым и понятным реактцям мне больше нравится. Стабильные условия не дают эволюции повода что-либо менять. Никто не умирает раньше размножения (точнее умирает не больше порогового значения необходимого для перемен), нужные признаки не закрепляются...
Человек в его современном виде существо довольно новое. Которое существует буквально секунду от того времени когда на земле была жизнь имеющая возможность обрести интеллект. У природы были сотни миллионов лет и десятки/сотни тысяч или даже больше вариантов видов чтобы в самых разных условиях естественным отбором мог образоваться интеллект значительно превосходящий наш. Да ещё и с телом вероятно получше чем у ущербного homo sapiens. "здесь была шутка про коленки" Но нет... Разве что зачатки появились чего-то подобного. И статья именно об этом.
По существу статьи без понятия, давно уже не слежу. Да и читать этот нейрослоп (простите великодушно если это не так, но даже консервативный Яндекс даёт 40% текста сгенерированного, 20% возможно сгенерированного, и 40% человека, а два из первых сайтов в выдаче показывают 90-95% генерации) с вкраплениями самостоятельно (надеюсь, хотя от них все равно отдает запашком тех же чатов с нейросеткой с которыми я когда -то плотно взаимодействовал) написанного текста мне сложновато , ибо технической квалификацией продираться через эти дебри не обладаю. Но чисто любительское мнение подкрепленное некоторым опытом, вся эта дребедень за исключением белых списков решается хостером не из первой десятки, а желательно не из первой сотни. На крупных я еще пол года назад отчаялся что-то развернуть, мелкие хоть часто и дороже но там работает вообще всё. К примеру сервак в Oracle Cloud в париже (тот который free tier на 24ram 4 ядра), у меня на нём еще пол года назад не работало вообще ничего, на крупные хостеры по моему навесили аналог белых списков, хоть и не везде. А вот мелкий хостер в США работал даже с устаревшей фигнёй типа openvpn, специально проверял. И пол года назад настроенный путь с vless по типу клиент в росии-сша-франция (чего бесплатному серваку пропадать, поставил в качестве выходного узла тпу его все равно не видят, авось и помогло чем-то) прекрасно работает везде за исключением белых списков по понятным причинам.
В реальности скорее нет чем да. Субъективно скорее sol low, или даже Luna max. Но вообще неожиданно, я то был почти уверен что гугл отстал от всех месяцев на 6 минимум. А это flash версия, если они сделают moe на пару триллионов, а не пару сотен миллиардов, как вероятно сейчас, то могут и сравняться с клодом.
Ну да, гугл ведь мёртв, растоптан, уничтожен, в руинах, пал, обанкротился, унижен, эээ, простите, что-то у меня с фантазией на синонимы сегодня не густо.
Если немного зарыться в теоретические обоснования и модели, то на 99% (условно, но порядок такой) греем именно мы. (Если мы это человечество)
Люди которые отрицают само наличие глобального потепления - без комментариев.
Люди которые считают что антропогенного влияния там почти или совсем нет, ну как сказать, вероятность что они правы есть. Так же как есть вероятность что правы плоскоземельщики.
Да, я про турбоквант слышал, но не пользовался. Но даже так, лям контекста 18гигов... Что там остаётся от видеокарты... И 256к на мой взгляд маловато, разве что сжимать постоянно. Ну в общем если кому-то хочется извращаться, то кто я такой чтобы мешать. Сам ведь такой же.
Ну такое. Нет, про приватность то ок, аблитерированные модельки - ну допустим, хотя они ничего нормального писать то и не умеют) (нормальная художка, тем более nsfw, прям больное место абсолютно всех моделей) Но вот всё остальное это на мой взгляд немного натягивание бедного животного на его же хвост, где минусы подаются как плюсы. Чтоб был нормальный контекст (это я с учётом квантования контекста) нужна видеокарта от 32гб (ну или безжалостно квантвоать модельку, но качество страдает) выжать приемлемую скорость декода тоже сложно. Нужно однозначно пихать всё в видеокарту, даже моешка вероятно не поможет, я вот на 32ddr4 и 8гд rtx 3070 запускал 3.8 27b (в q4 k.m кажется), и получил свои честные 3.5 токена в секунду... Ну это ни о чём.
И качество. По бенчмаркам (хотя там вероятно некорректно сравнение обязок) qwen 3.8 27b действительно в общем-то обходит opus 4.6, но блин, может она подойдёт для чего-то относительно несложного, мелких правок, чата, но модельки за последние 8 месяцев вообще говоря улучшились, как и обвязки. И прям существенно. Так что чат да, поиграться да, мелкая несложная работа возможно, если есть видяха стоимость как крыло самолета.
Про то что корпорации следят за нами... Ну Карл. Покажите мне того кто не следит в той или иной мере.
Всё таки. Вот зачем. Как-то я очень скептично отношусь к локальным моделькам... Да, это почти уровень opus 4.6 умещающийся в видеокарте на 16-24гб, окей, вау, великолепно... Но в чем смысл? Да если по электричеству посчитать загрузку видеокарты под агента условные 24/7 то выйдет те-же 20 долларов подписки если не дороже... Только вот подписка даст не фронтир 8-10 месячной давности а слегка получше модельки. Нет, для каких-то специфичных целей/условий еще туда-сюда, но для повседневного использования...
Я в том плане что как только какой-то специфический тест достаточно широко распространяется то высока вероятность что в тренировочном корпусе появляется датасет специально под этот тип задач. Или даже вовсе под одну конкретную свгшку. И тот факт что какая-то сетка хорошо с ним справляется с какого-то момента особо ничего не говорит.
Это вероятно давно устаревший тест. Теперь нужно придумать что-нибудь другое. Крокодил на самокате там или ещё что. Хотя так тоже близковато
Привиделась ли мне там цифра в 115к зелёных на токены или нет, вот в чём вопрос...
Да нифига, гугл скатился почти на дно. Хотя казалось бы с учётом их ресурсов это невозможно. 3.6 Flash единственное где чуть лучше даже лёгкого deepseek, это в агентах, а в остальном он её обходит. (И это не замечая слона в комнате, то бишь сравнения по цене).
Ну и реально по итогу ее активного пользования она не пригодна ни на что кроме легких правок аля "поменяй цвет кнопочки".
Я даже не знаю что более нейрослопно, это комментарий или статья. Комменты то на кой черт генерить
А если не секрет, какое отношение этот комментарий имеет к статье?
Да прям прикольно. Особенно про сравнение качества, даже не знаю что и сказать про уровень модельки 20-21 года. Я то был уверен что нормальные маленькие появились сильно позже, но видимо вся проблема была именно в нормальном sft . Я кстати предполагаю что просто миллиарда параметров недостаточно для языкового переноса знаний, и на английском gemma отвечала бы гораздо лучше. Возможно.
А кстати отвлечённый вопрос, а вы никогда не пытались запустить обучение в kaggle, на TPU v5e-8? Там теоретически 122 гб, буквально что-то среднее между h100 и h200, но вот настроить это всё так чтобы оно запускалось и нормально распределялось по чипам мне не удалось... А вот маленькую модельку может и на одном чипе получится, там в основном с распределением по 8 чипам каждый раз затык да и среда кастрированная. Для инференса ещё туда сюда, да и то через одно место а вот с обучением у меня не вышло.
Обычно модельки меньше 5b так или иначе выдают осмысленный бред в 95% случаев. Было бы интереснее лично для меня обучить lora какой нибудь модельки (кстати там отдельная тема что у большинства моделей все очень плохо с выводом больше 2-3к токенов за раз, есть что то типа long writer Zero 32b, но он очень уж сухонький, под мою задачу с художкой в свое время не подошёл, а вот для хабра вероятно вполне) на 20-30млрд параметров в формате пар, промт к статье-сама статья (можно еще и комменты в конце генерить), для генерации промтов использовать deepseek v4, по стоимости +- приемлемо.
Но как эксперимент прикольно. Я ожидал что моделька меньше миллиарда вообще ни на что способна не будет, и чисто мешанину из тематических слов едва осмысленную будет выводить.
И кстати может качество будет получше если обучать на меньшем количестве токенов, но уже предобученную модельку? А то обучать с нуля обычно мало смысла...
ps. Интересно, если прогнать датасет через фильтр сгенерированного текста, какой процент отвалится...
pps. Неужто проблема с torchaudio не вылезла? Решается вроде относительно легко но как же сцуко бесит каждый раз.Не знаю какая версия мема была оригинальной, но оно должно быть здесь. Сообщения и описания нло всегда имеют удивительную корреляцию с распространением образов в литературе и массовом сознании, будь то дирижабли, летающие тарелки, или четырехугольники мутноватого вида с огнями по краям...
Это так. Но неужто баланс невозможен? Когда и корма достаточно и температура не слишком высокая? Вот я вроде имею перед глазами убедительное обоснования что интеллект статистически не нужен, но все аргументы кажутся подогнанными под это обоснование... Ну да ладно, шило в заднице (ну или скорее в мозгу) исключительно моя проблема.
Есть парадокс Ферми, а теперь для меня будет и парадокс интеллекта, пока не найду для себя достаточно убедительных аргументов...
Одно не следствие другого? Если все у кого нет признака помирают то те у кого есть и знак неизбежно оставляют больше потомства, ибо все остальные успешно померли.
Кстати 1300 человек выглядит как нечто прям на грани способности выжить с точки зрения генетического вырождения.
Так то да, но ведь есть же куча мест в которых не то чтобы тепло, и соответственно дофига видов у которых была ровно противоположная проблема.
Ммм. Ну во первых опять же, мне не кажется это таким уж энергозатратным, это относительно незначительная прибавка к базовому энергообмену и, что важно, вероятно при образовании чего-то способствующему интеллекту (мне кажется называть это разумом как-то... мы же не будем утверждать что интеллект обязательно = разум/сознание. хотя ладно, это я просто о терминах занудствую, откройте окошко) зачатки условного мозга потребляли скорее всего гораздо меньше чем сейчас, и разница была бы совсем незначительная. И да, долгое планирование, гибкость к различным ситуациям это не то, что прям необходимо большинству, но вероятность что среди миллионов видов и сотен миллионов лет это пригодится лишь одному виду, где мозг сможет развиться в достаточной степени мне кажется стремящейся к нулю, по крайней мере с учётом всего того что я знаю. (Очевидно что есть причина по которой это произошло, но все вышеприведённые в статье и комментах кажутся мне всё ещё слишком малозначимыми). Ну то есть как я понимаю, чтобы мозг (или нечто аналогичное) начал развиваться нужно чтобы большинство без этого признака умирало до репродуктивного возраста. И мне кажется что таких ситуаций происходило дофига и больше.
Вообще, 15-20% потребления тела за возможность долгосрочного планирования мне не кажутся большой ценой с точки зрения эволюции. Это не так уж много. Да и эти 15-20% не уходят то в никуда, тело их может использовать как лишний источник тепла для терморегуляции, как кем-то было замечено выше. В этом плане я так и не понял честно говоря схрена ли интеллект не встречается буквально у каждого первого. Это всё ещё выглядит логично. Ну ладно, пусть не у каждого первого, но не ОДИН же успешный пример за всю историю. Про сырую пишу кстати спорно. Не говоря уже о стабильных условиях для образования ума. Тезис статьи что стабильные условия видут лишь к стабильным простым и понятным реактцям мне больше нравится. Стабильные условия не дают эволюции повода что-либо менять. Никто не умирает раньше размножения (точнее умирает не больше порогового значения необходимого для перемен), нужные признаки не закрепляются...
Человек в его современном виде существо довольно новое. Которое существует буквально секунду от того времени когда на земле была жизнь имеющая возможность обрести интеллект. У природы были сотни миллионов лет и десятки/сотни тысяч или даже больше вариантов видов чтобы в самых разных условиях естественным отбором мог образоваться интеллект значительно превосходящий наш. Да ещё и с телом вероятно получше чем у ущербного homo sapiens. "здесь была шутка про коленки" Но нет... Разве что зачатки появились чего-то подобного. И статья именно об этом.
По существу статьи без понятия, давно уже не слежу. Да и читать этот нейрослоп (простите великодушно если это не так, но даже консервативный Яндекс даёт 40% текста сгенерированного, 20% возможно сгенерированного, и 40% человека, а два из первых сайтов в выдаче показывают 90-95% генерации) с вкраплениями самостоятельно (надеюсь, хотя от них все равно отдает запашком тех же чатов с нейросеткой с которыми я когда -то плотно взаимодействовал) написанного текста мне сложновато , ибо технической квалификацией продираться через эти дебри не обладаю. Но чисто любительское мнение подкрепленное некоторым опытом, вся эта дребедень за исключением белых списков решается хостером не из первой десятки, а желательно не из первой сотни. На крупных я еще пол года назад отчаялся что-то развернуть, мелкие хоть часто и дороже но там работает вообще всё. К примеру сервак в Oracle Cloud в париже (тот который free tier на 24ram 4 ядра), у меня на нём еще пол года назад не работало вообще ничего, на крупные хостеры по моему навесили аналог белых списков, хоть и не везде. А вот мелкий хостер в США работал даже с устаревшей фигнёй типа openvpn, специально проверял. И пол года назад настроенный путь с vless по типу клиент в росии-сша-франция (чего бесплатному серваку пропадать, поставил в качестве выходного узла тпу его все равно не видят, авось и помогло чем-то) прекрасно работает везде за исключением белых списков по понятным причинам.