Там потом Горелкин в телеге написал, что РКН имел в виду, что "различные политики" применяются самим Гуглом, а "дифференциация деградации" вызвана тем, что десктопная и мобильная версия ютуба идёт через разное оборудование Гугла :)
Так что формально получается, что они просто признали замедление, а не то, что они его замедляют.
Оценка своих суждений есть только в рассуждающих моделях типа о1, Gemini Thinking, Deepseek. Метод оценки прозвали Chain of Thought (CoT). А у простых моделей типа GPT-4o такого нету, да.
Насчёт "тупейшей вещи"? Ну знаете, ему как-то виднее, это же под его руководством она родилась... И, видимо, ему есть, с чем сравнивать, раз он сделал такие выводы.
Это уже выходит за пределы технического аспекта, который был поднят в исходном комментарии. Морально-философский аспект сейчас изучает, например, Павел Дуров во Франции.
Вот ответьте с технической точки зрения. Вам, как технарю, прилетает задача - блокнуть одну страницу на одном сайте. Как вы планируете её осуществить? Человек вам именно об этом коммент написал. Задача эта называется "атака на HTTPS", и выполнить её крайне сложно.
Это не имеет значение. Он не Исаак Ньютон, не Билл Гейтс и т.д.
Ну послушайте Билла Гейтса, если он вам больше нравится :)
Wat?Одно из другого никак не следует.
Это такое же намеренное упрощение, как и в первом случае. Доведение до абсурда.
Вау. Потеряли контекст прям как llm, косплей 10 из 10.
Контекст, то какой был?
Колумб открыл Америку, потому что у него был багаж знаний о мореходстве, он знал, что Земля круглая. Вот если сейчас кто-нибудь поплывёт в сторону Америки и скажет, что так в Индию будет короче, то его засмеют (как сейчас смеются над LLM). А Колумб тогда не знал того, что знаем мы, поэтому для него это было нормальным. Это для современного человека такой поступок был бы нелогичным, и его бы обвинили в том, что он не умеет рассуждать.
Т.е. у нас есть знания и делаем открытия опираясь на эти знания.
Вот именно.
Я, когда мелкий был, впечатлился, читая энциклопедию по химии, сколько всего открыли случайно.И сейчас привел парочку таких примеров.
Вот только открытия эти были сделаны не пещерными людьми, а позже. Потому что пещерные люди обладали меньшим багажом знаний. Алхимики тоже вон пытались свинец превратить в золото, но получилось это только в 20-м веке, когда разобрались с ядерными реакциями.
Это звучит как экстраполяция.
Не как экстраполяция звучит примерно следующие: точность ответов на датасете GSM8K за N лет повысилась на X%, с Y% до Z%.
Возможно, я не совсем точно выразился. Суть в том, что модели с маленьким или некачественным датасетом больше промахиваются. Работа над обучением постепенно устраняет те проблемы, о которых они пишут. Но они почему-то решили, что вся концепция - курам на смех, и надо придумывать что-то кардинально другое.
При всём уважении, в переводе сказано (даже отдельно процитировано) а - у существующих LLM есть критические проблемы в рассуждениях, б - требуются дополнительные исследования для того чтобы создать модели лишённые этих недостатков. Как вы из этого сделали вывод что в исследовании говорится "LLM никогда не смогут рассуждать" - загадка.
Они изучали LLM на основе трансформеров и сделали вывод о том, что такие LLM не могут и не смогут рассуждать. И что нужно создавать модели на основе чего-нибудь другого, чтобы устранить эту проблему. Или они всё же дают шанс трансформерам? Я такого там не увидел.
Смотрю на график. Вижу, например, что у gemma2-2b-it качество падает на 31.8 а у gemma2-9b-it уже на 63. А между ними gemma2-27b-it. Вы утверждаете что у gemma2-2b-it больше информации о мире чем у gemma2-9b-it?
Это интересные артефакты. Любопытно также, что Gemma-7b-it (это Gemma версии 1) показала снижение качества почти что на уровне о1-preview, в то время как Gemma2-9b-it (а это уже Gemma версии 2) показала себя в 3 раза хуже (где-то в хвосте). Не исключено, что это может быть связано с уровнем цензурирования, например. Или с тем, какая доля в "информации о мире" для конкретной модели состоит именно в математической информации. Но и без этого графика и так известно, что более старые версии ChatGPT хуже справлялись с решением школьных задач, чем более новые.
Потому что, они не знают, что все в итоге сводится к тому, что такое сознание и интеллект. А это в свою очередь сводиться к голой вере.
Это не мешает авторам статьи делать утверждение о том, что LLM никогда не смогут рассуждать. Это их полное право - делать утверждения. Выдвигать гипотезы. Они выдвинули свою, а их оппоненты (к которым отношусь я) - свою. Если у вас есть какая-то третья гипотеза, вы тоже имеете полное право её озвучить.
Да, да. Экстраполируем правильно.Самолет братьев Райт летел 48км/ч, Fokker D.VII 200 км/ч, И-16 362 км/ч, МиГ-3 640 км/ч, МиГ-15 1042 км/ч, СУ-30 2125 км/ч.Отсюда делаем вывод.Кто не верит, что самолеты будут вскоре летать 100500 км/ч, тот регидный дурак и не лечится.
Я ничего такого не прогнозировал. Я сделал вывод ровно о том, что изображено на графике - у моделей, имеющих больше информации о мире, ошибок меньше. Только и всего.
Колумб открыл Америку, потому что знал, что там она расположена.Искали сахарозаменитель, открыли сахарин.
Чтобы сделать подобные открытия, нужны были знания. Иначе Колумб бы не смог даже в море выйти. А для экспериментов в области химии очень полезны знания по химии. Поэтому те открытия, которые сделали, например, в 20-м веке, не были сделаны в античные времена - знаний не хватало.
Ай-ай-ай. Взрослые люди, а по прежнему придумывают обзывалки.А что делать? Когда не можешь раскидать оппонентов по фактом и логике?Только обзываться и остается.
Он-то как раз и продолжил логическую цепочку своих оппонентов. Если LLM - это просто предсказатель токенов, то мозг - это просто пучок нейронов и синапсов.
Да, не просто. Это же заинтересованный хрен с горы.Конечно он скажет, то что он говорит.Иначе ему денег никто не даст.Придется идти работать в макдак, чтобы прокормить себя.А он может не хочет идти туда работать? А?
Он не работает в OpenAI. Он выполнял для них проект по созданию математической модели. Ему уже давно эту работу оплатили, он на постоянке работает учёным в Техасском университете в Остине.
Поэтому да, опен аи сейчас пытается как можно скорее выжать из своего детища денег, ибо понимает, что надо менять саму концепцию, а это дорого, и невозможно.
Илья Суцкевер создал новую концепцию ещё в прошлом году. Вот только Илон Маск подал на OpenAI в суд, из-за чего новый алгоритм выкатят не раньше 2027 года. К тому же, нет алгоритмов контроля таких вещей, эти алгоритмы сейчас Суцкевер разрабатывает уже за пределами OpenAI в своей собственной компании. Скорее всего, через пару лет просто продаст готовую технологию той же самой OpenAI. А пока да, можно спокойно выжимать прибыль из существующих технологий, потому что конкуренты всё равно плетутся в хвосте.
Просто упрёк эппловцев в том, что LLM вообще в принципе никогда не станут так же разумны, как мы, потому что не могут в логику.
Люди тоже не просто так размышляют, они это делают под воздействием гормонов, жажды, голода, холода и т. д. Просто у LLM эти методы воздействия сведены к текстовой строке, вот и вся разница. Была даже статья от создателей Claude о том, как активация отдельных нейронов влияет на мышление нейросети.
Вот я как раз о том и говорю. Открытия делаются на основе знаний, а логическое рассуждение (как того требуют товарищи из Apple) тут совсем не обязательно. Если бы LLM придерживались строгих логических рассуждений, то никаких логических расстыковок у них бы не было. И вот почему-то людям разрешается от логики отклоняться, а LLM - нельзя.
Почему точно не может? Фильм как раз о том, что может. И робот не передёргивал его ни разу, он просто был любознательный. Он ещё у него спрашивал, что означает подмигивающий жест. Фильм сам по себе неплохо поставлен, если пересматривать спустя годы, то можно увидеть много того, что не увидилось 20 лет назад.
При отключённом DoH у меня тоже не работало.
Там потом Горелкин в телеге написал, что РКН имел в виду, что "различные политики" применяются самим Гуглом, а "дифференциация деградации" вызвана тем, что десктопная и мобильная версия ютуба идёт через разное оборудование Гугла :)
Так что формально получается, что они просто признали замедление, а не то, что они его замедляют.
Если хочется большой контекст, то тут нужен гугловский Gemini - https://aistudio.google.com/
Там контекст вплоть до 2М токенов.
Если для телевизора, то вот - https://habr.com/ru/articles/840686/
А так вообще если просто для компа, то нынче самое актуальное - это https://github.com/Flowseal/zapret-discord-youtube/
Просто её обучали на синтетических данных от GPT-4. И ответы на подобные вопросы в датасете не почистили. Кетайцы :)
Оценка своих суждений есть только в рассуждающих моделях типа о1, Gemini Thinking, Deepseek. Метод оценки прозвали Chain of Thought (CoT). А у простых моделей типа GPT-4o такого нету, да.
Насчёт "тупейшей вещи"? Ну знаете, ему как-то виднее, это же под его руководством она родилась... И, видимо, ему есть, с чем сравнивать, раз он сделал такие выводы.
https://github.com/Flowseal/zapret-discord-youtube
В браузере надо будет включить QUIC.
А кто-нибудь пробовал этот Daredevil abliterated? Насколько этот метод его реально расцензурировал? Жаль, что в статье об этом не упомянуто.
Это уже выходит за пределы технического аспекта, который был поднят в исходном комментарии. Морально-философский аспект сейчас изучает, например, Павел Дуров во Франции.
Вот ответьте с технической точки зрения. Вам, как технарю, прилетает задача - блокнуть одну страницу на одном сайте. Как вы планируете её осуществить? Человек вам именно об этом коммент написал. Задача эта называется "атака на HTTPS", и выполнить её крайне сложно.
Качайте вот это https://github.com/Flowseal/zapret-discord-youtube/releases/download/1.3.0/zapret-discord-youtube-1.3.0.rar и запустите general.bat
Вот эту штуку ставьте и всё заработает - https://github.com/Flowseal/zapret-discord-youtube
Ну послушайте Билла Гейтса, если он вам больше нравится :)
Это такое же намеренное упрощение, как и в первом случае. Доведение до абсурда.
Колумб открыл Америку, потому что у него был багаж знаний о мореходстве, он знал, что Земля круглая. Вот если сейчас кто-нибудь поплывёт в сторону Америки и скажет, что так в Индию будет короче, то его засмеют (как сейчас смеются над LLM). А Колумб тогда не знал того, что знаем мы, поэтому для него это было нормальным. Это для современного человека такой поступок был бы нелогичным, и его бы обвинили в том, что он не умеет рассуждать.
Вот именно.
Вот только открытия эти были сделаны не пещерными людьми, а позже. Потому что пещерные люди обладали меньшим багажом знаний. Алхимики тоже вон пытались свинец превратить в золото, но получилось это только в 20-м веке, когда разобрались с ядерными реакциями.
Возможно, я не совсем точно выразился. Суть в том, что модели с маленьким или некачественным датасетом больше промахиваются. Работа над обучением постепенно устраняет те проблемы, о которых они пишут. Но они почему-то решили, что вся концепция - курам на смех, и надо придумывать что-то кардинально другое.
Может быть, я неверно интерпретировал их посыл.
Они изучали LLM на основе трансформеров и сделали вывод о том, что такие LLM не могут и не смогут рассуждать. И что нужно создавать модели на основе чего-нибудь другого, чтобы устранить эту проблему. Или они всё же дают шанс трансформерам? Я такого там не увидел.
Это интересные артефакты. Любопытно также, что Gemma-7b-it (это Gemma версии 1) показала снижение качества почти что на уровне о1-preview, в то время как Gemma2-9b-it (а это уже Gemma версии 2) показала себя в 3 раза хуже (где-то в хвосте). Не исключено, что это может быть связано с уровнем цензурирования, например. Или с тем, какая доля в "информации о мире" для конкретной модели состоит именно в математической информации. Но и без этого графика и так известно, что более старые версии ChatGPT хуже справлялись с решением школьных задач, чем более новые.
Это не мешает авторам статьи делать утверждение о том, что LLM никогда не смогут рассуждать. Это их полное право - делать утверждения. Выдвигать гипотезы. Они выдвинули свою, а их оппоненты (к которым отношусь я) - свою. Если у вас есть какая-то третья гипотеза, вы тоже имеете полное право её озвучить.
Я ничего такого не прогнозировал. Я сделал вывод ровно о том, что изображено на графике - у моделей, имеющих больше информации о мире, ошибок меньше. Только и всего.
Чтобы сделать подобные открытия, нужны были знания. Иначе Колумб бы не смог даже в море выйти. А для экспериментов в области химии очень полезны знания по химии. Поэтому те открытия, которые сделали, например, в 20-м веке, не были сделаны в античные времена - знаний не хватало.
Он-то как раз и продолжил логическую цепочку своих оппонентов. Если LLM - это просто предсказатель токенов, то мозг - это просто пучок нейронов и синапсов.
Он не работает в OpenAI. Он выполнял для них проект по созданию математической модели. Ему уже давно эту работу оплатили, он на постоянке работает учёным в Техасском университете в Остине.
Илья Суцкевер создал новую концепцию ещё в прошлом году. Вот только Илон Маск подал на OpenAI в суд, из-за чего новый алгоритм выкатят не раньше 2027 года. К тому же, нет алгоритмов контроля таких вещей, эти алгоритмы сейчас Суцкевер разрабатывает уже за пределами OpenAI в своей собственной компании. Скорее всего, через пару лет просто продаст готовую технологию той же самой OpenAI. А пока да, можно спокойно выжимать прибыль из существующих технологий, потому что конкуренты всё равно плетутся в хвосте.
Просто упрёк эппловцев в том, что LLM вообще в принципе никогда не станут так же разумны, как мы, потому что не могут в логику.
Люди тоже не просто так размышляют, они это делают под воздействием гормонов, жажды, голода, холода и т. д. Просто у LLM эти методы воздействия сведены к текстовой строке, вот и вся разница. Была даже статья от создателей Claude о том, как активация отдельных нейронов влияет на мышление нейросети.
Вот я как раз о том и говорю. Открытия делаются на основе знаний, а логическое рассуждение (как того требуют товарищи из Apple) тут совсем не обязательно. Если бы LLM придерживались строгих логических рассуждений, то никаких логических расстыковок у них бы не было. И вот почему-то людям разрешается от логики отклоняться, а LLM - нельзя.
Почему точно не может? Фильм как раз о том, что может. И робот не передёргивал его ни разу, он просто был любознательный. Он ещё у него спрашивал, что означает подмигивающий жест. Фильм сам по себе неплохо поставлен, если пересматривать спустя годы, то можно увидеть много того, что не увидилось 20 лет назад.