Даже такой подход позволяет существенно сократить время написания кода. Но никто не говорил, что развитие на этом остановится. Плато пока не прослеживается.
Там потом Горелкин в телеге написал, что РКН имел в виду, что "различные политики" применяются самим Гуглом, а "дифференциация деградации" вызвана тем, что десктопная и мобильная версия ютуба идёт через разное оборудование Гугла :)
Так что формально получается, что они просто признали замедление, а не то, что они его замедляют.
Оценка своих суждений есть только в рассуждающих моделях типа о1, Gemini Thinking, Deepseek. Метод оценки прозвали Chain of Thought (CoT). А у простых моделей типа GPT-4o такого нету, да.
Насчёт "тупейшей вещи"? Ну знаете, ему как-то виднее, это же под его руководством она родилась... И, видимо, ему есть, с чем сравнивать, раз он сделал такие выводы.
Это уже выходит за пределы технического аспекта, который был поднят в исходном комментарии. Морально-философский аспект сейчас изучает, например, Павел Дуров во Франции.
Вот ответьте с технической точки зрения. Вам, как технарю, прилетает задача - блокнуть одну страницу на одном сайте. Как вы планируете её осуществить? Человек вам именно об этом коммент написал. Задача эта называется "атака на HTTPS", и выполнить её крайне сложно.
Это не имеет значение. Он не Исаак Ньютон, не Билл Гейтс и т.д.
Ну послушайте Билла Гейтса, если он вам больше нравится :)
Wat?Одно из другого никак не следует.
Это такое же намеренное упрощение, как и в первом случае. Доведение до абсурда.
Вау. Потеряли контекст прям как llm, косплей 10 из 10.
Контекст, то какой был?
Колумб открыл Америку, потому что у него был багаж знаний о мореходстве, он знал, что Земля круглая. Вот если сейчас кто-нибудь поплывёт в сторону Америки и скажет, что так в Индию будет короче, то его засмеют (как сейчас смеются над LLM). А Колумб тогда не знал того, что знаем мы, поэтому для него это было нормальным. Это для современного человека такой поступок был бы нелогичным, и его бы обвинили в том, что он не умеет рассуждать.
Т.е. у нас есть знания и делаем открытия опираясь на эти знания.
Вот именно.
Я, когда мелкий был, впечатлился, читая энциклопедию по химии, сколько всего открыли случайно.И сейчас привел парочку таких примеров.
Вот только открытия эти были сделаны не пещерными людьми, а позже. Потому что пещерные люди обладали меньшим багажом знаний. Алхимики тоже вон пытались свинец превратить в золото, но получилось это только в 20-м веке, когда разобрались с ядерными реакциями.
Это звучит как экстраполяция.
Не как экстраполяция звучит примерно следующие: точность ответов на датасете GSM8K за N лет повысилась на X%, с Y% до Z%.
Возможно, я не совсем точно выразился. Суть в том, что модели с маленьким или некачественным датасетом больше промахиваются. Работа над обучением постепенно устраняет те проблемы, о которых они пишут. Но они почему-то решили, что вся концепция - курам на смех, и надо придумывать что-то кардинально другое.
При всём уважении, в переводе сказано (даже отдельно процитировано) а - у существующих LLM есть критические проблемы в рассуждениях, б - требуются дополнительные исследования для того чтобы создать модели лишённые этих недостатков. Как вы из этого сделали вывод что в исследовании говорится "LLM никогда не смогут рассуждать" - загадка.
Они изучали LLM на основе трансформеров и сделали вывод о том, что такие LLM не могут и не смогут рассуждать. И что нужно создавать модели на основе чего-нибудь другого, чтобы устранить эту проблему. Или они всё же дают шанс трансформерам? Я такого там не увидел.
Смотрю на график. Вижу, например, что у gemma2-2b-it качество падает на 31.8 а у gemma2-9b-it уже на 63. А между ними gemma2-27b-it. Вы утверждаете что у gemma2-2b-it больше информации о мире чем у gemma2-9b-it?
Это интересные артефакты. Любопытно также, что Gemma-7b-it (это Gemma версии 1) показала снижение качества почти что на уровне о1-preview, в то время как Gemma2-9b-it (а это уже Gemma версии 2) показала себя в 3 раза хуже (где-то в хвосте). Не исключено, что это может быть связано с уровнем цензурирования, например. Или с тем, какая доля в "информации о мире" для конкретной модели состоит именно в математической информации. Но и без этого графика и так известно, что более старые версии ChatGPT хуже справлялись с решением школьных задач, чем более новые.
Даже такой подход позволяет существенно сократить время написания кода. Но никто не говорил, что развитие на этом остановится. Плато пока не прослеживается.
Поэтому у ИИ будет агентность.
Видимо, все местные ТСПУ как-то зависят от какого-то центрального управляющего узла.
Потому что он тоже идёт сквозь ТСПУ.
Ну то есть до этого момента вас терзали сомнения, да?
При отключённом DoH у меня тоже не работало.
Там потом Горелкин в телеге написал, что РКН имел в виду, что "различные политики" применяются самим Гуглом, а "дифференциация деградации" вызвана тем, что десктопная и мобильная версия ютуба идёт через разное оборудование Гугла :)
Так что формально получается, что они просто признали замедление, а не то, что они его замедляют.
Если хочется большой контекст, то тут нужен гугловский Gemini - https://aistudio.google.com/
Там контекст вплоть до 2М токенов.
Если для телевизора, то вот - https://habr.com/ru/articles/840686/
А так вообще если просто для компа, то нынче самое актуальное - это https://github.com/Flowseal/zapret-discord-youtube/
Просто её обучали на синтетических данных от GPT-4. И ответы на подобные вопросы в датасете не почистили. Кетайцы :)
Оценка своих суждений есть только в рассуждающих моделях типа о1, Gemini Thinking, Deepseek. Метод оценки прозвали Chain of Thought (CoT). А у простых моделей типа GPT-4o такого нету, да.
Насчёт "тупейшей вещи"? Ну знаете, ему как-то виднее, это же под его руководством она родилась... И, видимо, ему есть, с чем сравнивать, раз он сделал такие выводы.
https://github.com/Flowseal/zapret-discord-youtube
В браузере надо будет включить QUIC.
А кто-нибудь пробовал этот Daredevil abliterated? Насколько этот метод его реально расцензурировал? Жаль, что в статье об этом не упомянуто.
Это уже выходит за пределы технического аспекта, который был поднят в исходном комментарии. Морально-философский аспект сейчас изучает, например, Павел Дуров во Франции.
Вот ответьте с технической точки зрения. Вам, как технарю, прилетает задача - блокнуть одну страницу на одном сайте. Как вы планируете её осуществить? Человек вам именно об этом коммент написал. Задача эта называется "атака на HTTPS", и выполнить её крайне сложно.
Качайте вот это https://github.com/Flowseal/zapret-discord-youtube/releases/download/1.3.0/zapret-discord-youtube-1.3.0.rar и запустите general.bat
Вот эту штуку ставьте и всё заработает - https://github.com/Flowseal/zapret-discord-youtube
Ну послушайте Билла Гейтса, если он вам больше нравится :)
Это такое же намеренное упрощение, как и в первом случае. Доведение до абсурда.
Колумб открыл Америку, потому что у него был багаж знаний о мореходстве, он знал, что Земля круглая. Вот если сейчас кто-нибудь поплывёт в сторону Америки и скажет, что так в Индию будет короче, то его засмеют (как сейчас смеются над LLM). А Колумб тогда не знал того, что знаем мы, поэтому для него это было нормальным. Это для современного человека такой поступок был бы нелогичным, и его бы обвинили в том, что он не умеет рассуждать.
Вот именно.
Вот только открытия эти были сделаны не пещерными людьми, а позже. Потому что пещерные люди обладали меньшим багажом знаний. Алхимики тоже вон пытались свинец превратить в золото, но получилось это только в 20-м веке, когда разобрались с ядерными реакциями.
Возможно, я не совсем точно выразился. Суть в том, что модели с маленьким или некачественным датасетом больше промахиваются. Работа над обучением постепенно устраняет те проблемы, о которых они пишут. Но они почему-то решили, что вся концепция - курам на смех, и надо придумывать что-то кардинально другое.
Может быть, я неверно интерпретировал их посыл.
Они изучали LLM на основе трансформеров и сделали вывод о том, что такие LLM не могут и не смогут рассуждать. И что нужно создавать модели на основе чего-нибудь другого, чтобы устранить эту проблему. Или они всё же дают шанс трансформерам? Я такого там не увидел.
Это интересные артефакты. Любопытно также, что Gemma-7b-it (это Gemma версии 1) показала снижение качества почти что на уровне о1-preview, в то время как Gemma2-9b-it (а это уже Gemma версии 2) показала себя в 3 раза хуже (где-то в хвосте). Не исключено, что это может быть связано с уровнем цензурирования, например. Или с тем, какая доля в "информации о мире" для конкретной модели состоит именно в математической информации. Но и без этого графика и так известно, что более старые версии ChatGPT хуже справлялись с решением школьных задач, чем более новые.