Ну я бы сказал что мы не уверены что это сработает, но также мы и не уверены что это не сработает. Тут можно только эксперементально проверить если пройдёт 10-15 лет и нечего сильно лучше не станет даже с маштабированием, то значит физикализм не прав, а если будет технологическая сингулярность значит прав
У меня у самого не задолго до выхода модели o1 было чувство что ии зашел в тупик, но потом появились CoT модели o1 и o3 (у неё вообще безумный перформанс) и это стало сильным прорывом в планирование и решение больших много ступенчатых задач, Manus это доказал, пот был Deepseek ктоторый показал что CoT может быть супер дешевым, гугл выкатили модели с миллиоными окнами контекста тоже большой шаг к AGI
Из-за этого не понятно где мы нахдимся на кривой ии, на пике? на плато? или в начале бурного роста? сложно сказать только ждать, пока рано выводы делать ИМХО
Я уже упоминал это в примере со слоном, важно не сколько объем мозга, а объем больших полушарий которые отвечают за сложное мышление, хотя это связано и обычно если мозг больше, то больше и полушария (но опять же в примере со слоном понятно что это не всегда так) И вообще по предкам людей сложно сказать могла быть и так что они были чуть умнее, и потом с комфортной жизнью и кучей еды оглупели чуть-чуть И опять же не понятно где размер мозга и где размер больших полушарий. Но даже там тренд сохранется сли посомтреть долгосрочно, не нравятся неандертальцы и австрало питеки, то есть например проконсул который точно был глупее человека и с мелким мозгом
Я считаю что пока даже юлизко не доказано что нельзя сделать сильный ии используя предсказание следующего токена, это я ещё не сказал что можно идти другим путём и маштабировать время думания, а не тупо количество данных и параметров как в том же DeepSeek R1, но в целом я считаю надо и то и то маштабировать для AGI + обучени на визуальных данных, может в виртуальных мирах чтобы усился физике и понимал пространство
Но тот же ChatGPT уже сейчас использует, например, 176 миллиардов «нейронов» (понятно, что нейронами это называть нельзя, это их функциональный аналог для целей обработки информации) — почти в два раза больше, чем у человека в мозгу! И сознания у него что-то не наблюдается, как и всех остальных признаков «сильного ИИ». В этом смысле можно уже сейчас признать, что функциональная модель в строгом смысле потерпела поражение.
Это откровенно бред, во первых не известно что внутри у ChatGpt сейчас так что это уже очень странная оценка (откуда число 176 миллиардов нейронов ?), но если взять DeepSeek R1 или V3 который содержит ~670 миллиард параметров(и они сравнимы с чатом по производительности), и человеческий мозг у которого 86миллиардов нейронов и у каждого 10 тысяч синапсов условно связей, я видел когда упрощают что один синапс примерно равен одному параметру, мне кажется более корректно сранивать параметры, а не нейроны. И вот если считать так, то у человеческого мозга 100 триллионов синапсов-парметров(по 10к на нейрон), а DeepSeek всего 670 миллиардов.
Это говорит о том что даже топовые соврменные модели точно не в 2 раза больше чем мозг, а скорее раз в 100-150 меньше мозга человека, даже если убрать всё лишние из мозга что может не потребоватся сильному ии (без тела, так как понятное дело многое в мозге отвечает за упровление телом например мозг слона который гораздо больше, но всё равно глупее чем у людей за счёт того что большая его часть это мозжечок ), то в коре больших полушарий всё равно где-то 80 триллионов парметров остается, это все равно в 130 раз больше чем у DeepSeek.
Это конечно все равно сравнение сложно сравнимого, но это о многом говорит в плане размеров современых моделей. И на самом деле никто не знает что будет если их масштабировать до уровня мозга и при этом во столько же масшатабировать обучающие выборки и разнообразить их ещё допустим обучением в виртуальных мирах чтобы улучшить понимание пространства и физики.
Не стоит забывать что человеческий мозг тоже продукт масштабирования сравнить опять же того же человека и шипанзе, понятное дело размер имеет значение на ии этот принцип тоже работает
Вот картинка из сентбря. Да по сравнению с gpt-4o разница реально раз в 10-8 по производительности, так что цена оправдана. Ну разница в 10-8 раз в основном в коде и матиматике, но всё таки она под это и заточена
10% по сравнению с o1. o1 != gpt-4o это разные модели o1 показали в сентябре и она была недоступна, по сравнению с gpt4-o там мб будет разница раз в 5. Да путоница с названиями они её сами устроили.
Ну если AGI потребовалось пару дней на решение этой задачи при то мчто ты дергал гугл и компилятор, странно ждать чудес от o1 которая думает пару секунд и не имеет доступа к гуглу и компилятору
Эта модель к сожелению даже больше ограничена чем DALLE-3 от OpenAI если просишь что-то связанное с женщинами сплошная каша выходит. У меня даже DALLE часто отказывается что-то генерировать относительно безобидное, а тут конечно перегнули палку максимально
Где-то слышал, что это проблема всех таких моделей, они же токнизируют текст по словам, есть модели которые токинизируют по буквам, но если бы чат работал так то ебы обучали бы в десятки раз дольше. В случае с такими моделями как gpt это можно преодолеть только генерируя большие искуственные дата сеты где куча слов переставленных задом на перёд
Ну я бы сказал что мы не уверены что это сработает, но также мы и не уверены что это не сработает. Тут можно только эксперементально проверить если пройдёт 10-15 лет и нечего сильно лучше не станет даже с маштабированием, то значит физикализм не прав, а если будет технологическая сингулярность значит прав
У меня у самого не задолго до выхода модели o1 было чувство что ии зашел в тупик, но потом появились CoT модели o1 и o3 (у неё вообще безумный перформанс) и это стало сильным прорывом в планирование и решение больших много ступенчатых задач, Manus это доказал, пот был Deepseek ктоторый показал что CoT может быть супер дешевым, гугл выкатили модели с миллиоными окнами контекста тоже большой шаг к AGI
Из-за этого не понятно где мы нахдимся на кривой ии, на пике? на плато? или в начале бурного роста?
сложно сказать только ждать, пока рано выводы делать ИМХО
Я уже упоминал это в примере со слоном, важно не сколько объем мозга, а объем больших полушарий которые отвечают за сложное мышление, хотя это связано и обычно если мозг больше, то больше и полушария (но опять же в примере со слоном понятно что это не всегда так)
И вообще по предкам людей сложно сказать могла быть и так что они были чуть умнее, и потом с комфортной жизнью и кучей еды оглупели чуть-чуть
И опять же не понятно где размер мозга и где размер больших полушарий. Но даже там тренд сохранется сли посомтреть долгосрочно, не нравятся неандертальцы и австрало питеки, то есть например проконсул который точно был глупее человека и с мелким мозгом
Я считаю что пока даже юлизко не доказано что нельзя сделать сильный ии используя предсказание следующего токена, это я ещё не сказал что можно идти другим путём и маштабировать время думания, а не тупо количество данных и параметров как в том же DeepSeek R1, но в целом я считаю надо и то и то маштабировать для AGI + обучени на визуальных данных, может в виртуальных мирах чтобы усился физике и понимал пространство
Это откровенно бред, во первых не известно что внутри у ChatGpt сейчас так что это уже очень странная оценка (откуда число 176 миллиардов нейронов ?), но если взять DeepSeek R1 или V3 который содержит ~670 миллиард параметров(и они сравнимы с чатом по производительности), и человеческий мозг у которого 86миллиардов нейронов и у каждого 10 тысяч синапсов условно связей, я видел когда упрощают что один синапс примерно равен одному параметру, мне кажется более корректно сранивать параметры, а не нейроны. И вот если считать так, то у человеческого мозга 100 триллионов синапсов-парметров(по 10к на нейрон), а DeepSeek всего 670 миллиардов.
Это говорит о том что даже топовые соврменные модели точно не в 2 раза больше чем мозг, а скорее раз в 100-150 меньше мозга человека, даже если убрать всё лишние из мозга что может не потребоватся сильному ии (без тела, так как понятное дело многое в мозге отвечает за упровление телом например мозг слона который гораздо больше, но всё равно глупее чем у людей за счёт того что большая его часть это мозжечок ), то в коре больших полушарий всё равно где-то 80 триллионов парметров остается, это все равно в 130 раз больше чем у DeepSeek.
Это конечно все равно сравнение сложно сравнимого, но это о многом говорит в плане размеров современых моделей. И на самом деле никто не знает что будет если их масштабировать до уровня мозга и при этом во столько же масшатабировать обучающие выборки и разнообразить их ещё допустим обучением в виртуальных мирах чтобы улучшить понимание пространства и физики.
Не стоит забывать что человеческий мозг тоже продукт масштабирования сравнить опять же того же человека и шипанзе, понятное дело размер имеет значение на ии этот принцип тоже работает
Мне кажется её просто начали делать до хайпа рассуждений поэтому сейчас Альтман сказал что это их послядняя такая модель
Скорее всего это усреднённо и взяли много случайных людей
Вот картинка из сентбря. Да по сравнению с gpt-4o разница реально раз в 10-8 по производительности, так что цена оправдана. Ну разница в 10-8 раз в основном в коде и матиматике, но всё таки она под это и заточена
10% по сравнению с o1. o1 != gpt-4o это разные модели o1 показали в сентябре и она была недоступна, по сравнению с gpt4-o там мб будет разница раз в 5. Да путоница с названиями они её сами устроили.
Ну если AGI потребовалось пару дней на решение этой задачи при то мчто ты дергал гугл и компилятор, странно ждать чудес от o1 которая думает пару секунд и не имеет доступа к гуглу и компилятору
С этим "доктором филисофии" такая путоница постоянно. По факту это переводится скорее как кандидат наук на русский.
Эта модель к сожелению даже больше ограничена чем DALLE-3 от OpenAI если просишь что-то связанное с женщинами сплошная каша выходит. У меня даже DALLE часто отказывается что-то генерировать относительно безобидное, а тут конечно перегнули палку максимально
Есть проект gpt engneer он вроде про примерно это, я пробовал один раз всё равно странно работает можешь загуглить.
Где-то слышал, что это проблема всех таких моделей, они же токнизируют текст по словам, есть модели которые токинизируют по буквам, но если бы чат работал так то ебы обучали бы в десятки раз дольше. В случае с такими моделями как gpt это можно преодолеть только генерируя большие искуственные дата сеты где куча слов переставленных задом на перёд