Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 22
Я школьник, и моя цель — стать исследователем и создавать AGI.
Начни с математики и таких слов "интерполяция", "экстраполяция" и " аппроксимация"
Чтобы стандартный DQN начал показывать нормальный результат в среде CartPole (балансировка шеста на тележке), то ему в среднем надо 40000 шагов. Человеку же достаточно нескольких минут, чтобы достичь такого же результата.
А предыдущие миллионы лет эволюции конечно же не в счет)
Я понял, что ты имеешь в виду. С этой стороны ты прав, действительно, эволюция потратила много времени на создание мозга, больше чем этот DQN. Но я хотел привести этот пример в другом смысле. Эволюция создала <<алгоритм>> (мозг человека), который может обучаться намного эффективнее современного AI. Я в этом смысле имел в виду. Конечно, есть инстинкты, которые были зашиты в мозг эволюцией, но даже так мозг намного эффективнее AI.
Так даже и тогда сравнение некорректно. я не буду утверждать что llm обучается эффективнее мозга, очевидно это не так. Но вот порядок насколько неэффективно, тут уже вопросы..
Но опять же наш мозг результат эволюции, и соответственно для каких-то классов задач он в процессе эволюции хорошо натренировался, и соответственно новые задачи из этого класса (как в примере) он освоит быстро. В отличии от llm.
Другие же задачи вероятно уже не так быстро, сколько вам времени нужно чтобы научится решать дифференциальные уравнения, или задачи по сопромату? И сколько потребуется llm (если допустим обучить ее сначала без знаний по этой области) а потом дообучить. Причем наш мозг не сильно изменился за последние 500-5000 лет. Но чему успевал обучиться человек за всю жизнь 5000 лет назад? (Но принципы уже были, а когда добавились знания мозг их освоил)
А если взять тот же пример с дотой, там же не просто взяли уже обученный «мозг» и дообуичли играть в доту, а научили с нуля, соответственно в эти 45000 лет, так же включено обучение понимаю физики мира (пусть и упрошенного) и тд.
Про не корректность сравнения ты прав, но если честно, я даже и не знал, с чем ещё можно сравнить человеческий мозг. Я пока что не знаю модели, которые имели бы эволюцию для правильного сравнения.
Ты прав, что у моделей не было миллионы лет эволюции в отличие от человека. Моя статья как раз о том, чтобы дать AI такую архитектуру, которая заменила бы эту эволюцию и позволила бы накапливать знания. Например, обучение JEPA позволило бы понимать базу физики мира.
Так работы ведутся в различных направлениях.
просто заголовок статьи: ai это эффективная зубрежка»
По факту же это очень эффективный и универсальный «классификатор» и поисковик закономерностей в огромных объемах данных.
То есть обучается то он может и хуже мозга, а вот уж по облученному «шпарит» очень даже неплохо
Инстинктов нет. Сложность нашего мозга, придуманная эволюцией, как раз и требует двадцать лет самообучения с чистого листа. Просто подсказываю, не отрицаю вашу точек зрения.
…эволюция потратила много времени на создание мозга… есть инстинкты, которые были зашиты в мозг эволюцией…
Дмитрий, мне стало любознательно, Ваше восприятие столь вопиюще творческой «эволюции» чем-то отличается от восприятия разумного Творца всего существующего? 🙂
--
Gemeni -> Gemini.
Есть статистика позволит, то модель может спокойно сгенерировать без причины летающий камень.
В этом предложении скорее всего ошибка в первом слове.
Привет, хорошая статья. Но мне кажется ты либо ошибаешься, либо не правильно интерпретируешь некоторые вещи.
> Claude Opus 4.6, GPT 5.2, Gemini 3 PRO и другие модели - но это экстенсивный путь.
Это правда, но во-первых, чтобы модели быть хорошей ей не обязательно иметь триллионы параметров, чтобы показывать достойный результат. Недавно например вышел qwen 397b который показывает результаты не хуже, чем gpt 5.2. Во-вторых модели не используют все параметры при инференсе, а активируют лишь малую их долю, таким образом увеличение параметров как раз ведет к большим интеллектуальным возможностям модели.
>модель не решает сама, как ей думать, а думает так, как мы ей сказали
Все так, большая языковая модель лишь выучивает паттерны, далее модель требуется дообучить действовать так, как мы хотим. В частности в случае ризонинга мы применяем различные техники, чтобы модель научилась правильно думать, и это дало свои результаты, та же alphaproof например умеет решать задачи с международной олимпиады по математике, а с помощью gpt сделали несколько новых открытий(например недавно gpt-5 полностью решила задачу из списка Эрдеша). То есть это не баг, а фича, что мы можем под какую-то конкретную дообучить нашу модель.
>Непонимание причин
Мне кажется, что благодаря современному rl удалось от моделей добиться крайне хорошего качества в решении логических задач. В качестве доказательства своих слов могу привести бенчмарк HLE и недавний эксперимент First Proof. Да, там модели показала себя не идеально, но и задачи являлись, либо очень сложными, либо абсолютно новыми. То есть модели уже сегодня могут строить причинно-следственные связи, что позволяет решать им крайне тяжелые задачи.
>Отсутствие здравого смысла. Для LLM камень — это просто эмбеддинг, который находится рядом с эмбеддингом "тяжело".
Но в этом и суть как мне кажется. Человек тоже воспринимает все слова в контексте и человека тоже хорошо развито ассоциативное мышление. Здравый смысл кстати можно увидеть даже у моделей, когда они видят, что пришли к нелогичному результату, они могут сказать, что-то пошло не так, и начнут перепроверку своих рассуждений.
>Обычным RL моделям, например, PPO, DQN и A2C, требуется очень много попыток, чтобы что-то понять. Если агент учится паркуру, то он должен прыгнуть с 5-го этажа и разбиться 100 раз, чтобы понять, что так делать не стоит.
>В Model-Based RL агент сначала обучает модель мира, которая предсказывает следующее состояние среды после определённого действия. Потом прокручивает в фантазиях тысячи вариаций исходов, обучаясь на них.
>Результат: DreamerV3 научился добывать алмазы в Minecraft с нуля, не имея записанных игр людей. Этот агент умирал миллионы раз не в игре, а в воображении. Это большой рост эффективности использования данных.
Я не читал статью DreamerV3, но в чем разница между генераций 100к траекторий и такой же игрой, где агент умирал миллионы раз?
Вопрос даже не в этом, положим ты имеешь модель мира и знаешь распределение будущих состояний, но тогда все что ты можешь, это обучать свою модель off-policy чаще, чем это делается в условном PPO.
В заключении. Мы не знаем, даст ли еще большее увеличение параметров, еще большее вливание данных и компьюта лучшее качество модели. Все что мы видим, что LLM на основе трансформеров и MoE, тренируемые в пайплайне pretain - fine tune - rl дают все лучшие результаты. И везде здесь появляются какие-то инновацие, которые тоже бустят качество. А значит -- все покажет эксперимент.
> Claude Opus 4.6, GPT 5.2, Gemini 3 PRO и другие модели - но это экстенсивный путь.
Да, я тебя понял. Недавняя модель Qwen3.5-27B на многих бенчмарках очень неплохо обгоняет Qwen3-235B-A22B только с 3B активными параметрами (https://huggingface.co/Qwen/Qwen3.5-35B-A3B). В статье я, конечно, немного утрировал, но человек всё равно намного эффективнее обучается, чем ML модели.
>модель не решает сама, как ей думать, а думает так, как мы ей сказали
Про alphaproof ты интересный пример подобрал, потому что он помог достичь LLM таких результатов не потому, что она сама умная, а потому, что она добавила к модели MCTS (планирование вперёд). Про gpt 5.2 high, она действительно решила много таких задач, это вполне стоило ожидать, потому что LLM всё же становятся умнее. Но не стоит забывать, что gpt 5.2 high обучалась в огромном количестве RL сред и почти на всех учебниках мира. Модель всё ещё <<чувствует>>, как надо решать задачи Эрдеша. Это всё ещё очень неэффективно.
>Непонимание причин
Да, RL очень сильно помог решить эту проблему, но я немного о другом. Когда человек думает о камне, у него активируются сенсомоторные связи, то есть он вспоминает вес камня, боль при ударе с ним и т. д. LLM же при слове "камень" создаёт в себе эмбеддинг, которых близок к словам "тяжело", "твёрдый" и т. д. Если задача выйдет за рамки распределения из обучающих данных, то модель не справится, в отличие от человека.
>Отсутствие здравого смысла. Для LLM камень — это просто эмбеддинг, который находится рядом с эмбеддингом "тяжело".
Про это я уже говорил выше.
Может, я не очень удачный привёл пример для того, чтобы показать разницу эффективности использования данных. Здесь плюс DreamerV3 в другом. Взаимодействие с реальной средой может быть очень неэффективно и вычислительно затратно. В то время как обучение на латентном пространстве от VAE в DreamerV3 благодаря GPU работает очень быстро.
Про твоё заключение.
Здесь я тоже немного о другом. Метрики LLM действительно растут, но методы, которые я перечислял (JEPA, GFlowNets) пытаются решить те 3 фундаментальные проблемы более кардинально и сильно, чем новый способ эффективной работы с контекстом LLM.
Привет! Я тоже школьник и мне стало интересно - а что ты читал/как изучал в целом тему ИИ? Как, на чем ты делал свою программу? И не хотел бы ты попробовать коллективно вести разработку?
P. s. я, к сожалению, пока что слаб в промышленном программировании, но, возможно, могу помогать с математчастью
Когда в статье видишь "природа подобрала", возникает вопрос: а в своем ли уме и добром ли здравии автор этого "утверждения"? Если ты так уверен в своем утверждении, то просто доверь "природе" свое поделие и природа подберет!
привет. отличная статья - во всяком случае по духу и направлению мысли. на канал в тг подписался. рекомендую почитать мини-альманах в тему https://comexp.net/posts - думаю тебе будет интересно. он на англ, но сегодня это не проблема, полагаю. удачи в проектах!
Классная статья! Конечно люди в комментариях начали поправлять, но в любом случае ты движешься в правильном направлении, уверен следующие статьи будут еще лучше. Удачи, не останавливайся.
В природе архитектором являлась эволюция, которая подобрала универсальный алгоритм для каждой задачи.
Мм, дорогой камрад, «эволюция [видов?]» это для Вас субъект (разумное существо), не объект (безмысленное существо)? Уточните, пожалуйста. 🙂
--
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
45 000 лет на обучение Dota 2: Почему современный AI — это просто эффективная зубрежка