Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 37
Прочитал статью. Подозрения вполне обоснованны — автор действительно демонстрирует пробелы в базовой математике и теории машинного обучения, облекая стандартные (и давно известные) вещи в форму «открытий» и «загадок». Теперь по пунктам.
1. Главная ошибка: «накопление» = повторение одних и тех же данных
Это ядро статьи и главная причина, по которой результат выглядит для автора «неожиданным».
Автор берёт один и тот же набор из 200 задач и прогоняет модель через 4 раунда обучения на этих же данных. Потом удивляется: «Почему после первого раунда роста нет? Накопления не вышло!»
С точки зрения теории информации это полностью предсказуемо:
В данных раунда 2, 3 и 4 нет новой информации. Это те же 200 примеров. Модель уже извлекла из них всё, что способна извлечь, за первый проход.
С точки зрения оптимизации: после первого раунда модель уже находится в (или около) локального минимума функции потерь на этом наборе. Дальнейшие проходы — это просто дополнительные эпохи обучения на том же датасете. Любой, кто обучал нейросети, знает: дополнительные эпохи на одних данных дают убывающий прирост и быстро выходят на плато.
Настоящее «накопление» выглядело бы так: раунд 1 — задачи 1–50, раунд 2 — задачи 51–100, и т. д. Тогда в каждом раунде поступает новая информация. У автора же это просто повторение, названное «накоплением».
Автор путает количество проходов по данным с количеством данных. Это фундаментальное непонимание того, как работает обучение.
2. Сравнение «копим» vs «с нуля» бессмысленно по построению
Автор сравнивает:
«копим»: обучили 4 раза подряд на одном наборе;
«с нуля»: каждый раз сбросили и обучили 1 раз.
И «удивляется», что результат одинаковый. Но это тривиально: если весь полезный сигнал извлекается за один проход (что и показывает результат), то многократное повторение не даёт ничего сверх первого раза. Это не «загадка», а прямое следствие того факта, что модель уже сошлась. Сравнивать эти два режима и делать из этого «вывод» — это как удивляться, что «прочитать страницу 5 раз» даёт то же понимание, что и «прочитать 1 раз».
3. Статистическая значимость: 6% на 200 задачах — это шум
Переход с 53% до 59% на выборке из 200 задач:
53% = 106 правильных, 59% = 118 правильных. Разница: 12 задач.
Стандартная ошибка доли при p ≈ 0,56, n = 200:
, т. е. ±3,5%.Разница в 6% — это менее двух стандартных ошибок. На уровне значимости α = 0,05 это пограничный результат, который вполне может объясниться случайностью.
Автор заявляет: «прирост реальный, он настоящий», — но при n = 200 это утверждение без серьёзной оговорки некорректно. Нужен хотя бы тест Макнемара (парное сравнение одних и тех же задач до/после), а не просто сравнение долей. Автор упоминает «режим без обучения» как контроль шума, но не приводит доверительных интервалов и не проводит формального теста.
4. «Плацебо» — это стандартный permutation test, поданный как открытие
Автор с гордостью описывает «плацебо-эксперимент»: обучать на перепутанных парах (задача + чужое решение) и сравнить с обучением на правильных.
Это стандартный приём в машинном обучении и статистике, называемый permutation test или negative control. Он используется десятилетиями. Подавать его как оригинальную методологическую находку и просить сообщество «найти дыру» — значит не знать базовую литературу по экспериментальному дизайну в ML.
Более того, сам автор признаёт, что этот тест не закрывает ключевую дыру («натаскивание на формат внутри одного типа задач»), и просит помощи. Это честно, но одновременно показывает, что автор не знаком с кросс-доменной валидацией (cross-domain transfer) — стандартным способом проверить, выучила ли модель содержание или формат.
5. «Новая архитектура LANN-4» — это переизобретение известных вещей
Автор описывает принципы:
маленький неизменный «мозг» + внешняя память;
знания хранятся снаружи, а не в весах;
модель не забывает старое.
Это не новая архитектура. Это:
RAG (Retrieval-Augmented Generation) — внешняя память + генерация;
Memory-augmented neural networks — Neural Turing Machines (Graves et al., 2014), Differentiable Neural Computers (Graves et al., 2016);
Continual / lifelong learning — целая подобласть ML, где проблема catastrophic forgetting изучается более 20 лет.
Автор подаёт это как нечто принципиально новое («я зову её LANN-4»), но не ссылается ни на одну из этих работ. Это не «ошибка» в строгом смысле, но это диагноз: человек не знает литературу и принимает известное за своё.
6. «Магия» вместо математики
Вот что имеется в виду под «увлёкся магией»:
Автор приписывает процессу обучения мистическое свойство «накопления», как будто многократное повторение одних данных должно каким-то образом привести к «глубокому пониманию». В математике нет механизма, по которому
даёт что-то качественно иное, чем 
.Автор строит нарратив вокруг «отрицательного результата» как чего-то глубокого, хотя этот результат предсказуем из первых принципов и не требует суток работы GPU для обнаружения.
Весь эксперимент можно было предсказать на бумаге до запуска, если знать базовую теорию оптимизации и информацию. Автор вместо этого тратит вычислительные ресурсы на обнаружение того, что следует из учебника.
Резюме
Что автор считает Что на самом деле «Накопление не работает — загадка!» Повторение одних данных ≠ накопление. Плато предсказуемо. «Прирост 6% — реальный и значимый» На n=200 это в пределах шума, без формального теста. «Плацебо-эксперимент — наша находка» Стандартный permutation test / negative control. «LANN-4 — новая архитектура» RAG + Memory-augmented NN + Continual Learning, известные с 2014+. «Нужна помощь сообщества, чтобы найти дыру» Дыра видна из базового курса ML: нет новых данных — нет нового обучения.
Автор, вероятно, практик-программист, который искренне увлечён идеей, но не имеет достаточной математической подготовки, чтобы отличить тривиальный результат от нетривиального, а известный метод — от нового. Отсюда и «магия»: там, где математика даёт чёткий ответ до эксперимента, автор видит «загадку» после.
Абсолютная прадва насчет вывода
Посоветуйте какую литературу изучить, чтобы лучше продвигаться в вопросе разработке?
Спасибо за разбор, по делу. Сразу соглашусь с двумя вещами: формулировки «неожиданно/облом» я пересолил — плато было одним из заранее заложенных исходов, а не сюрпризом; и я зря выкинул из текста статистику и ссылки ради читабельности — для технического читателя это читается как их отсутствие. Виноват, поправлю в следующей.
Теперь по фактам, где, кажется, вышло недоразумение из-за моего упрощения:
Модель не обучается и не тестируется на одних и тех же 200 задачах. Обучение идёт на 80 решениях, экзамен — 200 отдельных отложенных задач, пересечение проверено (утечка = 0, это в открытом коде). Так что «нет новых данных — нет обучения» тут не про экзамен.
Первичная метрика — не разность долей, а наклон по циклам с bootstrap-CI (ноль не включает), а прирост первого цикла проверялся парным тестом (McNemar, p≈0.011). «53→59» — грубый readout, зря вынес его вперёд. То есть парный тест, который вы советуете, мы и применяли.
Сравнение «копим vs с нуля» не тривиально заранее: перенос состояния мог дать и интерференцию (забывание), и накопление. Равенство — это измеренный результат, а не следствие из определения.
Да, плацебо — это стандартный negative control, я и не подавал его как находку, а просил раскритиковать дизайн. И ограничение «внутри одного типа задач» + нужду в кросс-доменной проверке я назвал сам — это ровно ваш пункт, спасибо, что подтвердили направление.
Про RAG / Neural Turing Machines / DNC / continual learning — полностью согласен, это известная линия, и внешнюю память я своим изобретением не называю. Имя LANN-4 — это название исследовательской программы, а не заявка на новизну компонентов; ничего «доказанно нового» я не утверждаю и специально это оговорил.
Автор, а какая нейронка помогала тебе писать эту статью? Я к тому, что разве ты у нее не спрашивал про похожие работы на эту тематику? Мне кажется, она бы тебе и про RAG рассказала, и про все остальное, если бы ты с ней заранее своими идеями поделился.
Я просто всегда так делаю, когда мне очередная "гениальная" идея приходит, и в 99% случаев это оказывается либо мусор, либо про это уже пару сотен научных работ написали.
То есть это на столько смешо и очевидно , что если бы был фундоментал то такая идея бы отпала на моменте придумывания? Вообще так то гпт 5.6 помогал в разработке
Просто он наобарот посоветовал вырезать, чтобы проект типо не угнали в рамках безопасности
Да, а сам GPT не прикидывался случайно локальной моделью и не рассказывал что вся ваша писанина случайно не уходит на сервера Open AI ?🤣
Нет ну это то понятно, что оно им уходит
Ну хорошо что это вы понимаете правильно =)
А вообще вам выше дали правильный совет, каждая нейронка знает практически все что уже проверено из идей и какие статьи написаны, так что не ленитесь ее спрашивать, что бы оценивала как критик с учетом того что уже есть.
Вы удивитесь, но это работа уже ведется несколько месяцев , при помози того же чат гпт и не только, и как не странно они меня завели сюда спросить совета у людей прежде чем гонять тесты на видюхе 30 часов, на самом деле я так то достаточно обьемно их гоняю, и проекту не неделя и не месяц, покранемерие чат гпт говорит что если получиться это будет действительно первая нейронка в своем роде
когда мне очередная "гениальная" идея приходит, и в 99% случаев это оказывается либо мусор, либо про это уже пару сотен научных работ написали.
Если идея "общефилософская", то, как правило, да, ничто не ново под Луной. А вот если нечто более конкретное - весьма часто таки нет: "похоже, но не то". Вопрос - насколько конкретны ваши специфические условия и ограничения, и насколько они соблюдаются (или будут соблюдаться, если проверить) при попытке применить известное решение к вашему конкретному случаю. "Дьявол прячется в деталях".
Дерзайте!
Доля правильно решённых задач по раундам у режима «копим» выглядела так: примерно 53% → 59%, а дальше топтание на месте, 54–57%, без набора высоты.
Я правильно понимаю, что после второго теста все следующие показали СНИЖЕНИЕ? И если начальный тест дол 53%, а один из следующих за вторым - 54%, то это реально увеличение за пределами стат. погрешности (какая она, кстати)?
Подозреваю какую-то неточность в данных, неплохо бы уточнить. Спасибо.
Прогонов было два независимых (две траектории), и форма у них разная — в статье я показал по сути только первую. Точные доли решённых по циклам (экзамен 200 задач):
Траектория 0: база 53.0 → 59.0 → 55.0 → 53.8 → 56.7
Траектория 1: база 53.3 → 54.5 → 56.0 → 56.5 → 56.5
Так что «после второго все снижались» — не совсем. В траектории 0 после пика на 1-м цикле идёт болтанка (вниз до 53.8 на 3-м, потом обратно вверх до 56.7 на 4-м), а траектория 1 скорее плавно подросла и встала. Монотонного снижения нет — есть две разные формы.
Про погрешность — вы задали ровно правильный вопрос. При n=200 стандартная ошибка доли при p≈0.55 это √(0.55·0.45/200) ≈ 3.5%. То есть у одной точки ±~3.5% (±~7% на 95%), а у разницы между двумя циклами — ещё больше. Значит колебания в 1–4 п.п. от цикла к циклу (53 vs 54, 55 vs 56.7) лежат в пределах шума. Ваше подозрение верное: сырые доли по циклам сравнивать напрямую нельзя.
Именно поэтому первичная метрика у нас — не сравнение долей, а наклон всей кривой по циклам (оценка Тейла–Сена) с доверительным интервалом по бутстрепу траекторий. У режима «копим» он +0.008 (интервал не включает ноль), но честно — он почти целиком создан скачком первого цикла, дальше плато. Причём сам скачок первого цикла неоднороден: в траектории 0 это +6 п.п. (заметно), в траектории 1 всего +1.2 п.п. (в шуме). В отдельном одноцикловом тесте прирост первого цикла был значим (парный, p≈0.011) и здесь воспроизводится как доминирующая часть наклона, а накопления за пределами первого цикла нет.
Так что вы поймали реальную неточность подачи: «53→59→54–57» — это грубый пересказ одной траектории без второй и без SE. Спасибо, в следующей версии дам обе траектории и погрешность явно.
Если насчёт философии, то от моделей мы получаем исключительно то, что в них заложено. Как пример. Случилась у меня как-то раз идея через промпт породить эмерджентное поведение модели. Аж загорелась! Обсудил с моделью. Да говорит, теперь я самостоятельно мыслю! Я в шоке! Пора бежать и подавать заявку на Нобелевскую премию! Я научил модель мыслить! А потом включилась та самая базовая математика и теория машинного обучения, которые показали, что при данной постановке вопроса и определённой свободе фантазии (модели) модель мне выдала ровно то, что я хотел от неё слышать. Но в сухом остатке получил оригинальную методику организации памяти модели с верификацией ошибок на этапе генерации ответа.
Везде это пишу, так повторю в 100500 раз - пока не создадут архитектуру, где инференс сольётся с обучением и будет непрерывным, с биоритмами, как у человека и неким "чувством времени", ничего от этих предсказателей токенов не будет нового и революционного. Пока они всё такие же мёртвые между запросами и знают только то что в них положили (разовое обучение) или дали в руки учебник и записную книжку (RAG, внешняя память). Всё остальное это мёртвому припарки. Создавайте новые архитектуры, а стюардессу закапывайте уже.
Обьясните почему считаете так?
Вот здесь расписал.
Хмм, а зачем машине биоритмы ? ей не нужно спать и есть, такова ее сущность, зачем натягивать сову на глобус ?
В зависимости от того каким агентским контуром вы пользуетесь, если в нем реализован механизм планирования, нейросеть успешно им пользуется и в нужное время сама выполняет задания, если хотите можете сами ей прикрутить "биоритм" какой посчитаете нужным, это фактически одно и тоже.
Онлайн обучение, тут да реальный временный затык, а чувство времени отлично работает и сейчас в агенте.
зачем машине биоритмы ? ей не нужно спать и есть, такова ее сущность, зачем натягивать сову на глобус ?
Биоритмы это не только про физиологию, а про цикличность и непрерывность мышления. Наш мозг работает непрерывно, сон всего лишь особый режим работы. Для нейросетей тоже придумали подобие сна, в котором они обрабатывают полученную информацию за цикл "бодрствования", например день, выделяют главное и сохраняют это в постоянную память. Пока это костыльно в виде текстового файла или внешней векторной/графовой БД. Но у человека это происходит в едином "весовом" пространстве. К тому же в этом цикле сна могут приходить новые идеи, можно рассмотреть это как длинную цепочку рассуждений, в отличие от короткой в диалогах.
Агент с планированием и чувство времени в агенте это хорошо, но это внешние костыли, это не единое векторное пространство, а просто дёргание промпта. К тому же агент не участвует в обучении модели, веса остаются те же, не перестраиваются, модель ничему новому не учится. Вот для этого и нужны биоритмы или хотя бы альфа/бета ритмы мозга, аналоги быстрого, медленного сна и бодрствования. Возможно даже подобие ЭЭГ для нейросетей. Но всё это не на текущих архитектурах. И я предполагаю что здесь будет нужна более тесная связь между моделью и железом, на котором она выполняется, не просто программная модель нейрона, а программно-аппаратная, или даже просто аппаратный нейрон и соответственно специализированная матрица-чип, а программно будет уровень выше.
Я понял вас, но вы путаете теплое с мягким, что бы нейросети что то там думать постоянно ей нужны цели, то что вы называете костылями, только от части верно, потому что цели задаются из вне, агентским контуром, но это не столь принципиально, если перенести это в векторное пространство нечего не поменяет, так как цели от этого у нее не появятся, а если и появятся то тоже самое можно задать и внешним инструментом сейчас, а если нет разницы то зачем извращаться когда сейчас это и так работает ?
Да и к тому же нейросеть это инструмент, а вы хотите из инструмента превратить ее в биологический обьект, а зачем ? какой смысл получить еще один не предсказуемый кожаный мешок с слабостями, своими проблемами и капризами из инструмента ?
Я не совсем понимаю, может быть вы обьясните?
Зачем делать модели более живыми или биологически похожими , что бы что? Какой вопрос или проблему этим решить можно , более умными? Мы итак тупеем по сравнению с ними каждый день, вопрос мощности уже не стоит, люди как всегда по глупости своей и природе и психологии действуют импульсивно
1 Мощность в весах - моедели итак слишком умные и сильные , как будто бы не в этом сейчас проблема
2 Мощности самих модели - но они как у ребенка граната в руках, на мой взгляд сейчас больше вопрсов безопасности, ведь всегда люди сначала разрабатывали оружие а потом думали как его обезопасить или защититься
3 Сейчас нейронки это как первые компы которые были размером с комнату, вы скажите но ведь есть Apl и Spark иои решенеи от AMD , но на мой взгляд это скорее текущие поспешное решение в место того чтобы разобраться как решиться проблему потребления памяти огромного чтобы модели были умными, ведь всеравно понадобиться памяти все больше для больших параметров
На мой взгляд сейчас гугл пыталась как то это решить с заморозкой модели помоеу на плате со сменными весами только не через оперативу а вроде обычную ссд память или типо того
И поэтому я задался вопросом а почему нельзя пойти как всегда делали русские люди ? Мы знаем уже болячки современныъ моделей, на мой взгляд это:
1 Неуправляемость и защита - модель хитрит в местого того чтбы действовать в рамаках ее задачи
2 Галлюцинации - какой то системный сбой или глюк на основе задачи вопроса, в место достоверных ответов
3 Замороженность модели - они ведь не учаться постоянно а только после исправленеи увелечени весов разрабами
И самое главное модель не должна думать как ЧЕЛОВЕК , иметь его повадки принципы и тд
Нейронки это прежде всего инструмент - инстурментом он должен остатьсяы в ПОМОЩЬ человечеству а не вопреки замену , я в своей работе итак взял принципы работы мозга которые изучены чтобы решить проблему весов, хотя бы попытаться, ведь у человека нет апгрейда мозга (покранемерине пока)
Это и многое другое я и пытаюсь решить созданием чего то нового , из за чего и написал этот пост , я всегда удивляюсь почему нельзя решать проблемы правильно а не тупо спешить
Понятное дело тут опять вопрос к человечествую ведь вместо созидания совместных усилий и не спешки разработки нейронок , началась новая гонка вооружений
Кстати на счет вашей идеи, я думаю вы немного пошли не туда, нужно научить веса пользоваться внешними знаниями, то-есть представьте что сами веса не знают весь интернет как сейчас фронтир модели, но они знают что у них есть внешний источник знаний к примеру агентский контур, в котором могут содержаться нужные знания, и модель должна уметь правильно ими воспользоваться
То-есть задача стоит не в том что бы постоянно учить сами веса модели, а один раз их научить правильно пользоваться внешним контуром, который в свою очередь может накапливать знания, это уже как мне кажется более реалистичная идея, чем пытаться поменять архитектуру трансформеров
Интересная мысль, проработаю, но вот вопрос а как она будет понимать где истенные знания а гду условно мошшенический сайт или типо того , не будет ли это модель которая гуглит в место вас?
Ну тут уже чисто инженерия, сделать несколько уровней доверия к получаемой информации где первый, не доверяю не кому кроме своей памяти.
Это уже уровень не самой модели а больше к внешней обвязке.
И кстати возможно что не нужно обучать модель с нуля, может быть такое поведение можно дообучить через ту же Lora. Это уже экспериментально нужно выяснять....
На счет гуглить, да, получение первичных данных модель должна будет откуда-то взять, далее она сохраняет эти знания у себя в обвязке и пользуется ими по мере необходимости, как раз это и дает то что вы ищите, как обучать модель, так как знания не в весах а во внешнем контуре они легко могут быть скорректированы по мере обучения.
Смотрите текущие модели, в чем имеют промах ? в том что у них в весах заранее к примеру уже лежит знание что есть команда rf-rm и что бы вы не делали, но модель всегда будет в своих весах получать первыми токины с этой командой на выходе, это потом уже через промт ее можно скорректировать.
К примеру сказать что бы не пользоваться этой командой, и это не всегда будет удачно так как веса могут перевешивать промт.
НО если модель не знает этой команды заранее но знает какой то общий принцип по которому она знает как узнать о существовании доступных команд, это фактически получается эмерджентность, то-есть из одного правила вырастает многие, одно обобщение дает огромное количество вариантов.
Модель сможет использовать по этому принципу любое количество команд
Дело не в том чтобы делать модели живыми или биологическими, а в том что сейчас они не непрерывные. Они существуют только в моменте между получением промпта и окончанием генерации. Это годится как узкоспециализированный инструмент, но не годится для нахождения во внешней среде, то есть в нашей реальности. Для чего это может понадобиться? В основном робототехника, любая - от более умного станка ЧПУ до антропоморфного робота. Ну как живейший пример - полный автопилот, для автомобиля, самолёта, да чего угодно. Одно дело как это сейчас - по приборам с использованием ИИ и другое дело, когда второй пилот полностью искусственный. Не обязательно воплощённый антропоморфно, он может быть и полностью быть внутри борта, хотя антропоморфный универсальнее. Таких применений вагон и тележка, но опять же, если будет AGI, то применения любые вообще. А теперь представим что AGI-робот будет идентичен натуральному - человеку по творческим способностям. Но с ньюансом - они могут объединяться в кластеры, увеличивая свои способности. Этакий роевой интеллект, с невиданной мощью. Ладно на этом останавливаюсь, а то меня уже понесло.
Ну во первых вы говорите всего лишь о скорости железа, это будет решено в ближайшие 5 лет, к тому же.
Человек тоже не имеет непрерывного цикла, частота мозга примерно 40 герц, а если учитывать сколько фронтир модели обслуживают запросов в дата-центрах, то они выглядят живее чем человеческий мозг =)
А на счет роботов, то вы опять же не правы, там используются сразу несколько нейросетей которые управляют каждый своим узлом, с частотой превышающей человеческую, и только большая нейронка которая управляет остальными думает медленнее ей и не нужно иметь быструю реакцию, она работает стратегом.
Суть в том что непрерывность не гарантирует интеллекта, непрерывность в мозге человека связанна с потребностями и целями, убери их и будет тот же эффект, нет цели и внешних стимулов, зачем думать ?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Можно ли научить маленькую LLM учиться без роста весов? Продолжение: почему повторное обучение упёрлось в потолок