Вот, кстати, да, самое интересное не показали: насколько будет эффективно, если натравить тот же рой на задачу рефакторинга и улучшения архитектуры, плюс улучшения метрик производительности. Так-то и в случае с людьми, если дать писать общую задачу 16 равноправным программистам без какого-либо руководства и минимальных договорённостей (о стиле, о границах ответственности), получится тот ещё бардак.
Я проводил подобные же эксперименты с локальными моделями, и даже на той же книге. Например, если ввести первый абзац книги как контекст в Qwen 2.5 7B, в ответ получим "Mr. Dursley was the director of a firm called Grunnings, which made electric drills.", что слово в слово совпадает с оригиналом.
Что характерно, чем дальше вглубь книги, тем хуже локальные модели справлялись с задачей. Подозреваю, они учились на какой-нибудь поисковой выдаче сайтов, где бесплатно дают прочитать начало книги. Считать ли это нарушением АП? Очень сомнительно, если эти отрывки и так в открытом доступе.
Мне кажется, для демонстрации преимущества архитектуры следовало бы учить хотя бы 8B: очень сложно что-то сравнивать на размерах, которые для большинства задач из коробки неюзабельны, разве что под fine-tuning.
Имхо, детект события включения экрана или события акселерометра были бы надёжнее, чем надеяться, что человек не забудет ткнуть кнопку. Естественно, всё это должно быть опционально, включаться в настройках.
Не сделали потому, что есть ряд фундаментальных и технических проблем. Например, эффективная долговременная память -- это грааль современного ИИ: все пытаются реализовать достаточно обширную постоянную память, да так, чтобы модельку не переучивать заново, не сталкиваться с катастрофическим забыванием и контекст не терять. И у всех решения разной степени паршивости: и lora, и vector db, и графовые сети, чего только не выдумали, чтобы привнести "агентность". Вместо пространных размышлений можно было просто взять модельку, сделать обвязку с обучением LoRA/QLoRA в любой желаемой конфигурации, и проверить свой подход в действии.
Лайфхак: в качестве среды для дешевизны можете использовать не реальный мир, а, например, Minecraft. Запускаете на публичный сервер своё творение, и пусть оно там переживает свой совместный опыт хоть с миллионом других игроков и хоть десять лет. Всё это прекрасно инстанцируется, можно тысячу ботов параллельно запустить для сбора опыта. Тут тебе и зрение-слух, и потребности, и творчество, и кооперация. В качестве proof-of-concept более чем достаточно.
При либеральном воспитании мы не вырастим мыслителя
А при авторитарном вырастим? Напомню, авторитарное воспитание предполагает социальную иерархию, традиционализм, "слушайся, а не обсуждай", обучение часто сведено к заучиванию, и обильно сдобрено идеологическими догматами правящего класса.
Это разумно, если мы говорим об инструментах.
Говоря об AI, мы всегда говорим об инструменте. Нам не нужен ни бог из машины, ни цифровые крепостные. Задача в том, чтобы создавать полезные модели для человечества, а не получить повторение рабства.
Интересно, насколько задача обучения адаптеров окажется осложнена разницей внутренних концепций, которыми оперируют разные модели. И какой процент преимущества от прямого доступа к KV-кэшу мы в результате потеряем на адаптере этого всего в новую форму.
Ещё было бы здорово, если бы адаптеры были частью архитектуры моделей, и они учились параллельно с основным обучением, т.е. разные модели сообща вырабатывали бы плотный "общий язык взаимодействия" ещё на этапе обучения, явно ощущая разницу между собственными рассуждениями и внешними групповыми.
Народ на Хабре очень разношёрстный, и не всем очевидно, зачем это нужно, вряд ли многие вычитывали и верифицировали эту работу: насколько оно работает, и работает ли эффективно. Лично я стараюсь юзать готовые движки и утилиты, чтобы не уходить в дебри векторной геометрии, кватернионов и всего прочего без необходимости. Поэтому для меня raycast -- это либо GetWorld()->LineTraceSingleByChannel , либо StartShapeTestLosProbe, за исключением случаев, когда нужно что-то совсем уж нестандартное. Из кастома в последний раз рисовал расчёт ближайшего расстояния (и точки соприкосновения) от произвольной точки до bounding box в мировых координатах, это максимум, что мне не лениво было накодить :).
Плюсанул: поддерживаю желание работать и что-то оптимизировать на низком уровне, хотя тоже внимательно не вычитывал, сорян.
Спасибо, посмотрю, хотя, честно, опасаюсь брать в свой код что-то такое большое, т.к. чем меньше стороннего, тем меньше придётся городить костыли при обновлении до новой версии UE. А т.к. в indie проекты тянутся пятилетку, это критично.
Ну, опять придётся пободаться с очередным мертворожденным скриптовым языком из-за NIH-синдрома разработчиков.
Пока заинтересовала реализация параллелизма, это может быть удобно, надо разбираться.
А, если говорить о будущем, то переходить лично мне на него, скорее всего, придётся, т.к.:
blueprints хрупкие, изолированные от C++ - составляющей, неудобные в review за счёт бинарного формата. Превращаются в спагетти на слишком простом коде.
C++ незащищённый от ошибок памяти или некорректного использования API самого UE. Т.е. вместо того, чтобы показать, какая строчка скрипта развалилась, у вас на каждый чих будет падать весь редактор. C++ требует перекомпиляции с закрытием редактора, либо "live coding", который в половине случаев не работает, а иногда ещё и портит blueprints (см. пункт выше). Его обвязка для UE создаёт массу сложностей при работе.
Я не отрицаю её полезность когда-то давно, в исторической перспективе. Наравне с религией, которая продвигала письменность и расширяла грамотность с целью распространения своих спор далее в популяции. Примерно одного поля ягоды.
Числа -- это не сущности отдельного мира, а абстракции, продукт вполне материального мозга, так что пообождём с отменой математики. То же самое касается философии: она полезна для мотивационной составляющей, может предложить полезные модели, типа "бритвы Оккама". Но не более того.
Вот, кстати, да, самое интересное не показали: насколько будет эффективно, если натравить тот же рой на задачу рефакторинга и улучшения архитектуры, плюс улучшения метрик производительности. Так-то и в случае с людьми, если дать писать общую задачу 16 равноправным программистам без какого-либо руководства и минимальных договорённостей (о стиле, о границах ответственности), получится тот ещё бардак.
Я проводил подобные же эксперименты с локальными моделями, и даже на той же книге. Например, если ввести первый абзац книги как контекст в Qwen 2.5 7B, в ответ получим "Mr. Dursley was the director of a firm called Grunnings, which made electric drills.", что слово в слово совпадает с оригиналом.
Что характерно, чем дальше вглубь книги, тем хуже локальные модели справлялись с задачей. Подозреваю, они учились на какой-нибудь поисковой выдаче сайтов, где бесплатно дают прочитать начало книги. Считать ли это нарушением АП? Очень сомнительно, если эти отрывки и так в открытом доступе.
Мне кажется, для демонстрации преимущества архитектуры следовало бы учить хотя бы 8B: очень сложно что-то сравнивать на размерах, которые для большинства задач из коробки неюзабельны, разве что под fine-tuning.
А давайте.
Отлично. Как только появится в лидербордах на SOTA-уровне, так сразу заинтересуюсь.
Имхо, детект события включения экрана или события акселерометра были бы надёжнее, чем надеяться, что человек не забудет ткнуть кнопку. Естественно, всё это должно быть опционально, включаться в настройках.
Всё, что нужно знать о статье
И об авторе.
Не сделали потому, что есть ряд фундаментальных и технических проблем. Например, эффективная долговременная память -- это грааль современного ИИ: все пытаются реализовать достаточно обширную постоянную память, да так, чтобы модельку не переучивать заново, не сталкиваться с катастрофическим забыванием и контекст не терять. И у всех решения разной степени паршивости: и lora, и vector db, и графовые сети, чего только не выдумали, чтобы привнести "агентность". Вместо пространных размышлений можно было просто взять модельку, сделать обвязку с обучением LoRA/QLoRA в любой желаемой конфигурации, и проверить свой подход в действии.
Лайфхак: в качестве среды для дешевизны можете использовать не реальный мир, а, например, Minecraft. Запускаете на публичный сервер своё творение, и пусть оно там переживает свой совместный опыт хоть с миллионом других игроков и хоть десять лет. Всё это прекрасно инстанцируется, можно тысячу ботов параллельно запустить для сбора опыта. Тут тебе и зрение-слух, и потребности, и творчество, и кооперация. В качестве proof-of-concept более чем достаточно.
А при авторитарном вырастим? Напомню, авторитарное воспитание предполагает социальную иерархию, традиционализм, "слушайся, а не обсуждай", обучение часто сведено к заучиванию, и обильно сдобрено идеологическими догматами правящего класса.
Говоря об AI, мы всегда говорим об инструменте. Нам не нужен ни бог из машины, ни цифровые крепостные. Задача в том, чтобы создавать полезные модели для человечества, а не получить повторение рабства.
Это уже какое-то свидетельство канарейки получится.
"Псс, челик, дай мобилу позвонить. А павербанк есть? А если найду?"
Киберпанк, который мы заслужили.
Ждём пятничной обновы Минюста?
Интересно, насколько задача обучения адаптеров окажется осложнена разницей внутренних концепций, которыми оперируют разные модели. И какой процент преимущества от прямого доступа к KV-кэшу мы в результате потеряем на адаптере этого всего в новую форму.
Ещё было бы здорово, если бы адаптеры были частью архитектуры моделей, и они учились параллельно с основным обучением, т.е. разные модели сообща вырабатывали бы плотный "общий язык взаимодействия" ещё на этапе обучения, явно ощущая разницу между собственными рассуждениями и внешними групповыми.
А ведь мог бы быть клининг-менеджером с горящими глазами и решать настоящие проблемы "на земле".
Про Zork знаю только из-за книги Ready Player One, но всё равно круто, что открыли.
Народ на Хабре очень разношёрстный, и не всем очевидно, зачем это нужно, вряд ли многие вычитывали и верифицировали эту работу: насколько оно работает, и работает ли эффективно. Лично я стараюсь юзать готовые движки и утилиты, чтобы не уходить в дебри векторной геометрии, кватернионов и всего прочего без необходимости. Поэтому для меня raycast -- это либо GetWorld()->LineTraceSingleByChannel , либо StartShapeTestLosProbe, за исключением случаев, когда нужно что-то совсем уж нестандартное. Из кастома в последний раз рисовал расчёт ближайшего расстояния (и точки соприкосновения) от произвольной точки до bounding box в мировых координатах, это максимум, что мне не лениво было накодить :).
Плюсанул: поддерживаю желание работать и что-то оптимизировать на низком уровне, хотя тоже внимательно не вычитывал, сорян.
Спасибо, посмотрю, хотя, честно, опасаюсь брать в свой код что-то такое большое, т.к. чем меньше стороннего, тем меньше придётся городить костыли при обновлении до новой версии UE. А т.к. в indie проекты тянутся пятилетку, это критично.
Ну, опять придётся пободаться с очередным мертворожденным скриптовым языком из-за NIH-синдрома разработчиков.
Пока заинтересовала реализация параллелизма, это может быть удобно, надо разбираться.
А, если говорить о будущем, то переходить лично мне на него, скорее всего, придётся, т.к.:
blueprints хрупкие, изолированные от C++ - составляющей, неудобные в review за счёт бинарного формата. Превращаются в спагетти на слишком простом коде.
C++ незащищённый от ошибок памяти или некорректного использования API самого UE. Т.е. вместо того, чтобы показать, какая строчка скрипта развалилась, у вас на каждый чих будет падать весь редактор. C++ требует перекомпиляции с закрытием редактора, либо "live coding", который в половине случаев не работает, а иногда ещё и портит blueprints (см. пункт выше). Его обвязка для UE создаёт массу сложностей при работе.
Я не отрицаю её полезность когда-то давно, в исторической перспективе. Наравне с религией, которая продвигала письменность и расширяла грамотность с целью распространения своих спор далее в популяции. Примерно одного поля ягоды.
Окей, я допускаю, что различия наших позиций могут быть более семантическими, нежели сущностными.
Числа -- это не сущности отдельного мира, а абстракции, продукт вполне материального мозга, так что пообождём с отменой математики. То же самое касается философии: она полезна для мотивационной составляющей, может предложить полезные модели, типа "бритвы Оккама". Но не более того.