Спасибо за перевод. Интересная тематика с учетом дискуссий о достоверности выводов различных больших ЯМ на базе трансформеров. Мультимодальные модели позволят повысить эту достоверность, хотя и рамках чисто языкового подхода не все возможности исчерпаны. Язык в некотором виде содержит модель мира, включая физического, и это позволяет корректировать выводы с помощью Системы 2, см., напр, эту публикацию.
Однако поскольку автор статьи упомянул нейрофизиологические исследования в рамках байесовского подхода к изучению функций мозга несколько критических замечаний. К сожалению методологического характера. По видимому автор переселился в свой внутренний мир — internal models на всех уровнях, и полагается, в основном, на нисходящие top-down влияния)
«Нисходящий аспект»: Обрабатывает данные и выводит заключения на основании исходной информации, получаемой от органов чувств. Пугающий силуэт + вой = снежный человек.
«Восходящий аспект»: Добавляет поверх исходной информации «слой мышления», который принимает и использует «прежние знания» (то есть — опыт, полученный в прошлом) для того чтобы осмысливать данные. Пугающий силуэт + вой = слишком увлечённый путешествием (или пьяный) турист.
Чтобы произвести окончательное заключение — Active inference, и тем самым минимизировать свободную энергию дачник должен выйти из дачи и удостоверится, что это не снежный человек, не медведь, и тд, а веселый турист, как он ожидает) И только в том случае, если это не так, а им оказался отставший от корабля возбужденный инопланетянин, скорректировать свои представления — внутреннюю модель, и минимизировать св. энергию таким путем.
Если по простому, то в конце концов, критерием истины является практика, в том числе, наблюдательная.
Эта странная особенность мозга может показаться нам чем-то вроде «бага», но для наших предков, которые были охотниками или собирателями, это было скорее не «багом», а жизненно важной «фичей». Для них безопаснее было предполагать, что они видят где-то лицо, даже тогда, когда на самом деле никакого лица там не было. Это было средством защиты от хищников в дикой природе.
Это правильно быть на стороже… но причины появления внутренних моделей, пресдказательного режима функционирования и нисходящих контуров управления в том, что это повышает реактивность, минимизирует потребление энергии — дорогого ресурса, и уменьшает вредные последствия связанного с ней метаболизма. Все это начало появляться уже у первых микроорганизмах, до появления многоклеточных и нервных систем, и у человека вылилось в предсказательный разум. По сути это физические ограничения с которыми приходилось считаться не только эволюции, но сейчас разработчикам процессоров, уменьшая ими потребление энергии, решая проблемы теплоотвода и уменьшения вредных последствий ее выделения.
Для решения задач машинного зрения чаще всего используются свёрточные нейронные сети. Это — особая архитектура нейронных сетей. Такие сети обучают на специализированных наборах данных для решения весьма специфических задач наподобие классификации изображений.
На другом краю спектра архитектур нейронных сетей находятся большие языковые модели. Здесь было сказано, что они, в своей основе, представляют собой всего лишь по-настоящему большие нейронные сети с «простой единообразной архитектурой, обученные наитупейшим из возможных способов» (их учат предсказанию следующего слова).
Сравним упомянутые архитектуры ИНС с теми, что в мозге. Сверточные сети являются неплохим приближением структуры вентрального тракта зрительной системы приматов, архитектурой трансформеров являются прямые сети. Не та, не другая архитектура в полной мере не соответствуют структуре биологических сетей, которые являются принципиально рекуррентными. Нисходящие контуры управления в мозге как раз реализуются обратными связями. До биологической правдоподобности эти архитектурам еще далеко. Вероятно это удастся в перспективе достичь только с помощью нейроморфных технологий, над которыми работают многие производители железа. Они энергоэффективны благодаря импульсному режиму работы, асинхронны, непрерывно обучаемы на основе хеббовских принципов, и тд.
Но когда мы подстроим ту же свёрточную нейронную сеть в расчёте на кодирование изображений, совместимое с «пространством эмбеддингов» языковой модели, мы можем, решая вышеописанную задачу, задействовать знания о мире, которые есть у языковой модели. Эти знания о мире внутри языковой модели примерно аналогичны той форме «нисходящего восприятия», которое обрабатывает исходную визуальную информацию, поступающую от кодировщика изображений.
Как у человека представления о мире, так и знания о мире в языковых моделях являются ограниченными. В конечном итоге их стабилизирует именно сенсорный ввод, а также образный уровень мышления. Причем в случае ИИ не ввод изображений, видео, и тп, а ввод именно с датчиков, которые непосредственно контактируют с внешней средой. Эта архитектура описывается понятием когнитивной архитектуры (обзор), и до ее приближенной реализации также еще далеко. То что сейчас делается, включая чаты на основе GPT, является технологией интеллектуальных ассистентов, пусть продвинутыми в сравнении существующими — Сири, Алиса, и тд., но пока даже не интеллектуальными агентами.
Я уверен, что многие исследователи искусственного интеллекта были бы несказанно счастливы в тот день, когда ИИ начнёт видеть некие образы в облаках — так же, как видим их мы.
Как то автор статьи поленился посмотреть по теме. Уже существующие ИНС испытывают иллюзии, которые испытывают люди, см. 1, 2 , 3, 4 .
Как ожидают некоторые исследователи, квантовые компьютеры откроют кардинально новые горизонты в медицине.
Про медицину вообще сложно говорить, но даже в квантовой химии пока есть сомнения, что КК сможет помочь. Недавняя статья обсуждает как раз это:
"We conclude that evidence for such an advantage across chemical space has yet to be found. While quantum computers may still prove useful for quantum chemistry, it may be prudent to assume exponential speedups are not generically available for this problem."
Не понимаю за что плюсы. Автор излагает свои поверхностные знания об асинхронном программировании, делает неверные выводы, а ведь кто-то эту статью будет использовать как учебное пособие.
Что там с threading?
Тут особо смысла нет - практический эксперимент показал, что threading показывает такие же результаты (плюс - минус), как асихнронный код из пункта 3.
multiprocessing
Не буду врать, просто посмотрел как нечто похожее делал какой-то индус с Ютуба. Результаты сильно хуже, чем у предыдущих способов. Да и писать такой код - это насилие над своей психикой. А я свою психику берегу.
Языковые конструкции async await — это просто синтаксический сахар. Значение имеет только конкретная реализация и конфигурация под капотом этих конструкций.
Автор использовал дефолтную реализацию в Python — на ивент лупе. Любые вычисления на CPU будут блокировать весь поток и съедать весь выигрыш на асинхронных операциях чтения из неблокируемых сокетов. Внезапно, к этим вычислениям относится даже json десериализация.
Поэтому если говорить о реальных RPS, которые измеряются тысячами, а не десятками, без мультипоточности или мультипроцессорности не обойтись. Ниакой asyncio.gather тут не поможет.
У человека в каждом из каналов органов чувств последовательно вшит конденсатор.
И подобный же конденсатор с диодом стоит в отношении собственных потребностей и уровня достатка.
Положительные эмоции человк получает как функцию тока через канал органа чувств - в итоге длительный положительный сигнал выходит только от положительной же динамики, а на любой статический уровень рано или поздно реакцией является скука и недовольство.
По поводу собственных потребностей - достаток очень быстро через диод заряжает конденсатор потребностей, практически нивелируя разность между ними - в итоге исчезает ток, исчезают и эмоции. Так что очень даже есть ему чего клянчить, желая не отставать от тех, кто щедро себе наваливает от пирога с ревенью
Хорошая статья, но есть нюансы: Швеция постоянно прыгает между приватизацией и национализацией. Сейчас практически все организации либо публичные, либо вообще частные (школы, больницы), но при этом это все оплачивается государством.
Пенсия состоит из двух частей - государственная и частные пенсионные вклады, суммарно выходит очень неплохой, но на графиках учитывают только государственную часть и тогда выглядит грустно.
Пособие по безработице тоже есть государственное (ну почти. Это очередное агенство, государственная страховка, forsakringskassan, но в ней зарегистрированы практически все), но и есть А-касса, профсоюз, который доплачивает остатки. Если коротко - большую часть социальных аспектов отдали в частные руки, покуда бизнес зачастую может быть более эффективным. Правда не всегда и те же клиники могут вернуть в государственные руки, слишком много уж жалоб.
Для меня социализм в Швеции это возможность получить бесплатное образование, практически бесплатную медицину, пойти на курсы повышения квалификации (туда даже буткампы входят), чистые дворы, ну и в целом ощущение что завтра настанет, и что неожиданный форс мажор не загонет меня в долг на пять лет зарплаты как в Штатах (последнее избегается и в чисто капиталистических странах, но разница в том, что в Швеции это забота государства, а не меня).
В ассемблере есть старый добрый RET, который извлекает из стека верхнее значение и передаёт управление соответствующей строке кода, вот только в стек можно писать что-угодно и даже забыть это что-то оттуда достать, получив неопределённое поведение. Некоторые очень злые программисты используют этот манёвр в качестве неявного GOTO.
Если вы не против, я немного поправлю. Вместо uBlock лучше использовать adNauseam. Он может не только резать рекламу, но и беспорядочно по ней тыкать, сбивая маркетологам все метрики, плюс сайту с переходов будет капать копеечка (Ведь всё-таки они и хостинг оплачивают, и над сайтом работают)
Вместо Firefox или Brave лучше использовать ABrowser, или Librewolf, из которых выпилена вообще вся телеметрия. Тот же Brave уже один раз ловили на подставлении своих реферальных ссылок, когда пользователь заходил на криптобиржи.
Виртуальный мир ММО — это общее пространство, внутри которого взаимодействует большое количество игроков. Предполагается, что пространство это в течение долгого времени (годы) развивается и эволюционирует, обрастая новыми локациями и механиками. Согласны?
Причинами, по которым люди долгие годы будут заходить в один и тот же виртуальный мир могут быть:
а) Постоянно пополняемый разработчиками набор контента — со скоростью, превышающую скорость потребления контента игроками.
б) Социальные связи и прочие высокоуровневые вещи, возникающие «над» основным геймплеем ММО.
В нашем 2020 году пункт «а» невозможен технически — пока не поидуман достаточно умный ИИ, который бы с бешеной скоростью генерировал разнообразный контент достаточно высокого качества. Никакие арены, сезоны и БГ не удержат игроков на годы.
А теперь взгромождаем сверху гениальный креатив директоров по монетизации (с). «Давайте сделаем игру более скучной», говорят они (на самом деле нет — но суть именно такова). «Более скучной и требующей огромных временных затрат на получение того, что мы положим в магазин. Или вообще не дадим возможности получить магазинные предметы игровыми способами, промотивировав элитизм. И дадим возможность избавиться от скучного одним кликом по кнопке Купить».
Единожды вступив на эту дорожку, остановиться разработчикам невозможно — каждый следующий товар в магазине должен быть «более нажористым», чем предыдущие — иначе не будет смысла его покупать.
Вообще, мне довольно утомительно вести дискуссию на эту тему, потому что на одном ММО-ресурсе, завсегдатаем которого я являюсь, это происходит уже где-то лет восемь и написано. огромное. количество. хороших. текстов.
Да к сожалению выбора нет. Есть долгоживущая тройка: LA2, WoW, EvE, которые по многим причинам устраивают не всех. Лучше всех из этой тройки выглядит EVE но она просто не всем подходит. Кроме этой тройки, фактически, нету ничего, только короткоживущие сомнительные ММО или очень специфичные корейские игры.
Это довольно занятный ранок: игроков море, денег море, спрос огромный, предложения нет. Все это явилось следствием череды больших ошибок, положивших начало модным заблуждениям: вспомните хотябы Warhammer Online, которая с треском провалилась, имея огромную фанбазу и очаровательную, проработанную и даже неплохо реализованную бекстори. А за причинами далеко ходить не нужно: просто достаточно посмотреть на список консультантов по разработке и историю персонала: SOE, Bioware, то есть те компании, которые ммо делать в принципе не умеют.
Спасибо за перевод. Интересная тематика с учетом дискуссий о достоверности выводов различных больших ЯМ на базе трансформеров. Мультимодальные модели позволят повысить эту достоверность, хотя и рамках чисто языкового подхода не все возможности исчерпаны. Язык в некотором виде содержит модель мира, включая физического, и это позволяет корректировать выводы с помощью Системы 2, см., напр, эту публикацию.
Однако поскольку автор статьи упомянул нейрофизиологические исследования в рамках байесовского подхода к изучению функций мозга несколько критических замечаний. К сожалению методологического характера. По видимому автор переселился в свой внутренний мир — internal models на всех уровнях, и полагается, в основном, на нисходящие top-down влияния)
Чтобы произвести окончательное заключение — Active inference, и тем самым минимизировать свободную энергию дачник должен выйти из дачи и удостоверится, что это не снежный человек, не медведь, и тд, а веселый турист, как он ожидает) И только в том случае, если это не так, а им оказался отставший от корабля возбужденный инопланетянин, скорректировать свои представления — внутреннюю модель, и минимизировать св. энергию таким путем.
Если по простому, то в конце концов, критерием истины является практика, в том числе, наблюдательная.
Это правильно быть на стороже… но причины появления внутренних моделей, пресдказательного режима функционирования и нисходящих контуров управления в том, что это повышает реактивность, минимизирует потребление энергии — дорогого ресурса, и уменьшает вредные последствия связанного с ней метаболизма. Все это начало появляться уже у первых микроорганизмах, до появления многоклеточных и нервных систем, и у человека вылилось в предсказательный разум. По сути это физические ограничения с которыми приходилось считаться не только эволюции, но сейчас разработчикам процессоров, уменьшая ими потребление энергии, решая проблемы теплоотвода и уменьшения вредных последствий ее выделения.
Сравним упомянутые архитектуры ИНС с теми, что в мозге. Сверточные сети являются неплохим приближением структуры вентрального тракта зрительной системы приматов, архитектурой трансформеров являются прямые сети. Не та, не другая архитектура в полной мере не соответствуют структуре биологических сетей, которые являются принципиально рекуррентными. Нисходящие контуры управления в мозге как раз реализуются обратными связями. До биологической правдоподобности эти архитектурам еще далеко. Вероятно это удастся в перспективе достичь только с помощью нейроморфных технологий, над которыми работают многие производители железа. Они энергоэффективны благодаря импульсному режиму работы, асинхронны, непрерывно обучаемы на основе хеббовских принципов, и тд.
Как у человека представления о мире, так и знания о мире в языковых моделях являются ограниченными. В конечном итоге их стабилизирует именно сенсорный ввод, а также образный уровень мышления. Причем в случае ИИ не ввод изображений, видео, и тп, а ввод именно с датчиков, которые непосредственно контактируют с внешней средой. Эта архитектура описывается понятием когнитивной архитектуры (обзор), и до ее приближенной реализации также еще далеко. То что сейчас делается, включая чаты на основе GPT, является технологией интеллектуальных ассистентов, пусть продвинутыми в сравнении существующими — Сири, Алиса, и тд., но пока даже не интеллектуальными агентами.
Как то автор статьи поленился посмотреть по теме. Уже существующие ИНС испытывают иллюзии, которые испытывают люди, см. 1, 2 , 3, 4 .
Как сделать из игры размером несколько килобайт игру размером несколько гигабайт ничего не меня в графике и игровом процессе.
Меня это несколько пугает - новый виток системных требований включая дорогущий AI-Accelerator в обязательных.
А ещё минус толпа народа которая эти игры кодила.
Про медицину вообще сложно говорить, но даже в квантовой химии пока есть сомнения, что КК сможет помочь. Недавняя статья обсуждает как раз это:
"We conclude that evidence for such an advantage across chemical space has yet to be found. While quantum computers may still prove useful for quantum chemistry, it may be prudent to assume exponential speedups are not generically available for this problem."
Не понимаю за что плюсы. Автор излагает свои поверхностные знания об асинхронном программировании, делает неверные выводы, а ведь кто-то эту статью будет использовать как учебное пособие.
Языковые конструкции async await — это просто синтаксический сахар. Значение имеет только конкретная реализация и конфигурация под капотом этих конструкций.
Автор использовал дефолтную реализацию в Python — на ивент лупе. Любые вычисления на CPU будут блокировать весь поток и съедать весь выигрыш на асинхронных операциях чтения из неблокируемых сокетов. Внезапно, к этим вычислениям относится даже json десериализация.
Поэтому если говорить о реальных RPS, которые измеряются тысячами, а не десятками, без мультипоточности или мультипроцессорности не обойтись. Ниакой asyncio.gather тут не поможет.
У человека в каждом из каналов органов чувств последовательно вшит конденсатор.
И подобный же конденсатор с диодом стоит в отношении собственных потребностей и уровня достатка.
Положительные эмоции человк получает как функцию тока через канал органа чувств - в итоге длительный положительный сигнал выходит только от положительной же динамики, а на любой статический уровень рано или поздно реакцией является скука и недовольство.
По поводу собственных потребностей - достаток очень быстро через диод заряжает конденсатор потребностей, практически нивелируя разность между ними - в итоге исчезает ток, исчезают и эмоции. Так что очень даже есть ему чего клянчить, желая не отставать от тех, кто щедро себе наваливает от пирога с ревенью
Хорошая статья, но есть нюансы: Швеция постоянно прыгает между приватизацией и национализацией. Сейчас практически все организации либо публичные, либо вообще частные (школы, больницы), но при этом это все оплачивается государством.
Пенсия состоит из двух частей - государственная и частные пенсионные вклады, суммарно выходит очень неплохой, но на графиках учитывают только государственную часть и тогда выглядит грустно.
Пособие по безработице тоже есть государственное (ну почти. Это очередное агенство, государственная страховка, forsakringskassan, но в ней зарегистрированы практически все), но и есть А-касса, профсоюз, который доплачивает остатки. Если коротко - большую часть социальных аспектов отдали в частные руки, покуда бизнес зачастую может быть более эффективным. Правда не всегда и те же клиники могут вернуть в государственные руки, слишком много уж жалоб.
Для меня социализм в Швеции это возможность получить бесплатное образование, практически бесплатную медицину, пойти на курсы повышения квалификации (туда даже буткампы входят), чистые дворы, ну и в целом ощущение что завтра настанет, и что неожиданный форс мажор не загонет меня в долг на пять лет зарплаты как в Штатах (последнее избегается и в чисто капиталистических странах, но разница в том, что в Швеции это забота государства, а не меня).
В ассемблере есть старый добрый
RET, который извлекает из стека верхнее значение и передаёт управление соответствующей строке кода, вот только в стек можно писать что-угодно и даже забыть это что-то оттуда достать, получив неопределённое поведение. Некоторые очень злые программисты используют этот манёвр в качестве неявногоGOTO.Если вы не против, я немного поправлю.
Вместо uBlock лучше использовать adNauseam. Он может не только резать рекламу, но и беспорядочно по ней тыкать, сбивая маркетологам все метрики, плюс сайту с переходов будет капать копеечка (Ведь всё-таки они и хостинг оплачивают, и над сайтом работают)
Вместо Firefox или Brave лучше использовать ABrowser, или Librewolf, из которых выпилена вообще вся телеметрия. Тот же Brave уже один раз ловили на подставлении своих реферальных ссылок, когда пользователь заходил на криптобиржи.
Фантасты писали о мире, в котором роботы будут работать 24/7, а люди за ними присматривать. Реальность показала, что выгоднее когда наоборот.
Виртуальный мир ММО — это общее пространство, внутри которого взаимодействует большое количество игроков. Предполагается, что пространство это в течение долгого времени (годы) развивается и эволюционирует, обрастая новыми локациями и механиками. Согласны?
Причинами, по которым люди долгие годы будут заходить в один и тот же виртуальный мир могут быть:
а) Постоянно пополняемый разработчиками набор контента — со скоростью, превышающую скорость потребления контента игроками.
б) Социальные связи и прочие высокоуровневые вещи, возникающие «над» основным геймплеем ММО.
В нашем 2020 году пункт «а» невозможен технически — пока не поидуман достаточно умный ИИ, который бы с бешеной скоростью генерировал разнообразный контент достаточно высокого качества. Никакие арены, сезоны и БГ не удержат игроков на годы.
А теперь взгромождаем сверху гениальный креатив директоров по монетизации (с). «Давайте сделаем игру более скучной», говорят они (на самом деле нет — но суть именно такова). «Более скучной и требующей огромных временных затрат на получение того, что мы положим в магазин. Или вообще не дадим возможности получить магазинные предметы игровыми способами, промотивировав элитизм. И дадим возможность избавиться от скучного одним кликом по кнопке Купить».
Единожды вступив на эту дорожку, остановиться разработчикам невозможно — каждый следующий товар в магазине должен быть «более нажористым», чем предыдущие — иначе не будет смысла его покупать.
Вообще, мне довольно утомительно вести дискуссию на эту тему, потому что на одном ММО-ресурсе, завсегдатаем которого я являюсь, это происходит уже где-то лет восемь и написано. огромное. количество. хороших. текстов.
Да к сожалению выбора нет. Есть долгоживущая тройка: LA2, WoW, EvE, которые по многим причинам устраивают не всех. Лучше всех из этой тройки выглядит EVE но она просто не всем подходит. Кроме этой тройки, фактически, нету ничего, только короткоживущие сомнительные ММО или очень специфичные корейские игры.
Это довольно занятный ранок: игроков море, денег море, спрос огромный, предложения нет. Все это явилось следствием череды больших ошибок, положивших начало модным заблуждениям: вспомните хотябы Warhammer Online, которая с треском провалилась, имея огромную фанбазу и очаровательную, проработанную и даже неплохо реализованную бекстори. А за причинами далеко ходить не нужно: просто достаточно посмотреть на список консультантов по разработке и историю персонала: SOE, Bioware, то есть те компании, которые ммо делать в принципе не умеют.