Таламус по сути просто генератор, поддерживающий активность колонки: вкл/выкл.
Не-не, там в самой лекции на 28:08 было сказано, что кора неокортекса практически линейно проецируется на таламус. Мол, таламус поэтому называют седьмым слоем коры. Сначала у рептилий появился таламус и он выполнял все функции по мышлению (совместно с базальными ганглиями), а потом у млекопитающих неокортекс развился как расширение памяти для таламуса. Увеличенный детектор паттернов. Но вместе с механизмом концентрации, управляемым из ганглий (которые обучены с подкреплением) и рекуррентными связями, это получился не просто детектор, в нем происходит и длительное логическое мышление. Количество переросло в качество. Но до этого все аналогичные (упрощенные) процессы у рептилий происходили в таламусе. Поэтому таламус и некортекс так синхронно работают в паре на частоте 40 Гц (см. 28:27 ). Таламус у млекопитающих все передает в кору, чтобы просто получить от нее улучшенный детекторный ответ.
Опираясь на лекцию, большой прорыв в интеллекте, по сравнению с рыбами, возник сначала у динозавров, когда появилась связка базальные ганглии + таламус (ну и мозжечок для ускорения реакции). Неокоротекс у млекопитающих — это просто количественная плата расширения для таламуса.
А насколько важна для интеллекта именно такая рептилья комбинация ганглии + таламус, со всеми этими торможениями и активациями… Ну, это спорный вопрос. Я лично не вижу причин, почему бы дофаминовым нейронам не прорасти в кору и не делать то же самое напрямую. Принцип-то одинаковый. Скорее всего либо не хватило времени эволюции для этого, либо и так хватает разрешения базальных ганглий. Которые сами тоже надстройка над мозгом рыбы, поэтому то что они выделены в отдельный раздел может быть чисто по биологическим причинам, а не из-за их функциональности (см. пример птиц, которые прекрасно обходятся без неокортекса, просто развив мозг динозавров). А судя по тому, сколько у людей возникает болезней и проблем из-за нарушения дофаминовой системы (дофаминовых нейронов мало и глюки с ними вызывают большие проблемы), скорее всего первое… Не хватило времени на эволюцию.
Кстати, обратил внимание, дофамин выбрасывается и влияет на ганглии только при превышении реальной награды над ожидаемой. «Отрицательные значения» игнорируются, не участвуют в обучении. Как там было раскрыто в вопросах — отрицательного подкрепления нет.
Ну, вообще-то не совсем. В лекции эта тема просто мало раскрыта. При превышении реальной награды над ожидаемой это только при начальном обучении. А после сформированного рефлекса основной всплеск дофамина делается только при ожидании награды (см. раздел "Эксперимент Шульца на обезьяне" в википедии ). А еще система наказания, т.е. отрицательного подкрепления, в мозге тоже существует. Как минимум, при неудаче впрыскивается гормон стресса кортизол, а при опасности еще и адреналин, а при готовом решении действовать (вариант "бей" вместо "беги") дополнительно норадреналин. Там сложная система. Есть какие-то сведения, что дофамин участвует и при отрицательном опыте, просто по другим путям: статья из Наука и Жизнь. Обсуждаемая видеолекция все же сильно упрощенная версия, особо больших выводов о работе мозга по ней делать не стоит...
опираюсь на эти данные www.youtube.com/watch?v=5L0O_H7VPOE
Посмотрел видео, познавательно. Но такая структура мозга, со всеми этими торможениями коры и передачей из одного отдела в другой, все же не является необходимым механизмом для сильного интеллекта, имхо. Это же просто новообразования над более старыми отделами мозга. Эти взаимодействия коры с базальными ганглиями и таламусом — всего лишь вынужденная мера, чтобы учитывать работу с древним ящером. Так как все это развивалось постепенно.
В лекции правильно говорится, что птицы являются потомками динозавров и поэтому вообще не имеют неокортекса. Тем не менее, показывают сравнимый интеллект с млекопитающими. Вороны запоминают на несколько лет лицо человека, принесшего мертвую ворону, попугаи умеют считать с учетом нуля, птицы используют инструменты для выковыривания червячков и т.д. То есть, и с памятью, и с длительной концентрацией внимания у них тоже все ок. Как верно отмечено в лекции, у птиц для этого разбухли базальные ганглии, а у врановых и попугаев дополнительно в полосатом теле стало в два раза больше нейронов, чем у более глупых птиц.
Это доказывает, что и динозавры могли стать разумными, если бы у них со временем увеличился мозг по пути птиц. Неокортекс и именно такая организация с пинг-понгом сигналов с корой для развитого интеллекта вовсе не обязательны.
А в остальном, имеющаяся структура мозга конечно же обоснована и биологически, и эволюционно. Прекрасная лекция. Интересно наблюдать, как появлявшиеся новые отделы мозга давали новые возможности. Сначала динозаврам по концентрации внимания по сравнению с рыбами, а потом и неокортекс у млекопитающих, давший почти неограниченную память и невероятное разнообразие поведения. Но все же описанная в лекции структура взаимодействия коры с предыдущими отделами напоминают костыль по биологическим причинам (из-за необходимости работать с древними отделами). А не причину интеллекта. Параллельное развитие мозжечка для ускорения реакции тоже подтверждает это. Можно было бы сделать по-другому. Современные птицы это доказывают.
Хотя это конечно не мешает реализовывать искусственно и такую схему, особенно при разном обучении разных отделов. Скажем, неокортекс пусть будет чистой сверточной сетью, выделяющей признаки. Базальные ганглии и таламус — RL алгоритмом. Мозжечок вообще не нужен, или может быть заменен какими-нибудь PID контроллерами. Собственно, все как описано на первом слайде в этом видео.
Да, постоянно. Это использование Advantage (обозначается буквой А), как разница между ожидаемой наградой и реальной. Обе интегральные, естественно. Для разных алгоритмов это реализуется по-разному, потому что не в каждом RL алгоритме бывает отдельная нейросеть, которая выдает ожидаемую награду (это, в основном, есть только в актер-критик архитектурах).
Но смысл именно такой, как и в биологическом мозге. Чем выше реальная награда оказалась над ожидаемой, тем больший вклад этот случай вносит в обучение.
Но тут чисто математическая причина. Не забываем, что обучение нейросети — это просто изменение текущего веса на некое число, обозначающее куда его надо изменить (а именно — в направлении градиента, в котором награда увеличивается), умноженное на скорость обучения lr, например на 0.001. Поэтому когда число, обозначающее куда нужно менять веса, центрировано относительно нуля, а при использовании разницы между ожидаемой и реальной наградой это именно так и происходит, это чисто математически оказывается эффективнее. Чтобы веса не уходили в большие значения.
Для постепенного изменения весов абсолютная награда с точки зрения распространения градиента не так важна, как ее изменение. Вот и приходится в качестве этого числа, на которое будет умножен (т.е. изменен) вес, либо использовать разницу между реальной наградой и средней, накопленной за некий период (это было первое усовершенствование policy gradient, использовавшего награду напрямую). Здесь средняя награда используется в качестве замены для ожидаемой. Либо, что оказалось еще лучше, использовать разницу между ожидаемой наградой и реальной. Но это уже когда появились архитектуры актер-критик, где есть нейросеть, которая предсказывает награду, а не просто использует для своего обучения готовую интегральную награду из нескольких будущих шагов, как было в Q-learning или ранних policy gradient. Хотя и для старых policy gradient вроде есть аналог такого Advantage, определяемый через высчитываемые значения Q и V. То есть используя будущую награду с учетом текущего action или без него, только на основе текущего state.
Ну, не совсем так… Не нашел оригинал работы (не статьи, а научной работы), но пока выглядит как обычный меш с метками сегментации, плюс граф сегментированных объектов. А этого совсем недостаточно для навигации, как это делают животные. Проблема в том, что сверточные сети не годятся для моделирования 3д окружения, они только для 2д признаков. А дальше в живом мозге все больше похоже на контейнерные вычисления. Есть множество подсетей, и дообучается под конкретную задачу победитель из них, а не вся сеть целиком. Заодно это устраняет проблему катастрофического забывания. Но такая архитектура очень плохо ложится на табличное представление, которое используется в современных нейросетках, где все нейроны в слое связаны со всеми.
Поэтому и нет ничего похожего на навигацию животных, которое у них делается через ассоциации между объектами на разных уровней иерархии. Все что связано с 3д, в современных нейросетях делается через mapping одного пространства с одной размерностью в другое с другой размерностью. Т.е. карта фич после CNN регрессией переводится в 3д координаты объектов, например. В принципе, так решать задачи можно, и это даже похоже на то, как отдельные подсети в живом мозге передают друг другу сжатые представления, эмбеддинги какие-нибудь (об этом даже есть упоминание в статье).
Но утверждать, что семантический граф, наложенный на 3д сетку, полученную классическими методами фотограмметрии (в фреймворке Kimera), даст навигацию как это делают животные, это конечно смело… На данный момент эта задача даже близко не решена, и это большая проблема, так как препятствует таким нужным вещам как нормальное передвижение роботов в пространстве (на уровне животных), робомобилям, домашним хозяйственным роботам, роборукам для подбирания предметов и т.д.
Надо добавить, что описанный в статье подход World Models был один из первых примеров обучения в воображении. Если кто не понял из описания, там картинка переводится автоэнкодером в сжатое состояние из нескольких цифр, отдельная RNN делает прогноз на несколько ходов из этих сжатых представлений (а не из целых картинок, как делалось раньше). И отдельный контроллер, обученный вообще без всяких нейросетей эволюционным алгоритмом, выдает оптимальные действия. Все это позволяет делать прогоны чисто в сжатых векторах, и тем самым учиться как бы в воображении, на базе модели мира world model, что ускоряет расчеты.
Недостатками этой первой версии были: сжатое представлении картинки делается автоэнкодером на статичных картинках, поэтому не выделяет важные для задачи нюансы в картинке. Контроллер С обучен эволюционным алгоритмом, поэтому он очень простой и маленький. И поэтому сложные действия в принципе не может делать.
Но этот подход, обучение на воображаемых world models, за прошедшее время с публикации этой первой работы, получил дальнейшее развитие. Можно порекомендовать почитать про PlaNet, где устранены большинство этих недостатков. Но лучше сразу переходить к последнему Dreamer https://ai.googleblog.com/2020/03/introducing-dreamer-scalable.html. Если коротко, в нем тоже обучение делается по сжатым последовательностям (т.е. "в воображении"), но сами сжатые представления картинок генерируются улучшенным способом, чтобы в них отражать важные для решения задачи нюансы.
А главное, вместо простенького крохотного эволюционного контроллера, здесь оптимальные действия выдает полноценая нейросеть. Поэтому она может делать очень сложные вещи. И, что ещё важнее, в отличие от предыдущего PlaNet и от обычных Model-Based методов, в Deamer она обучается с помощью backpropagation награды прямо по сжатой последовательности.
Все это позволяет иметь очень длинные горизонты планирования (до тысяч шагов), обучается очень быстро, в 20 раз быстрее, чем Actor-Critic архитектуры вроде A3C (благодаря работе со сжатыми векторами), ну и результат в целом очень хорош. Особенно для симуляции движений.
Так что если кто-то интересуется model-based обучением с подкреплением, то это довольно важная веха. Там много хороших вещей в концептуальном плане (в смысле, многое похоже на то как это происходит в живом мозге), поэтому имеет смысл ознакомиться. Исходники Dreamer тоже есть: https://github.com/danijar/dreamer
Насколько я понимаю, на эти вопросы пока не смогли ответить и лучшие математические умы. Тут либо доверенное голосование, и тогда можно голосовать на госуслугах без всякой защиты. Либо никому нельзя доверять, и тогда это что-то из теории игр.
Вот еще интересная схема для двух противников: пусть подсчетом голосов всегда занимается проигравшая сторона на прошлых выборах. Они могут спокойно фальсифицировать выборы и тем самым выигрывать.
Лучше ли такая система текущей? Я считаю, что да. В худшем случае, когда обе стороны всегда мошенничают, мы имеет гарантированную смену власти. А собственно, все эти пляски с голосованием и демократией как раз и призваны устранять пожизненных диктаторов. Так как история показала, что от долгих сроков не бывает ничего хорошего.
В лучшем случае, когда одна сторона решила играть честно, то даже оставив честную победу противникам, в следующем раунде они остаются проигравшими и могут без проблем победить путем фальсификации. Этим будет устраняться тот случай, когда победители нашли очередной баг в мышлении людей, и сделали так, что их каждый раз честно выбирают большинством людей (пропаганда, культ личности и т.д.).
Самое интересное — прервется ли когда-нибудь этот порочный круг фальсификаций? Я думаю, что да. Честных людей все же много. Кто-то изнутри победившей партии может сдать правосудию своих мошенников (и тогда будут устранены конкретные преступники, занимавшиеся фальсификацией). Кроме того, на следующем раунде гарантированно победят их соперники, поэтому от текущей фальшпобеды толку не очень много. В долгосрочной перспективе выгоднее добиться того, чтобы обе стороны играли честно и побеждать каждый раз настоящим большинством. При этом если вторая сторона будет реально сильно недовольна действиями правящей партии, то легко прервет эту серию (см. выше про культ личности).
Плюс сама сменяемость власти в долгосрочной перспективе должна привести к улучшению уровня жизни людей, и честных политиков будет становиться все больше.
Сразу скажу, что не смотря на элегантность теории, в реальности это не будет работать. При многопартийной системе если давать право подсчета голосов второй по силе партии, то они скооперируются с первой и будут сменять друг друга по очереди. А если последней по популярности, то будут создаваться мелкие фейковые партии чисто для победы. Если же искусственно ограничить систему двумя партиями, то они опять скооперируются и это будет одна правящая партия с ручной "системной" оппозицией, а реальная оппозиция просто не будет допущена к голосованию. Как легко заметить, так или иначе все эти комбинации мы уже наблюдали на выборах в нашей стране, поэтому это не гипотетические угрозы, а свершившийся доказанный факт. Так что, увы… Возвращаемся к тому, что эту задачу не смогли решить даже лучшие умы человечества по всем мире.
Да, верно, я имел ввиду кислородную маску. Это уже несущественные детали, так как есть химические источники кислорода, поэтому по массе и удобству это было бы ненамного хуже обычного респиратора. Водолазные баллоны таскать не нужно (хотя и они есть лёгкие стеклопластиковые). Ну а между соседними зданиями можно пробежать, затаив дыхание )
Строительство проще. Так что основная проблема давление, а не состав атмосферы. Жидкая вода появилась бы, опять же.
Лучшего способа терраформирования Марса пока вроде не придумали… Сравнимо разве что буксировать кометы и бомбардировать ими планету. Но для этого нужны ядерные/термоядерные движки. Двигатели Эпштейна )
Имхо, в качестве новости все достаточно хорошо описано. Число параметров о многом говорит для тех, кто следит за этой эпопеей. Ваше замечание тоже справедливо, например о попытках обучения моделей с миллиардом параметров на китайских мощностях заявлялось еще несколько лет назад (но без продолжения, видимо ничего толком не вышло).
Работа с few-shot это не основное достижение GPT-3. Это скорее предмет обсуждения, что-то неожиданное, что появилось в этой большой модели. Не факт, что со временем значение этого достижения не будет пересмотрено в меньшую сторону. Это как с GPT/GPT-2 — на момент появления казалось большим прорывом, но сейчас качество генерации ими текста уже не воспринимается таким уж "интеллектуальным".
Но сам по себе качественный рост у 175 B модели при работе с Few-Shot примерами очень любопытен. Я еще на первых GPT заметил, что они иногда выдавали редко используемые факты. Какие-то имена, события, редко используемые словесные обороты. Как будто модель запомнила их, что для нейросетей, в общем-то нехарактерно. Маленькие сети работают скорее как статистические модели, лишь изредка проявляя что-то большее.
Это как если бы вы запомнили что-то из прочитанной книги, а потом применили это полученное знание в разговоре к месту. Тут ключевой момент, что это единичный выделенный факт/знание, и что он применен к месту. Признак сильного интеллекта.
GPT-3 развила эту способность. И теперь способна выделяет эти факты из нескольких показанных ей примеров. Это очень воодушевляет. Судя по всему, эта нейросетевая архитектура постепенно движется в сторону сильного интеллекта. Но, повторюсь, это лишь предмет обсуждения, догадки, надежды. Главное достижение GPT-3 все же обучение (качественное) 175 млрд модели. У которой именно благодаря размеру, что доказывается графиками в статье, проявились новые любопытные свойства.
Так что с заголовком новости все ок, не придирайтесь )
А он что, единственный и безальтернативный на все времена что ли? Разогнать его ссаными тряпками и делов-то… Как по-вашему, появлялись ракетостроительные заводы на заре космонавтики? Все что для этого нужно это территория, строения и достаточное количество инженеров. Выпускники технических ВУЗов тоже годятся. Не боги горшки обжигают. Все это можно сделать с нуля за несколько лет, учитывая накопленный опыт и современные нормальные условия труда.
Но если на все важнейшие и ответственные посты в стране назначать одноклассников и бывших телохранителей, то ничего конечно не получится.
А как же вывести перед Марсом магнит 1-2 Тл, который будет защищать его от солнечного ветра? Согласно моделированию через несколько лет на Марсе атмосфера будет половина земной, т.е. можно будет ходить в респираторе и обычной одежде. https://habr.com/ru/post/424105/
Поздно вернулся, ниже уже все доказали ). Космос нам нужен. Это направление, по которому нужно двигаться. С точки зрения разумности, адекватности, прогресса. Так же как развивать медицину, образование, производство. Лучше когда космос есть, чем когда его нет.
А вот давать деньги импотентному Роскосмосу — не нужно. В нашей стране есть техническая возможность (производство, опыт, теория) для освоения космоса. Не надрывая пупок и не жертвуя жизнями, а просто нормально работая над этой темой. Все что сейчас мешает — это текущие политики и выстроенная ими корруппированная схема госкорпораций.
Так что говорить что космос нам не нужен это в корне неправильно, я считаю. Он нам нужен. Но я понимаю, что такие мысли приходят от отчаяния, поэтому минусы не заслужены, имхо. Мол, раз вливать деньги в текущую версию Роскосмоса бесполезно, то лучше бы их потратить на социальные нужды. Ну так, во-первых, не нужно отчаиваться. А во-вторых, раз понятна причина такой ситуации, то нужно в первую очередь устранить эту проблему. А потом спокойно себе осваивать космос.
Пожалуй, соглашусь. Не нужно мириться с компромиссами, даже если они решают часть проблем. Голосование должно быть по настоящему анонимным, без полумер. Надо разрабатывать идеальную систему, а не бороться путем ввода костылей. Это была идея дать возможность контролировать выборы заинтересованным сторонам (противникам). Сейчас она уже не кажется такой уж хорошей.
В варианте с двумя серверами, описанном в статье, каждая сторона все ещё зависит от действий другой. Поэтому у них обоих остаются возможности жульничать.
Нет, не разрушит. Если вы проголосовали против, то эта партия действительно будет знать, что вы проголосовали против.
Но зачем вообще нужна тайна голосования? Чтобы начальник не мог оказать давление. Но если на вас оказывается давление, то в этой схеме голосуйте "за", как требует начальник. А за другую партию как хотите. Если ваш случай уложился в погрешность, все останется как есть. Начальник доволен, ваша совесть чиста. Если таких случаев в стране много, но вас не вызвали при расследовании, опять все остаётся как есть. А если вызвали, то у вас есть шанс наказать начальника. Или соврать, что это та другая партия фальсифицирует. В общем, выкрутитесь. Ваша тайна за кого вы реально голосовали осталась с вами (но вы стали соучастником преступления по фальсификации выборов, если не сдали начальника).
Но главное — выборы сорваны, фальсификация (как хотел ваш начальник) не прошла. А это и есть цель выборов. Сфальсифицированные выборы это не выборы.
Ничто не мешает ЕСИА автоматически рассылать от имени неактивных пользователей что нужно и куда нужно. Как обеспечить реальную независимость того же ЕСИА?
Добавлено: если ЕСИА используется только как источник общих данных, его владельцы все равно могут насоздавать мертвые души, которые потом будут голосовать за кого нужно.
По расходящимся голосам спрашивать у самих людей, за кого они проголосовали. Через вызов суд под присягой, например. В рамках последующего расследования, если голосование оказалось сорвано. Фальсификация незаконна, ее в любом случае нужно расследовать и наказать виновных. Тут конечно возникает вопрос неподкупности нашей милиции и судей, фальсификация может перетечь в подделку протоколов и заседаний. Но заседания могут контролировать наблюдатели от противоборствующей партии. По крайней мере, такая схема даёт возможность выявить фальсификацию и как следует наказать сфальсифицировшую партию.
Заметьте, что это позволяет устранить давление. Спокойно голосуйте как от вас требует начальник (его партия знает, что вы проголосовали за нее, так как они сами считают голоса), а за другую партию голосуйте как хотите. Если это расхождение превысит пределы погрешности, способной повлиять на результат, то потом в суде сообщите, что так проголосовали под давлением. Та-дам! Все официально зафиксировано, машина закрутилась и заодно начальник будет наказан. Сплошные плюсы.
В системе хранится только идентификатор человека, чтобы его потом можно было вызвать, если его голос у разных партий записан за разных кандидатов. Каждая партия знает голос человека, который он отправил ей. Но не знает, какой голос он отправил другим партиям. Так сохраняется настоящая тайна голосования.
Гм… Тут ещё возможна автоматическая рассылка от имени тех кто вообще не голосовал. Вирусами, скриптами со стороны госуслуг и т.д. Как это обойти пока не знаю, наверно надо копать в сторону возможности проверки самими партиями. Чтобы они имели право выборочно обзванивать с вопросом "вы голосовали?" Да или нет, без указания за кого. Так устранятся вбросы. Тем более что каждая партия знает кто проголосовал против нее (они ведь сами подсчитывают голоса), а значит сможет выявлять такие вбросы достаточно эффективно, так как своих проверять не надо.
А вот ещё интересная схема: проводить два полностью независимых голосования (любым способом), организованные враждующими политическими партиями. И считать выборы состоявшимися, только если результаты обоих совпадают с точностью до незначительной погрешности (скажем, расхождение десятикратно меньше разницы голосов у победившего кандидата).
Круто ведь, да?
В таком случае остаётся только сговор противников, что маловероятно. Или организация внешней стороной флешмоба для срыва голосования, когда для разных партий люди специально будут голосовать по разному, чтобы увеличить расхождение. Но сам факт такого флешмоба, что столько людей пытаются сорвать голосование, делает эти выборы не легитимными.
Проблему тут вижу только одну — если одна из сторон будет сознательно срывать выборы, фальсифицируя неверный результат со своей стороны. Как с этим бороться, надо подумать. Может через три попытки считать выборы несостоявшимися, а обе партии расформировывать с запретом этим кандидатам на повторные участия. Или проводить расследование, какая стороны фальсифицирует (вот тут поможет технологическая сторона, блокчейны, вот это все).
Для удобства выборы делаются из единого приложения/интерфейса, разумеется. Просто данные отправляются на сервера каждой партии, а они там у себя пусть считают как хотят.
Так может явное голосование и изменит эту ситуацию. Прятать свое мнение под угрозой репрессий это ненормально. Потеря достоинства и самоуважения в итоге и приводит к тому, что директор позволяет себе что-то там требовать за рамками служебных обязанностей.
Не-не, там в самой лекции на 28:08 было сказано, что кора неокортекса практически линейно проецируется на таламус. Мол, таламус поэтому называют седьмым слоем коры. Сначала у рептилий появился таламус и он выполнял все функции по мышлению (совместно с базальными ганглиями), а потом у млекопитающих неокортекс развился как расширение памяти для таламуса. Увеличенный детектор паттернов. Но вместе с механизмом концентрации, управляемым из ганглий (которые обучены с подкреплением) и рекуррентными связями, это получился не просто детектор, в нем происходит и длительное логическое мышление. Количество переросло в качество. Но до этого все аналогичные (упрощенные) процессы у рептилий происходили в таламусе. Поэтому таламус и некортекс так синхронно работают в паре на частоте 40 Гц (см. 28:27 ). Таламус у млекопитающих все передает в кору, чтобы просто получить от нее улучшенный детекторный ответ.
Опираясь на лекцию, большой прорыв в интеллекте, по сравнению с рыбами, возник сначала у динозавров, когда появилась связка базальные ганглии + таламус (ну и мозжечок для ускорения реакции). Неокоротекс у млекопитающих — это просто количественная плата расширения для таламуса.
А насколько важна для интеллекта именно такая рептилья комбинация ганглии + таламус, со всеми этими торможениями и активациями… Ну, это спорный вопрос. Я лично не вижу причин, почему бы дофаминовым нейронам не прорасти в кору и не делать то же самое напрямую. Принцип-то одинаковый. Скорее всего либо не хватило времени эволюции для этого, либо и так хватает разрешения базальных ганглий. Которые сами тоже надстройка над мозгом рыбы, поэтому то что они выделены в отдельный раздел может быть чисто по биологическим причинам, а не из-за их функциональности (см. пример птиц, которые прекрасно обходятся без неокортекса, просто развив мозг динозавров). А судя по тому, сколько у людей возникает болезней и проблем из-за нарушения дофаминовой системы (дофаминовых нейронов мало и глюки с ними вызывают большие проблемы), скорее всего первое… Не хватило времени на эволюцию.
Ну, вообще-то не совсем. В лекции эта тема просто мало раскрыта. При превышении реальной награды над ожидаемой это только при начальном обучении. А после сформированного рефлекса основной всплеск дофамина делается только при ожидании награды (см. раздел "Эксперимент Шульца на обезьяне" в википедии ). А еще система наказания, т.е. отрицательного подкрепления, в мозге тоже существует. Как минимум, при неудаче впрыскивается гормон стресса кортизол, а при опасности еще и адреналин, а при готовом решении действовать (вариант "бей" вместо "беги") дополнительно норадреналин. Там сложная система. Есть какие-то сведения, что дофамин участвует и при отрицательном опыте, просто по другим путям: статья из Наука и Жизнь. Обсуждаемая видеолекция все же сильно упрощенная версия, особо больших выводов о работе мозга по ней делать не стоит...
Посмотрел видео, познавательно. Но такая структура мозга, со всеми этими торможениями коры и передачей из одного отдела в другой, все же не является необходимым механизмом для сильного интеллекта, имхо. Это же просто новообразования над более старыми отделами мозга. Эти взаимодействия коры с базальными ганглиями и таламусом — всего лишь вынужденная мера, чтобы учитывать работу с древним ящером. Так как все это развивалось постепенно.
В лекции правильно говорится, что птицы являются потомками динозавров и поэтому вообще не имеют неокортекса. Тем не менее, показывают сравнимый интеллект с млекопитающими. Вороны запоминают на несколько лет лицо человека, принесшего мертвую ворону, попугаи умеют считать с учетом нуля, птицы используют инструменты для выковыривания червячков и т.д. То есть, и с памятью, и с длительной концентрацией внимания у них тоже все ок. Как верно отмечено в лекции, у птиц для этого разбухли базальные ганглии, а у врановых и попугаев дополнительно в полосатом теле стало в два раза больше нейронов, чем у более глупых птиц.
Это доказывает, что и динозавры могли стать разумными, если бы у них со временем увеличился мозг по пути птиц. Неокортекс и именно такая организация с пинг-понгом сигналов с корой для развитого интеллекта вовсе не обязательны.
А в остальном, имеющаяся структура мозга конечно же обоснована и биологически, и эволюционно. Прекрасная лекция. Интересно наблюдать, как появлявшиеся новые отделы мозга давали новые возможности. Сначала динозаврам по концентрации внимания по сравнению с рыбами, а потом и неокортекс у млекопитающих, давший почти неограниченную память и невероятное разнообразие поведения. Но все же описанная в лекции структура взаимодействия коры с предыдущими отделами напоминают костыль по биологическим причинам (из-за необходимости работать с древними отделами). А не причину интеллекта. Параллельное развитие мозжечка для ускорения реакции тоже подтверждает это. Можно было бы сделать по-другому. Современные птицы это доказывают.
Хотя это конечно не мешает реализовывать искусственно и такую схему, особенно при разном обучении разных отделов. Скажем, неокортекс пусть будет чистой сверточной сетью, выделяющей признаки. Базальные ганглии и таламус — RL алгоритмом. Мозжечок вообще не нужен, или может быть заменен какими-нибудь PID контроллерами. Собственно, все как описано на первом слайде в этом видео.
Да, постоянно. Это использование Advantage (обозначается буквой А), как разница между ожидаемой наградой и реальной. Обе интегральные, естественно. Для разных алгоритмов это реализуется по-разному, потому что не в каждом RL алгоритме бывает отдельная нейросеть, которая выдает ожидаемую награду (это, в основном, есть только в актер-критик архитектурах).
Но смысл именно такой, как и в биологическом мозге. Чем выше реальная награда оказалась над ожидаемой, тем больший вклад этот случай вносит в обучение.
Но тут чисто математическая причина. Не забываем, что обучение нейросети — это просто изменение текущего веса на некое число, обозначающее куда его надо изменить (а именно — в направлении градиента, в котором награда увеличивается), умноженное на скорость обучения lr, например на 0.001. Поэтому когда число, обозначающее куда нужно менять веса, центрировано относительно нуля, а при использовании разницы между ожидаемой и реальной наградой это именно так и происходит, это чисто математически оказывается эффективнее. Чтобы веса не уходили в большие значения.
Для постепенного изменения весов абсолютная награда с точки зрения распространения градиента не так важна, как ее изменение. Вот и приходится в качестве этого числа, на которое будет умножен (т.е. изменен) вес, либо использовать разницу между реальной наградой и средней, накопленной за некий период (это было первое усовершенствование policy gradient, использовавшего награду напрямую). Здесь средняя награда используется в качестве замены для ожидаемой. Либо, что оказалось еще лучше, использовать разницу между ожидаемой наградой и реальной. Но это уже когда появились архитектуры актер-критик, где есть нейросеть, которая предсказывает награду, а не просто использует для своего обучения готовую интегральную награду из нескольких будущих шагов, как было в Q-learning или ранних policy gradient. Хотя и для старых policy gradient вроде есть аналог такого Advantage, определяемый через высчитываемые значения Q и V. То есть используя будущую награду с учетом текущего action или без него, только на основе текущего state.
Ну, не совсем так… Не нашел оригинал работы (не статьи, а научной работы), но пока выглядит как обычный меш с метками сегментации, плюс граф сегментированных объектов. А этого совсем недостаточно для навигации, как это делают животные. Проблема в том, что сверточные сети не годятся для моделирования 3д окружения, они только для 2д признаков. А дальше в живом мозге все больше похоже на контейнерные вычисления. Есть множество подсетей, и дообучается под конкретную задачу победитель из них, а не вся сеть целиком. Заодно это устраняет проблему катастрофического забывания. Но такая архитектура очень плохо ложится на табличное представление, которое используется в современных нейросетках, где все нейроны в слое связаны со всеми.
Поэтому и нет ничего похожего на навигацию животных, которое у них делается через ассоциации между объектами на разных уровней иерархии. Все что связано с 3д, в современных нейросетях делается через mapping одного пространства с одной размерностью в другое с другой размерностью. Т.е. карта фич после CNN регрессией переводится в 3д координаты объектов, например. В принципе, так решать задачи можно, и это даже похоже на то, как отдельные подсети в живом мозге передают друг другу сжатые представления, эмбеддинги какие-нибудь (об этом даже есть упоминание в статье).
Но утверждать, что семантический граф, наложенный на 3д сетку, полученную классическими методами фотограмметрии (в фреймворке Kimera), даст навигацию как это делают животные, это конечно смело… На данный момент эта задача даже близко не решена, и это большая проблема, так как препятствует таким нужным вещам как нормальное передвижение роботов в пространстве (на уровне животных), робомобилям, домашним хозяйственным роботам, роборукам для подбирания предметов и т.д.
Надо добавить, что описанный в статье подход World Models был один из первых примеров обучения в воображении. Если кто не понял из описания, там картинка переводится автоэнкодером в сжатое состояние из нескольких цифр, отдельная RNN делает прогноз на несколько ходов из этих сжатых представлений (а не из целых картинок, как делалось раньше). И отдельный контроллер, обученный вообще без всяких нейросетей эволюционным алгоритмом, выдает оптимальные действия. Все это позволяет делать прогоны чисто в сжатых векторах, и тем самым учиться как бы в воображении, на базе модели мира world model, что ускоряет расчеты.
Недостатками этой первой версии были: сжатое представлении картинки делается автоэнкодером на статичных картинках, поэтому не выделяет важные для задачи нюансы в картинке. Контроллер С обучен эволюционным алгоритмом, поэтому он очень простой и маленький. И поэтому сложные действия в принципе не может делать.
Но этот подход, обучение на воображаемых world models, за прошедшее время с публикации этой первой работы, получил дальнейшее развитие. Можно порекомендовать почитать про PlaNet, где устранены большинство этих недостатков. Но лучше сразу переходить к последнему Dreamer https://ai.googleblog.com/2020/03/introducing-dreamer-scalable.html. Если коротко, в нем тоже обучение делается по сжатым последовательностям (т.е. "в воображении"), но сами сжатые представления картинок генерируются улучшенным способом, чтобы в них отражать важные для решения задачи нюансы.
А главное, вместо простенького крохотного эволюционного контроллера, здесь оптимальные действия выдает полноценая нейросеть. Поэтому она может делать очень сложные вещи. И, что ещё важнее, в отличие от предыдущего PlaNet и от обычных Model-Based методов, в Deamer она обучается с помощью backpropagation награды прямо по сжатой последовательности.
Все это позволяет иметь очень длинные горизонты планирования (до тысяч шагов), обучается очень быстро, в 20 раз быстрее, чем Actor-Critic архитектуры вроде A3C (благодаря работе со сжатыми векторами), ну и результат в целом очень хорош. Особенно для симуляции движений.
Так что если кто-то интересуется model-based обучением с подкреплением, то это довольно важная веха. Там много хороших вещей в концептуальном плане (в смысле, многое похоже на то как это происходит в живом мозге), поэтому имеет смысл ознакомиться. Исходники Dreamer тоже есть: https://github.com/danijar/dreamer
Насколько я понимаю, на эти вопросы пока не смогли ответить и лучшие математические умы. Тут либо доверенное голосование, и тогда можно голосовать на госуслугах без всякой защиты. Либо никому нельзя доверять, и тогда это что-то из теории игр.
Вот еще интересная схема для двух противников: пусть подсчетом голосов всегда занимается проигравшая сторона на прошлых выборах. Они могут спокойно фальсифицировать выборы и тем самым выигрывать.
Лучше ли такая система текущей? Я считаю, что да. В худшем случае, когда обе стороны всегда мошенничают, мы имеет гарантированную смену власти. А собственно, все эти пляски с голосованием и демократией как раз и призваны устранять пожизненных диктаторов. Так как история показала, что от долгих сроков не бывает ничего хорошего.
В лучшем случае, когда одна сторона решила играть честно, то даже оставив честную победу противникам, в следующем раунде они остаются проигравшими и могут без проблем победить путем фальсификации. Этим будет устраняться тот случай, когда победители нашли очередной баг в мышлении людей, и сделали так, что их каждый раз честно выбирают большинством людей (пропаганда, культ личности и т.д.).
Самое интересное — прервется ли когда-нибудь этот порочный круг фальсификаций? Я думаю, что да. Честных людей все же много. Кто-то изнутри победившей партии может сдать правосудию своих мошенников (и тогда будут устранены конкретные преступники, занимавшиеся фальсификацией). Кроме того, на следующем раунде гарантированно победят их соперники, поэтому от текущей фальшпобеды толку не очень много. В долгосрочной перспективе выгоднее добиться того, чтобы обе стороны играли честно и побеждать каждый раз настоящим большинством. При этом если вторая сторона будет реально сильно недовольна действиями правящей партии, то легко прервет эту серию (см. выше про культ личности).
Плюс сама сменяемость власти в долгосрочной перспективе должна привести к улучшению уровня жизни людей, и честных политиков будет становиться все больше.
Сразу скажу, что не смотря на элегантность теории, в реальности это не будет работать. При многопартийной системе если давать право подсчета голосов второй по силе партии, то они скооперируются с первой и будут сменять друг друга по очереди. А если последней по популярности, то будут создаваться мелкие фейковые партии чисто для победы. Если же искусственно ограничить систему двумя партиями, то они опять скооперируются и это будет одна правящая партия с ручной "системной" оппозицией, а реальная оппозиция просто не будет допущена к голосованию. Как легко заметить, так или иначе все эти комбинации мы уже наблюдали на выборах в нашей стране, поэтому это не гипотетические угрозы, а свершившийся доказанный факт. Так что, увы… Возвращаемся к тому, что эту задачу не смогли решить даже лучшие умы человечества по всем мире.
Да, верно, я имел ввиду кислородную маску. Это уже несущественные детали, так как есть химические источники кислорода, поэтому по массе и удобству это было бы ненамного хуже обычного респиратора. Водолазные баллоны таскать не нужно (хотя и они есть лёгкие стеклопластиковые). Ну а между соседними зданиями можно пробежать, затаив дыхание )
Строительство проще. Так что основная проблема давление, а не состав атмосферы. Жидкая вода появилась бы, опять же.
Лучшего способа терраформирования Марса пока вроде не придумали… Сравнимо разве что буксировать кометы и бомбардировать ими планету. Но для этого нужны ядерные/термоядерные движки. Двигатели Эпштейна )
Имхо, в качестве новости все достаточно хорошо описано. Число параметров о многом говорит для тех, кто следит за этой эпопеей. Ваше замечание тоже справедливо, например о попытках обучения моделей с миллиардом параметров на китайских мощностях заявлялось еще несколько лет назад (но без продолжения, видимо ничего толком не вышло).
Работа с few-shot это не основное достижение GPT-3. Это скорее предмет обсуждения, что-то неожиданное, что появилось в этой большой модели. Не факт, что со временем значение этого достижения не будет пересмотрено в меньшую сторону. Это как с GPT/GPT-2 — на момент появления казалось большим прорывом, но сейчас качество генерации ими текста уже не воспринимается таким уж "интеллектуальным".
Но сам по себе качественный рост у 175 B модели при работе с Few-Shot примерами очень любопытен. Я еще на первых GPT заметил, что они иногда выдавали редко используемые факты. Какие-то имена, события, редко используемые словесные обороты. Как будто модель запомнила их, что для нейросетей, в общем-то нехарактерно. Маленькие сети работают скорее как статистические модели, лишь изредка проявляя что-то большее.
Это как если бы вы запомнили что-то из прочитанной книги, а потом применили это полученное знание в разговоре к месту. Тут ключевой момент, что это единичный выделенный факт/знание, и что он применен к месту. Признак сильного интеллекта.
GPT-3 развила эту способность. И теперь способна выделяет эти факты из нескольких показанных ей примеров. Это очень воодушевляет. Судя по всему, эта нейросетевая архитектура постепенно движется в сторону сильного интеллекта. Но, повторюсь, это лишь предмет обсуждения, догадки, надежды. Главное достижение GPT-3 все же обучение (качественное) 175 млрд модели. У которой именно благодаря размеру, что доказывается графиками в статье, проявились новые любопытные свойства.
Так что с заголовком новости все ок, не придирайтесь )
А он что, единственный и безальтернативный на все времена что ли? Разогнать его ссаными тряпками и делов-то… Как по-вашему, появлялись ракетостроительные заводы на заре космонавтики? Все что для этого нужно это территория, строения и достаточное количество инженеров. Выпускники технических ВУЗов тоже годятся. Не боги горшки обжигают. Все это можно сделать с нуля за несколько лет, учитывая накопленный опыт и современные нормальные условия труда.
Но если на все важнейшие и ответственные посты в стране назначать одноклассников и бывших телохранителей, то ничего конечно не получится.
Вот, после второй и яблоки зацветут )
А как же вывести перед Марсом магнит 1-2 Тл, который будет защищать его от солнечного ветра? Согласно моделированию через несколько лет на Марсе атмосфера будет половина земной, т.е. можно будет ходить в респираторе и обычной одежде. https://habr.com/ru/post/424105/
Поздно вернулся, ниже уже все доказали ). Космос нам нужен. Это направление, по которому нужно двигаться. С точки зрения разумности, адекватности, прогресса. Так же как развивать медицину, образование, производство. Лучше когда космос есть, чем когда его нет.
А вот давать деньги импотентному Роскосмосу — не нужно. В нашей стране есть техническая возможность (производство, опыт, теория) для освоения космоса. Не надрывая пупок и не жертвуя жизнями, а просто нормально работая над этой темой. Все что сейчас мешает — это текущие политики и выстроенная ими корруппированная схема госкорпораций.
Так что говорить что космос нам не нужен это в корне неправильно, я считаю. Он нам нужен. Но я понимаю, что такие мысли приходят от отчаяния, поэтому минусы не заслужены, имхо. Мол, раз вливать деньги в текущую версию Роскосмоса бесполезно, то лучше бы их потратить на социальные нужды. Ну так, во-первых, не нужно отчаиваться. А во-вторых, раз понятна причина такой ситуации, то нужно в первую очередь устранить эту проблему. А потом спокойно себе осваивать космос.
Нужен.
Пожалуй, соглашусь. Не нужно мириться с компромиссами, даже если они решают часть проблем. Голосование должно быть по настоящему анонимным, без полумер. Надо разрабатывать идеальную систему, а не бороться путем ввода костылей. Это была идея дать возможность контролировать выборы заинтересованным сторонам (противникам). Сейчас она уже не кажется такой уж хорошей.
В варианте с двумя серверами, описанном в статье, каждая сторона все ещё зависит от действий другой. Поэтому у них обоих остаются возможности жульничать.
Может просто насоздавать фейковые аккаунты.
Нет, не разрушит. Если вы проголосовали против, то эта партия действительно будет знать, что вы проголосовали против.
Но зачем вообще нужна тайна голосования? Чтобы начальник не мог оказать давление. Но если на вас оказывается давление, то в этой схеме голосуйте "за", как требует начальник. А за другую партию как хотите. Если ваш случай уложился в погрешность, все останется как есть. Начальник доволен, ваша совесть чиста. Если таких случаев в стране много, но вас не вызвали при расследовании, опять все остаётся как есть. А если вызвали, то у вас есть шанс наказать начальника. Или соврать, что это та другая партия фальсифицирует. В общем, выкрутитесь. Ваша тайна за кого вы реально голосовали осталась с вами (но вы стали соучастником преступления по фальсификации выборов, если не сдали начальника).
Но главное — выборы сорваны, фальсификация (как хотел ваш начальник) не прошла. А это и есть цель выборов. Сфальсифицированные выборы это не выборы.
Ничто не мешает ЕСИА автоматически рассылать от имени неактивных пользователей что нужно и куда нужно. Как обеспечить реальную независимость того же ЕСИА?
Добавлено: если ЕСИА используется только как источник общих данных, его владельцы все равно могут насоздавать мертвые души, которые потом будут голосовать за кого нужно.
По расходящимся голосам спрашивать у самих людей, за кого они проголосовали. Через вызов суд под присягой, например. В рамках последующего расследования, если голосование оказалось сорвано. Фальсификация незаконна, ее в любом случае нужно расследовать и наказать виновных. Тут конечно возникает вопрос неподкупности нашей милиции и судей, фальсификация может перетечь в подделку протоколов и заседаний. Но заседания могут контролировать наблюдатели от противоборствующей партии. По крайней мере, такая схема даёт возможность выявить фальсификацию и как следует наказать сфальсифицировшую партию.
Заметьте, что это позволяет устранить давление. Спокойно голосуйте как от вас требует начальник (его партия знает, что вы проголосовали за нее, так как они сами считают голоса), а за другую партию голосуйте как хотите. Если это расхождение превысит пределы погрешности, способной повлиять на результат, то потом в суде сообщите, что так проголосовали под давлением. Та-дам! Все официально зафиксировано, машина закрутилась и заодно начальник будет наказан. Сплошные плюсы.
В системе хранится только идентификатор человека, чтобы его потом можно было вызвать, если его голос у разных партий записан за разных кандидатов. Каждая партия знает голос человека, который он отправил ей. Но не знает, какой голос он отправил другим партиям. Так сохраняется настоящая тайна голосования.
Гм… Тут ещё возможна автоматическая рассылка от имени тех кто вообще не голосовал. Вирусами, скриптами со стороны госуслуг и т.д. Как это обойти пока не знаю, наверно надо копать в сторону возможности проверки самими партиями. Чтобы они имели право выборочно обзванивать с вопросом "вы голосовали?" Да или нет, без указания за кого. Так устранятся вбросы. Тем более что каждая партия знает кто проголосовал против нее (они ведь сами подсчитывают голоса), а значит сможет выявлять такие вбросы достаточно эффективно, так как своих проверять не надо.
А вот ещё интересная схема: проводить два полностью независимых голосования (любым способом), организованные враждующими политическими партиями. И считать выборы состоявшимися, только если результаты обоих совпадают с точностью до незначительной погрешности (скажем, расхождение десятикратно меньше разницы голосов у победившего кандидата).
Круто ведь, да?
В таком случае остаётся только сговор противников, что маловероятно. Или организация внешней стороной флешмоба для срыва голосования, когда для разных партий люди специально будут голосовать по разному, чтобы увеличить расхождение. Но сам факт такого флешмоба, что столько людей пытаются сорвать голосование, делает эти выборы не легитимными.
Проблему тут вижу только одну — если одна из сторон будет сознательно срывать выборы, фальсифицируя неверный результат со своей стороны. Как с этим бороться, надо подумать. Может через три попытки считать выборы несостоявшимися, а обе партии расформировывать с запретом этим кандидатам на повторные участия. Или проводить расследование, какая стороны фальсифицирует (вот тут поможет технологическая сторона, блокчейны, вот это все).
Для удобства выборы делаются из единого приложения/интерфейса, разумеется. Просто данные отправляются на сервера каждой партии, а они там у себя пусть считают как хотят.
Так может явное голосование и изменит эту ситуацию. Прятать свое мнение под угрозой репрессий это ненормально. Потеря достоинства и самоуважения в итоге и приводит к тому, что директор позволяет себе что-то там требовать за рамками служебных обязанностей.