А как в романе объяснялась эта нестыковка — сверхвысокоразвитая цивилизация, способная захватывать другие планеты, неспособна численно устойчиво решать задачу трёх тел? Пусть и хаос, но — время Ляпунова и т.д., всё что можем вычислить — выглядит довольно просто даже для человечества. По мне это, честно говоря, ощущается как предпосылка сюжетного примитивизма.
Прочитал с большим уважением к автору. Немного себя узнаю. Правда, есть пунктик – конечно это и про генетику, когда в 35 не дают и 25. Не всем это дано. Но кому дано – тому важно не растерять, а укрепить.
Когда-то и я впечатлился ей, купился на маркетинг. А потом посмотрел, что она реально делала. Так вот, Hare писала большой рандомный файл на диск для имитации "работы по оптимизации". Возможно, она могла что-то общеполезное записать и в реестр. Но, по сути, основной целью её был и обман.
Интересный, кстати, момент. Когда читаешь работы Ньютона в оригинале — очень много слов, предложениями записанные вещи вроде «квадрат квадратов», и через 3 века всё сказанное можно уместить в несколько раз плотнее — поскольку был существенно развит выразительный аппарат. Не наблюдаем ли мы похожее с алгебраическим методом сейчас? Огромного объёма книги, которым есть что сказать, но кажется, что всё можно было бы выразить куда более плотно, немногословно, ясно и прямо. И не хватает некоторого выразительного аппарата, который случился с дифференциальным исчислением. Вы как думаете?
Согласен полностью. Я как-то думал использовать его из соображений хранения истории команд, но вся его семантика команд исключительно многословна и по сути заменяет пусть и неидеальную, но немногословную и привычную семантику CMD/BAT на какую-то дичь. Почему нельзя было забазировать технологию на bash семантике, знает только Баллмер, наверное.
Не так редко сталкивался с таким наблюдением. В нашей индустрии встречаются гениальные и очень продуктивные социопаты, биполяры и т.д. Их не следует допускать к контакту с командой, иначе её скоро не останется. Но иногда без них нет и продукта. Если неизбежен личный регулярный контакт — не принимать их бестактность и «бичевость» лично, относиться к этому как к необычному жизненному опыту и содержать себя в ментальной капсуле во времена такого контакта.
Рекуррентные — они конкретно могут дать, а могут и не дать. Но мы же говорим не об изучении синих и зеленых шаров, а об изучении шаров вообще. Касаемо нейросетей и неокортекса — да вот хотя бы на хабре можно почитать о капсульных сетях. Там как раз вводится модель колонки, прямо как в новой коре. Идея явно была заимствована из знаний об устройстве неокортекса. Ну или вот: habr.com/ru/post/438526 «Искусственные нейронные сети выращивают навигационные клетки как в мозге». Далее, на хабре поискать про «бабушкины нейроны», что ещё старые ИНС Эндрю Ына в 2010 году предъявляли внутри себя возникновение таких нейронов. И т.д. и т.п. Что могут дать Хокинсу ИНС для изучения неокортекса? Очень многое, к.м.к., если вообще не всё — двигаясь от синтеза простейших ИНС к синтезу таких ИНС, что воспроизводят структуры неокортекса, мы тем самым сможем познать в частности и неокортекс, разве нет? Мне кажется, это куда более конструктивный путь, чем пытаться сводить работу неокортекса к тривиальным детерминистическим алгоритмам и подобно каноничному ферматисту, трубящему о большей силе простого числа 13 над простым числом 7 и их эманациями, дающими множество всех чисел во Вселенной, заявлять о «вот-вот» открытом генеральном алгоритме, выведенном через свойства биномиальных коэффициентов. Казалось бы, куда более продуктивным был бы, ну, хотяяяя быыыы, поиск метода или алгоритма, дающего синтез структуры капсульной сети — ведь её-то Хинтону пришлось-таки придумать, она не сама возникла. Вот пусть Хокинс возьмёт и поймёт, каким образом такие капсулы должны появиться в синтезируемой ИНС в процессе её эволюции. Это безумно интересно было бы проделать, разве нет? Но нет же, Хокинс почему-то продолжит тратить свои кровные на какую-то, откровенно скажем, чепуху. Ощущение такое, что его банально кто-то дурачит.
И кстати, иерархическая организация с обратными связями между полями — это отчасти и классические рекуррентные сети, LSTM и иже с ними, отчасти resudual networks (пробросы связей между далеко стоящими слоями), резервуарные сети и т.д. Множество результатов по этим направлениям в последние годы. Самоизоляция коллетива Хокинса при их наличии просто поражает.
Ну опять же, обучение с «вниманием» на рекуррентных сетях, в частности, доставляет нам Google Translate такого замечательного качества в течение последней пары лет, с тех пор как они перешли со статистической на нейросетевую архитектуру. При чём тут новейшие исследования Хокинса, я так и не смог понять из его публикаций. Идеи о дропауте, внимании и прочем, что хорошо работает в нейросетях последние лет 5, безусловно заимствованы из нейробиологии, и формируется математическое обоснование, почему это работает в нейросетях, через матаппарат теории информации, но Хокинс к этому не имеет отношения.
> Кристоф Кох, главный исследователь и президент Института им. Пола Аллена. «Мы не понимаем даже мозг червя».
Уже не совсем актуально: www.sciencealert.com/scientists-put-worm-brain-in-lego-robot-openworm-connectome. В 2014 OpenWorm завёлся же, нейроны отмаппили, можно посмотреть там её изнутри вот ребята в лего завели эту модельку, или вот такие штуки делают: www.tuwien.ac.at/en/news/news_detail/article/125597. И вполне есть понимание, почему его нейросистема такова. В результате эволюции и воздействия окружающей среды, казалось бы. Там всего 302 нейрона в этой нервной системе, сформировались сенсоры, тончайше чувствующие изменения температуры и приводящие к движению, это позволяет червю эффективно существовать. В целом, думаю, можно из этой сети 302 нейронов извлекать какие-то «если-то» правила даже, охарактеризовав поведение червя в виде более осязаемого человеком набора инструкций, — алгоритма, если хотите — того самого рода, коего так жаждет Хокинс.
Например, в этой работе сразу видна процедура обучения в разделе «Computing Cell States», являющаяся случаем процедуры обучения в старом добром перцептроне Розенблатта, даже не многослойном, прадедушке современной нейросетевой технологии. Тут можно поверх этого доказывать теоремы вроде этой. Проблема в том, что это же давно уже всё сделано, разве нет.
А вы не могли бы дать ссылки на указанный мат.аппарат? Ну т.е. не тривию про биномиальные коэффициенты вместе с кучей plain-текста, а действительно конструктивный и вычислительно-реализуемый мат.аппарат, сравнение их подхода с результатами, достижимыми на современных нейросетях и т.д. Я как-то тоже это видел, пробовал их библиотеку на Питоне и т.д., и немало подивился, поскольку дальше поделки одного студента средних курсов универа по моим ощущениям это не тянуло. В крайнем случае это походило на какой-то частный, не очень сильный с точки зрения способности к обобщениям, случай несложной нейросетевой архитектуры.
Ну примерно как, давайте вот возьмём SVM (можно замоделировать задачу, решаемую SVM, нейросетью, как например word2vec ембеддинги можно строить простым матричным разложением, но допустим мы вообще игнорируем нейросети), выберем квадратичное ядро, пересоберём это в коде без возможности параметризовать ядро и сам SVM, дадим новое имя, изучим свойства «нового» объекта, сделаем этому кучу видео и туториалов. Вуаля — вот мы уже убедили себя, что у нас оригинальная горячая идея, не похожая ни на что.
При всём уважении к прошлым бизнесам Хокинса, мне лично труды его коллектива по неокортексу напоминают ферматистов. Посмотрите, например, на эту работу: arxiv.org/ftp/arxiv/papers/1503/1503.07469.pdf. Рассматриваются простейшие вопросы на уровне комбинаторики середины 19 века, почти что уровня парадокса дней рождения, классические дискретные распределения, им придаётся исключительно существенное значение. Чем-то может быть схожа с математикой кодов, исправляющих ошибки, где коды даны в двоичных векторах. По той же причине профессионалы от теории чисел с трудом понимают ферматистов — ферматисты не обладают знаниями или/и талантом для решения задачи по-настоящему. Никто не утверждает, что не существует изящного, компактного и яркого док-ва великой теоремы Ферма, и есть примеры, где сложные проблемы удавалось решать изящно и компактно (скажем, теоремы действительного анализа, доказываемые над полем действительных чисел на несколько страниц, в комплексной плоскости доказываются в две строчки), но путь, по которому идут ферматисты — это trivia, которая к такому доказательству точно не приведёт.
И вот опять, последнее его видео. Хокинс пробовал ли, например, собрать сетку с LSTM слоями на TensorFlow и потренировать её на каких-нибудь песнях? Посмотреть там, как она тренируется в зависимости от размера минибатча, градиентный шум, структуру минимумов, как влияет на сходимость случайная инициализация весов vs по Ксавьеру и т.д. Ведь человек, который уже обладает таким навыком, уже никогда не спустится до такого тривиального уровня рассуждения о феномене обучения структурным представлениям (representation learning, в смысле).
Я бы рад сказать, что работы Хокинса — это как труды Рамануджана, — понять их и распознать гения дано было лишь единицам, но сделав это, они открыли бездонный сундук с сокровищами. Но у меня, как у математика, совершенно не складывается такого ощущения.
Человек не увольняется с предыдущей работы же в тестовом периоде, и не требует найма на полную ставку от нас. Обычно человек берёт короткий отпуск на неделю на текущей работе, или что-то подобное.
Прочитал с большим уважением к автору. Немного себя узнаю. Правда, есть пунктик – конечно это и про генетику, когда в 35 не дают и 25. Не всем это дано. Но кому дано – тому важно не растерять, а укрепить.
Сетевым соединением? ️
Когда-то и я впечатлился ей, купился на маркетинг. А потом посмотрел, что она реально делала. Так вот, Hare писала большой рандомный файл на диск для имитации "работы по оптимизации". Возможно, она могла что-то общеполезное записать и в реестр. Но, по сути, основной целью её был и обман.
Согласен полностью. Я как-то думал использовать его из соображений хранения истории команд, но вся его семантика команд исключительно многословна и по сути заменяет пусть и неидеальную, но немногословную и привычную семантику CMD/BAT на какую-то дичь. Почему нельзя было забазировать технологию на bash семантике, знает только Баллмер, наверное.
Нет.
Грех жаловаться конечно, но имхо идея, что в популярном научном тексте обязательно не должно быть ни одной формулы, чрезвычайно ложна.
Ещё нет.
blog.openai.com/learning-concepts-with-energy-functions
www.vicarious.com/research
Современное развитие движется в сторону именно обучения высокоуровневым концепциям, приводящего к высочайшей степени обобщаемости при наличии очень малого числа примеров.
Уже не совсем актуально: www.sciencealert.com/scientists-put-worm-brain-in-lego-robot-openworm-connectome. В 2014 OpenWorm завёлся же, нейроны отмаппили, можно посмотреть там её изнутри вот ребята в лего завели эту модельку, или вот такие штуки делают: www.tuwien.ac.at/en/news/news_detail/article/125597. И вполне есть понимание, почему его нейросистема такова. В результате эволюции и воздействия окружающей среды, казалось бы. Там всего 302 нейрона в этой нервной системе, сформировались сенсоры, тончайше чувствующие изменения температуры и приводящие к движению, это позволяет червю эффективно существовать. В целом, думаю, можно из этой сети 302 нейронов извлекать какие-то «если-то» правила даже, охарактеризовав поведение червя в виде более осязаемого человеком набора инструкций, — алгоритма, если хотите — того самого рода, коего так жаждет Хокинс.
Ну примерно как, давайте вот возьмём SVM (можно замоделировать задачу, решаемую SVM, нейросетью, как например word2vec ембеддинги можно строить простым матричным разложением, но допустим мы вообще игнорируем нейросети), выберем квадратичное ядро, пересоберём это в коде без возможности параметризовать ядро и сам SVM, дадим новое имя, изучим свойства «нового» объекта, сделаем этому кучу видео и туториалов. Вуаля — вот мы уже убедили себя, что у нас оригинальная горячая идея, не похожая ни на что.
И вот опять, последнее его видео. Хокинс пробовал ли, например, собрать сетку с LSTM слоями на TensorFlow и потренировать её на каких-нибудь песнях? Посмотреть там, как она тренируется в зависимости от размера минибатча, градиентный шум, структуру минимумов, как влияет на сходимость случайная инициализация весов vs по Ксавьеру и т.д. Ведь человек, который уже обладает таким навыком, уже никогда не спустится до такого тривиального уровня рассуждения о феномене обучения структурным представлениям (representation learning, в смысле).
Я бы рад сказать, что работы Хокинса — это как труды Рамануджана, — понять их и распознать гения дано было лишь единицам, но сделав это, они открыли бездонный сундук с сокровищами. Но у меня, как у математика, совершенно не складывается такого ощущения.
У вас нет такого же впечатления?