Про вариацию в контекстах: если есть две входных последовательности АБСД и МБСК, то внутрисетевая репрезентация для БС (и, соответственно, набор порождаемых ею ассоциаций) в этих двух случаях будет отличаться. Если я правильно понимаю, что такое «бабушкин нейрон», то репрезентация была бы одинакова Rep(Б|А) = Rep(Б|М) = Rep(Б).
Мне, правда, осталось непонятно, откуда у них возьмется способность к обобщению (типа, смотрю на два попиксельно разных изображения, и мгновенно говорю, что и там и там кошка). Но зато моделька, имхо, идеально подходит для работы со временем. И при небольших доработках, вероятно, сможет делать предсказания на разную дальность в будущее за небольшое кол-во шагов. А ваша смогла бы, теоретически? Скорей всего да, но я не вполне представляю как именно. Может из-за того, что не все ваши статьи были прочитаны. В какой тогда это лучше почитать?
AlexeyR, Вот, кстати, еще одна интересная модель алгоритма коры — идеологически немного похожая на вашу (там тоже кодирование информации происходит в виде последовательности разреженных узоров активаций в миниколонках, но работа с контекстами выведена на уровень единичного нейрона). И там тоже речь о множественых параллельно проверяемых гипотезах.
Если вы следите, как некто выполняет задачу,- говорит Прото,- вы активируете кучу нейронов, необходимых вам для выполнения этой задачи. <...>Мы, по сути, симулируем самостоятельное выполнение задачи, разогревая те же самые нейроны, которые мы будем использовать при её реальном выполнении.
очень, очень интересная мысль. Современные искусственные нейросети работают не так. Если внедрить в них этот принцип, то это, думаю, сильно продвинуло бы успехи в разделе imitation learning и learning by demonstration у роботов.
Это называется generative models. Один из известных подходов — adversarial networks, и про него есть на хабре вот тут.
Общая суть в том, чтобы два вероятностных распределения — реальное и модельное — стали как можно ближе к друг другу. Реальное это то, из которого взяты обучающие картинки. Модельное то, которое выучила сеть-генератор. Если они оказались «близки», то генератор дает «правдоподобные» картинки.
к.т.н. больше про применение матана, а к.ф.-м.н. больше про изобретение нового матана. Второе в РФ, вроде как, ценится выше, потому что в среднем требует более глубоких знаний.
Логика в том, что если есть Х денег, и на них можно пофиксить либо баг, затрагивающий 1000 людей, либо баг, затрагивающий 5 человек, то начать надо с первого (с некоторой поправкой на степень затрагивания). Плохие дороги затрагивают сотни тысяч людей, а проблема «смомби» — только небольшую группу альтернативно одаренных. Поэтому выбирая из этих двух, надо сначала выбрать ямы. В европах они заделаны, а деньги остались — поэтому там уже можно и смомби.
Они там развитые страны — хорошая экономика, коррупции мало, налогов много, все дела. Им уже можно тратить деньги на неважные ништяки. Мы другое дело. Денег мало, проблем еще много. Логично решать сначала насущное. Например, у нас в НН настолько дикий ппц с общественным транспортом, что если кто-то вздумает тратить налоги на светофоры для смомби, это будет раздражать.
спасибо. А я правильно понимаю, что если паспорт специальности относится к техническим наукам, то руководителем может быть любой ктн / дтн? Например, кфмн уже нет?
Только у одного местного вуза есть нужный паспорт специальности, так что вуз выбран. Но я не очень понимаю, как теперь определить список потенциальных НР. Мне представлялось что должна быть какая-то формальная процедура. Типа, заходишь на сайт вуза, там список незанятых НР, их области интересов, и кнопка «отправить заявку». Но что-то не видно такого. В вуз на «погулять по лекциям» тоже не зайдешь — пропускная система. У коллег спрашивать нет смысла, т.к. работа с темой не связана.
Знакомая проблема. Нелюбимая работа отнимает многовато сил, и после нее их не остается. Усилием воли заставить себя ботать какой-то условный матан вечером сложно да и смысла мало — мозг уже тупит. А если все-таки раскачать его, то случается вторая неприятность — не получается во время заснуть, и на следующий день мозг мстит за это.
По опыту, есть два выхода. Первый — накопить себе на более-менее длительный отпуск (2-3 месяца) и на фултайме заботать то что надо. Второй вариант — посвящать условному матану первые часа два на работе. Строго с утра. Мне довелось пробовать оба варианта, и они более-менее работали. Что удивительно — во втором случае эффективность работы (я программист с++) не уменьшилась. Не знаю почему.
Спасибо за описание. А если тема придумана, то как искать научного рукводителя? Просто прийти в отдел аспирантуры местного вуза, отдать им реферат по выбранной теме и они сами его отдадут на рассмотрения потенциальным научрукам?
В го играет не сеть, в го играет симуляция по Монте-Карло. Сеть использовалась для предсказания ходов человека на начальных этапах обучения и вывода весов переходов в MC.
Дерево поиска само по себе бесполезно на задачах с таким пространством перебора. Оно обретает смысл только когда кто-то «более умный» сократит ему перебор. Это наиболее сложная часть, и это было сделано двумя нейроесетями — policy, value. Обе сверточные, как для картинок. Одна вытягивала высокоуровневые фичи из состояния доски, другая предсказывала выигрышность хода, обучаясь с подкреплением на цельных партиях. Мне по прочтении той статьи не увиделось принципиальных отличий от распознавания картинок. И там и там рулят свертки. Мож, конечно, пропускаю что-то.
физика — если я правильно понимаю, основная проблема именно во взаимодействии с окружающим миром.
Можно было бы попросить машину обучаться квантовой физике по книжкам и статьям. Для генерации осмысленных гипотез взаимодействие с миром не требуется.
Только почему-то котиков распознаёт сильно больше людей, чем играет в го.
Ребенок учится распознавать образы в режиме нон-стоп с первой минуты жизни и оттачивает это N лет все время, пока открыты его глаза. Потратить столько же времени на го — и будет такой же результат.
Это ж какое антиподкрепление должно быть, чтобы это убить?
Мой опыт показывает, что не особо сильное даже. Кажется, достаточно, чтоб нашлось что-то более приятное/важное, и что ело бы много времени/сил. Тогда на следование некоторым инстинктам лень тратить время, и они деактивируются со временем.
1) Речь не про квартиру, а про комнату. На аренду отдельной комнаты должно хватать. Можно не в мск, но и не в селе.
2) На инет должно хватать, иначе автоматически отрезается возможность самообразования.
3) Такая пенсия у пенсионеров предполагает, что к почтенному возрасту есть свое жилье.
Чтобы сколь-нибудь продуктивно заниматься самообразованием/расчетами, нужно отдельную комнату и интернет, как минимум. Это уже для среднего милионника не меньше 10 к. Еда, коммуналка, базовые лекарства — еще не меньше 7к. Тогда человек вместо того, чтоб решать задачу выживания (как сейчас большинство в РФ, имхо) начнет решать другие задачи. Если БОД будет меньше тех же ~17, то опять приходим к задаче выживания, просто с чуть облегченной постановкой.
Есть такой забавный парадокс в области искусственного интеллекта, что самые тупые и простые работы для людей — самые тяжело автоматизируемые, а, по крайней мере, некоторые из самых сложных автоматизируются легко.
сеть, которая играет в го, построена на, грубо, том же принципе, что и сеть, распознающая картинки — в основе свертки и бекпроп. Если две задачи решаются примерно одинаковыми нейросетями, то это задачи одного класса сложности. Т.е. играть в го не сильно сложней, чем распознавать котиков. Просто нужна практика. Распознавать котиков для взрослого человека как раз простая задача. Потому и начали с этого. Сложные задачи — это всякая аналитическая математика, физика. Это по-настоящему сложно, и искусственный дворник будет (технически) осилен раньше, чем это. Например, манипулировать своим телом в 3д мире умеет уже робот от бостон динамикс.
Да и закладывается любовь к обучению не в 7 лет.
Да, тяга к обучению по всей видимости врожденный инстинкт. Но плохая система образования потом может этот инстинкт приглушить. При помощи внешних подкреплений/антиподкреплений у человека можно играть со всеми инстинктами — самосохранения(террористы смертники), питания(анорексия), размножения и т.д.
Я думаю, стоит стремиться заниматься наукой в другой стране. Но чтоб стать там кому-то нужным, надо сначала чего-то добиться здесь. Чтобы этого хватило на хорошие публикации. которые можно будет показать.
А насколько эффективно при этом получается с наукой? Если не очень, то как думаете улучшить ситуацию? А если хорошо, то думаете ли податься в более хорошее место, на запад например, чтоб наука на фултайм? Спрашиваю, потому что у меня возникла похожая проблема — надо будет сочетать заработки и науку, и я в раздумьях, как это сделать. У меня, правда, ситуация пришла к этому из другой отправной точки — сначала мыслей о науке не было, просто работала по специальности. Потом была прочитана одна статья, вторая… и всё, влюбилась в сабж. О работе стало думать неинтересно, смена языка, фреймоврка, места работы не помогло, отпуск тоже.
А вот представьте, работаете вы программистом. Стабильная зп, нормальный коллектив, с задачами справляетесь. Делаете что-то не очень интересное, но то, что нужно рынку. А между делом вам стала интересна задача, которая гораздо сложнее, чем вся ваша работа. Доказать, p=np, например. Занимаясь ею как хобби, вы ее не осилите, однозначно. Слишком она сложна для таких несерьезных заигрываний. Да и предварительно надо сильно углубить знания по многим разделам математики — что тоже после работы врядли получится. Что бы вы стали делать?
Мне, правда, осталось непонятно, откуда у них возьмется способность к обобщению (типа, смотрю на два попиксельно разных изображения, и мгновенно говорю, что и там и там кошка). Но зато моделька, имхо, идеально подходит для работы со временем. И при небольших доработках, вероятно, сможет делать предсказания на разную дальность в будущее за небольшое кол-во шагов. А ваша смогла бы, теоретически? Скорей всего да, но я не вполне представляю как именно. Может из-за того, что не все ваши статьи были прочитаны. В какой тогда это лучше почитать?
Общая суть в том, чтобы два вероятностных распределения — реальное и модельное — стали как можно ближе к друг другу. Реальное это то, из которого взяты обучающие картинки. Модельное то, которое выучила сеть-генератор. Если они оказались «близки», то генератор дает «правдоподобные» картинки.
По опыту, есть два выхода. Первый — накопить себе на более-менее длительный отпуск (2-3 месяца) и на фултайме заботать то что надо. Второй вариант — посвящать условному матану первые часа два на работе. Строго с утра. Мне довелось пробовать оба варианта, и они более-менее работали. Что удивительно — во втором случае эффективность работы (я программист с++) не уменьшилась. Не знаю почему.
Можно было бы попросить машину обучаться квантовой физике по книжкам и статьям. Для генерации осмысленных гипотез взаимодействие с миром не требуется.
Ребенок учится распознавать образы в режиме нон-стоп с первой минуты жизни и оттачивает это N лет все время, пока открыты его глаза. Потратить столько же времени на го — и будет такой же результат.
Мой опыт показывает, что не особо сильное даже. Кажется, достаточно, чтоб нашлось что-то более приятное/важное, и что ело бы много времени/сил. Тогда на следование некоторым инстинктам лень тратить время, и они деактивируются со временем.
2) На инет должно хватать, иначе автоматически отрезается возможность самообразования.
3) Такая пенсия у пенсионеров предполагает, что к почтенному возрасту есть свое жилье.
сеть, которая играет в го, построена на, грубо, том же принципе, что и сеть, распознающая картинки — в основе свертки и бекпроп. Если две задачи решаются примерно одинаковыми нейросетями, то это задачи одного класса сложности. Т.е. играть в го не сильно сложней, чем распознавать котиков. Просто нужна практика. Распознавать котиков для взрослого человека как раз простая задача. Потому и начали с этого. Сложные задачи — это всякая аналитическая математика, физика. Это по-настоящему сложно, и искусственный дворник будет (технически) осилен раньше, чем это. Например, манипулировать своим телом в 3д мире умеет уже робот от бостон динамикс.
Да, тяга к обучению по всей видимости врожденный инстинкт. Но плохая система образования потом может этот инстинкт приглушить. При помощи внешних подкреплений/антиподкреплений у человека можно играть со всеми инстинктами — самосохранения(террористы смертники), питания(анорексия), размножения и т.д.