Ну я вот кагбэ физик по образованию и мне не понятна такая враждебность к гипотезе мультивселенной. Собственно сама идея очень логична. Но вообще срачи между физиками — довольно рядовое явление, точку в споре ставит теория подтвержденная экспериментально (ну, вот, например, уравнение Белла, в противном случае банда Эйнштена жестоко запинала бы ногами Бора и Гейзенберга)… но что касается именно Мультивселенной то её неприязнь уже начинает попахивать какой-то религией, даже с обнаружением гравитационных волн и отдача приоритета в этом вопросе LIGO уж совсем дурно пахнет
Я и не писал, что свёрточная и рекуррентная одно и тоже, — я написал что они обе из одной степи, т.е. из глубинного обучения. Я хотел изменить на более понятный вариант, но Хабр не дает редактировать сообщения (сколько он там дает, 2 минуты где-то?)
Ну если у меня на работе решат оторвать задач оптимизации, и скажут «пиши бота для RAIC 2017», то не вопрос :-)… ну или хотя бы еще программистов наберут…
А так я вообще только сегодня узнал, что в РФ такие конкурсы оказывается проводятся
И вот еще парочка ссылочек на одного канадского китайца с примерами на Жабе:
http://blog.otoro.net/2015/03/28/neural-slime-volleyball/
http://blog.otoro.net/2015/05/07/creatures-avoiding-planks/
http://blog.otoro.net/2015/03/10/esp-algorithm-for-double-pendulum/
1,2,3 — справиться одна небольшая сеть заточенная на движение, под это нейросеть обучить проще всего
4 — отдельный модуль нейросети для развития талантов, но можно обойтись и решающим деревом
5 — модуль нейросети, определяющий общую стратегию поведения, хотя в принципе, это может и модуль, отвечающий за движение
итого 2-3 нейросети + 1 для применения способностей, прицеливания и атаки
А так в тот же футбол может играть достаточно простенькая нейросетка, всего где-то на 22 нейрона
А писать известные алгоритмы для конкурса — ну как-то нудно и не интересно, а тот же А* так вообще читерство истой воды (навигация IRL у живых человеков чисто локальная)
Но от генетики никуда сейчас не денешься, обучать то как-то нейросеть нужно, и сделать это так, что бы она не переобучилась (не попала в локальный минимум), а тут тока GA и PSO. Ну и агент должен как-то учитывать прошлую информацию, т.е. сеть должна быть рекурентной (как раз таки отсюда глубокие нейронные сети и сверточные нейронные сети), цепи Маркова, машину Больцмана, т.к. они обладают памятью, а это нужно.
Вот кстати шпоры 1 и 2 на хабре, и на tproger. Вдруг пригодятся.
Только суровый метод научного тыка, тока хардкор…
Ну вот на tproger есть краткая шпаралка по нейросетям, прям так и называется: Шпаргалка по разновидностям нейронных сетей. Часть первая. Элементарные конфигурации
Правда второй части я не увидел, но это перевод, т.е. на буржуинском можно найти искомую статью полностью. Впрочем на хабре вроде тоже это было: Зоопарк архитектур нейронных сетей. Уже в 2-х частях.
Есть хороший обзор по нейросетям в играх с большим количеством ссылок. Презенташка разработчиков Supreme Command (да они там используют ИНС). Статья по модульным ИНС на примере классической космической пострелушке. Встречал очень много статей по Старкрафту, вот например одна из одна. И даже по шутерам, там как раз тоже модульная нейросетка.
Но вообще последнее время популярно использовать использовать именно генетику, например особенно популярен алгоритм NEAT там действительно хорошие результаты получались или вот
Но вообще, проще всего ИНС присобачить для гонок — для задач навигации их наверное проще всего обучить и там можно обойтись без генетики. Для стрельбы и прицеливания — тоже наверное лучше одну отдельную нейросетку использовать. И отдельную сеть для выборов шаблонов поведения как в одной книжке
Есть езе один момент: эволюционные и роевые алгоритмы хорошо справляются с задачами, где функционал задан в неявном виде и/или очень сложный, с целой кучей ограничений, да и в целом может оказаться неизвестным (учителя с розгами не приставишь уже), а полноценной обучающей выборки как таковой нет. А боты как раз этот самый случай => поэтому с ними проще ставить кибернетический эксперимент => смотреть как стайка ИИ взаимодействует с окружающей средой => от итерации к итерации эволюционировать их (ну где-то в районе 200-500 поколений наверное уже будут проявлять зачатки интеллекта). А учитывая что задача в общем случае нелинейна (поэтому всякие там back propagtion будут переобучаться, инфа 145%), то да, все эти метаэвристики будут хорошо работать… только вот надо правильно продумать весь алгоритм а то нифига не сработает: вот например на ютубе можете найти ролик Evolution of a self-organizing robot soccer team (а в гугле статьи по нему) где показано очень изящное и простое решение NN+GA которая играет в футболл, но в дотку такой ИИ играть врядли сможет (надо будет по другому реализовывать)
Во-первых, сеть вида 394 x 192 x 128 x 128 x 128 x 128 x 6 мягко говоря избыточная, очень избыточная.
Во-вторых, лучше использовать несколько маленьких ИНС, каждая для своей задачи: движение, стрельба, глобальная стратегия и т.п.(тут на самом деле большой простор для творчества, много чего можно наэксперемнтировать).
Нервные системы всяких человеков и прочьих животных и дажек букашек, на самом деле разбиты на отдельные подсистемы и отделы, каждые из которых занимаются конкретно своими делами (разделяй и властвуй, ёпс) и специализируются на определенном наборе функций. И это все не с проста, а результат эволюции — так то можно этот путь повторить используя ИНС и эволюционные алгоритмы (которые не просто подбирают веса, а подбирают структуру ИНС), там даже будут видны какие-то зачатки специализации, вот только сколько потребовалось челокам миллионов лет, шоб играть в дотку IRL? И сколько в итоге нейронов у человеков просто так бездельничают — более 90% (на самом деле они нужны на всякий случай, дабы после того как тюкнешься головой случайно не разучиться ходить и говорить, но то что мозг полностью функционален даже после 80% потери мозгового вещества — известный медицинский факт, хоть и не рядовой).
Поэтому лучше эту задачу решить самому, а не надеяться на обучение (оно то рано или поздно достигнет просветления, только эт вообще-то NP-полная задача) и сразу делать специализированные модули ИИ (собственно к чему автор и начал сам потихоньку приходить): быстрее обучишь, меньше нейронов потребуется (я имею ввиду суммарное число всех нейронов всех ИНС), а результат окажется куда более эффективным — на эту тему в принципе уже не одна научная статья писана.
Можно. Задача обучения ИНС является многопараметрической задачей нелинейной оптимизации в пространстве состояний, соответственно все алгоритмы глобальной оптимизации: эволюционные алгоритмы, Particle Swarm Optimization (алгоритм роя частиц) и Simulated annealing (алгоритм имитации отжига) будут давать достаточно хорошие результаты, на порядок лучше классического обучения с учителем.
В контексте ИНС — это целое направление нейроэволюционных алгоритмов (Neuroevolution). Но это все можно считать разновидностью обучения с подкреплением, собственно Q-learning из той же области.
Только вот не стоит забывать, что алгоритмы глобальной оптимизации хоть и находят глобальный оптимум, но обычно крутятся в его горловине, поэтому желательно уточнять решение каким-нибудь классическим алгоритмом локальной оптимизации (для ИНС это будет back propagation, например) в таком случае будет получено наилучшее решение. Правда есть там все равно опредмеченные трудности, для такой избыточной сети (она реально избыточная для такой задачи) как у автора, наверное замучаешься обучать её.
>>экономить спектр
Куда там его экономить в сантиметром и миллиметровом диапазонах? Тем боле тенденция 3G=>4G/LTE=>4.5G/ALTE=>5G идет явно на увеличение полосы сигнала
>>Для гигабита, передаваемого QPSK нужно иметь минимум -84 дБм на приемнике
Угу и полосу эдак гига в 2. Чо уж там, лучше сразу в православном BPSK все делать, т.к. другие виды модуляции от лукавого. Собственно для совсем еретического QAM-256 5/6 хватит за глаза чойт около -58 дБм, и 7Гб/c в с полосой в 160 МГц вытянет. Это по стандарту несчастного вайфая 3-х летней давности. А в запасе есть еще более аццкие виды модуляции. Только пока еще не понятно куда все эти гигабиты девать. А типичная чувствительность любой шайтан коробки, что например, для LTE, что, например, для GSM будет лучше чем -100 дБм.
>> Так что большая антенна обеспечивающая лучшее усиление необходима.
Никто не будет ставить абонентам решетки по несколько тысяч элементов ибо у них карман не потянет стока, так что все будут довольствоваться скромными 8x8 решетками, ну может чуть больше
Размер не имеет значения.
Большая скорость — это прежде всего широкая полоса сигнала и высокая чувствительность приемника.
Большая антенна будет только одна — АФАР на спутнике, большая-большая такая АФАР на несколько тысяч антенных элементов и меньше метра в диаметре (может с раскладным пленочным отражателем), а пользователям хватит небольшой такой антенки, размером с четвертак
Вот тут не меньше 1Гб/с и это уже давно устарело
1. Иридиумы древние как как останки мамнтов. FSO тоже не нова была уже в 80-ых годах, космос обычно для слоупоков, зато там рекорды ставят — последний рекор 24 млн. километров
2. Еще всякие АР, ФАР и АФАР впихиваются во всякие несчастные wi fi роутеры роутеры, а АФАР Ka диапазона отлично умещается в смартфончик, разве что жаба раньше душила платить за целую кучу фейз-шифтеров, Догерти-усилителей и изоляторов-циркуляторов
3. Размер не имеет значение. Высокую скорость обеспечивает полоса сигнала, кодирование, чувствительность приемника и прочьих SNR.
4. Обработка сигналов — это всякие Котельниковы и Калманы, задача решенная больше полувека назад. Сейчас в каждую шайтан-коробку столько ЦОС пихают, что мама не горюй, иначе бы все бы имели возможность поговорить по сотовому телефону, например, со своим эхо. ЦОС уже давно присутствует везде по умолчанию.
Ну и, наконец, с пользователями спутники будут общаться в Ku и Ka диапазонах, а мобильными антеннами для этого диапазона считаются такие, которые можно установить, например, на автомобиль.
Критиканы, такие критиканы.
Уж не позорился бы ища корреляцию между размером и диапазон радара. Самый большой полуволновой диполь для сантиметрового Ku диапазона будет 12.5 миллиметров (для X-диапазона 18.75 миллиметров), а Ka диапазон так вообще миллиметровый, там за глаза хватит и 3.75 миллиметров. И все эти Ku и Ka диапазоны, как раз используются например в полицейских радарах. Еще это любимые спутниковые диапазоны, ну и в ГСН их любят пихать — вон в AIM-120 умудрились запихнуть ИНС+РК+АРЛ ГСН как раз X-диапазона (Радарный X-диапазон входит в спутниковый Ku-диапазон) при диаметре всего 18 см, т.к. тот же Ku-диапазон позволяет производить прием сравнительно небольшими антеннами, а для абонента как раз даунлинк и важен.
А так то антенны разными бывают, могут быть большими, а могут быть маленькими, но почему-то автор сего опуса не задумывается отчего сотовые и спутниковые телефоны работающие в дециметровом диапазоне умещаются в руке и не «светят» так, что у абонента рожа краснеть не начинает.
Еще в FEAR, Sims, L4D и даже в Крайзисе говорят они где-то там есть.
В общем с 10-ок игр точноберется. Правда чо там внутри зарыто — я хз.
Проблема в том что говнокодеров разбирающихся в ИИ на самом деле очень мало, задачи там сложные и даже тут на Хабре считают что лучше нафигачить 100500 if...then...else чем морочить голову всякими сложными вещами. Это вот недавно снова пошла мода на все эти нейросети и генетические алгоритмы.
А так у меня была когда то древнейшая книга (она была древней уже когда я учился в универе) которая как раз была посвящена как можно вставить академический ИИ в игры, еще и на примере ботов из Кваки и были там не только нейросети.
Нейросеть потребуется слишком большая иначе будут интерфернции. Большая сеть => дольше обучение, больше ресурсов и т.д. В общем эффективнее будет разбить на несколько независимых сетей. Просто помимо проблемы тренировки коэффициентов присутствует еще и проблема выбора топологии и размера сети — а это тоже нетривиальная задача. Ну просто физически нашлепать и обучить сетку из нескольких миллиардов хаотично организованных нейронов несколько проблено, эволюции на это потребовалось на это много-много лет и один фиг получим набор узкоспециализированных подсетей :-) У нас же тоже НС дифференцирована
Ну вот можете поискать статью Neuroevolution in games: State of the art and open challenges.
Там например что-то типа обзора разных методов для разных игр. В общем сравниваются разные алгоритмы, сети, подходы к управлению и получению информации из окружающего мира и т.п. Как раз там указан Q2 в котором использовался визуальный вход 14x2. Дальше можно пойти по ссылкам. На ютубе можно найти MarI/O — там тоже используется визуальный вход (но очень примитивный) а в качестве алгоритма выступает NEAT ( на сайте университета Техаса по нему полно инфы). В Interactively Evolved Modular Neural Networks for Game Agent Control рассматривают преимущества модульной нейросети (одна нейросеть управляет движением, другая управляет стрельбой) по сравнению с единой нейросетью на примере игры XNA NET Rummble (старая демонстрашка XNA).
Это вот так навскидку. По UT находил кучу статей, где вообще для каждого аспекта игры (смена оружия, поиск бонусов, стрельбу, передвижение и т.п.) была своя сеть (охрененно сложная модульная сеть) но всех названий не упомню уже. А так вообще дофига статей и даже целых дипломов и диссертаций. Проблема только в том, что подавляющее большинство статей которые я читал на эту тему находятся в репозитариях за доступ к которым надо платить — поэтому читать я их могу только на работе.
Ну а что касается безмодельного обучения в общем, то там действительно сложно взлететь — во-первых очень длительный процесс обучения, во-вторых, это тот самый случай когда программа умнее программиста. Например, когда я обучал ропатов убивать ропатов и поленился взяв фитнесс функцию из 5 слагаемых: Положительное — попадания и время жизни, негативные — получение урона, промахи попадание по союзнику, к 60-ому поколению боты разбредались по карте максимально далеко друг от друга и расстреливали препятствия (попадания по всем объектам считались положительными если dammager.team!=hitted.team) — все живы-здоровы, получают очки и никто не умирает, а самое главное неподвижные объекты никуда не убегут и обеспечат хороший процент попаданий, а самое главное сдачи не дадут.
Это не впервые. Нейросеть уже давно обучали играть в Кваку, Анреал, Марио, ПакМен и т.п. используя только информацию с экрана. Но это только один подход, В гонках будет проще использовать уже систему направленных сенсоров. И это было задолго до новомодного глубоко обучения (профит о которой разве что в появлении памяти, о чем собственно известно эдак с 80-ых годов наверное). Да профит от модульной сети в играх тоже известен.
По использованию нейросетей в играх на мой взгляд самым интересным было применение нейроэволюционных алгоритмов (например, NEAT и проект NERO по нему).
Ну смотрите, ТО отлично подтверждается экспериментально, разве из этого следует что все, хана, можно ею не заниматься и нет никакой полезности от неё? Или как было с полупроводниками, еще в начале 20-го века про них писали что это грязь и с ними ничего интересно не получишь, ну в итоге сейчас мы пользуемся компьютерами, сотовыми телефонами и т.д…
Смысл в том, что обычно развиваются быстро те научные направления, которые демонстрируют полезность уже здесь и сейчас, просто потому что на них направляют необходимые средства и силы. Остальные ждут своего часа
А так я вообще только сегодня узнал, что в РФ такие конкурсы оказывается проводятся
http://blog.otoro.net/2015/03/28/neural-slime-volleyball/
http://blog.otoro.net/2015/05/07/creatures-avoiding-planks/
http://blog.otoro.net/2015/03/10/esp-algorithm-for-double-pendulum/
4 — отдельный модуль нейросети для развития талантов, но можно обойтись и решающим деревом
5 — модуль нейросети, определяющий общую стратегию поведения, хотя в принципе, это может и модуль, отвечающий за движение
итого 2-3 нейросети + 1 для применения способностей, прицеливания и атаки
А так в тот же футбол может играть достаточно простенькая нейросетка, всего где-то на 22 нейрона
А писать известные алгоритмы для конкурса — ну как-то нудно и не интересно, а тот же А* так вообще читерство истой воды (навигация IRL у живых человеков чисто локальная)
Вот кстати шпоры 1 и 2 на хабре, и на tproger. Вдруг пригодятся.
А вот пример эволюционирующей нейросети, обучаются достаточно резво.
Ну вот на tproger есть краткая шпаралка по нейросетям, прям так и называется: Шпаргалка по разновидностям нейронных сетей. Часть первая. Элементарные конфигурации
Правда второй части я не увидел, но это перевод, т.е. на буржуинском можно найти искомую статью полностью. Впрочем на хабре вроде тоже это было: Зоопарк архитектур нейронных сетей. Уже в 2-х частях.
Есть хороший обзор по нейросетям в играх с большим количеством ссылок. Презенташка разработчиков Supreme Command (да они там используют ИНС). Статья по модульным ИНС на примере классической космической пострелушке. Встречал очень много статей по Старкрафту, вот например одна из одна. И даже по шутерам, там как раз тоже модульная нейросетка.
Но вообще последнее время популярно использовать использовать именно генетику, например особенно популярен алгоритм NEAT там действительно хорошие результаты получались или вот
Но вообще, проще всего ИНС присобачить для гонок — для задач навигации их наверное проще всего обучить и там можно обойтись без генетики. Для стрельбы и прицеливания — тоже наверное лучше одну отдельную нейросетку использовать. И отдельную сеть для выборов шаблонов поведения как в одной книжке
Во-первых, сеть вида 394 x 192 x 128 x 128 x 128 x 128 x 6 мягко говоря избыточная, очень избыточная.
Во-вторых, лучше использовать несколько маленьких ИНС, каждая для своей задачи: движение, стрельба, глобальная стратегия и т.п.(тут на самом деле большой простор для творчества, много чего можно наэксперемнтировать).
Нервные системы всяких человеков и прочьих животных и дажек букашек, на самом деле разбиты на отдельные подсистемы и отделы, каждые из которых занимаются конкретно своими делами (разделяй и властвуй, ёпс) и специализируются на определенном наборе функций. И это все не с проста, а результат эволюции — так то можно этот путь повторить используя ИНС и эволюционные алгоритмы (которые не просто подбирают веса, а подбирают структуру ИНС), там даже будут видны какие-то зачатки специализации, вот только сколько потребовалось челокам миллионов лет, шоб играть в дотку IRL? И сколько в итоге нейронов у человеков просто так бездельничают — более 90% (на самом деле они нужны на всякий случай, дабы после того как тюкнешься головой случайно не разучиться ходить и говорить, но то что мозг полностью функционален даже после 80% потери мозгового вещества — известный медицинский факт, хоть и не рядовой).
Поэтому лучше эту задачу решить самому, а не надеяться на обучение (оно то рано или поздно достигнет просветления, только эт вообще-то NP-полная задача) и сразу делать специализированные модули ИИ (собственно к чему автор и начал сам потихоньку приходить): быстрее обучишь, меньше нейронов потребуется (я имею ввиду суммарное число всех нейронов всех ИНС), а результат окажется куда более эффективным — на эту тему в принципе уже не одна научная статья писана.
В контексте ИНС — это целое направление нейроэволюционных алгоритмов (Neuroevolution). Но это все можно считать разновидностью обучения с подкреплением, собственно Q-learning из той же области.
Только вот не стоит забывать, что алгоритмы глобальной оптимизации хоть и находят глобальный оптимум, но обычно крутятся в его горловине, поэтому желательно уточнять решение каким-нибудь классическим алгоритмом локальной оптимизации (для ИНС это будет back propagation, например) в таком случае будет получено наилучшее решение. Правда есть там все равно опредмеченные трудности, для такой избыточной сети (она реально избыточная для такой задачи) как у автора, наверное замучаешься обучать её.
Куда там его экономить в сантиметром и миллиметровом диапазонах? Тем боле тенденция 3G=>4G/LTE=>4.5G/ALTE=>5G идет явно на увеличение полосы сигнала
>>Для гигабита, передаваемого QPSK нужно иметь минимум -84 дБм на приемнике
Угу и полосу эдак гига в 2. Чо уж там, лучше сразу в православном BPSK все делать, т.к. другие виды модуляции от лукавого. Собственно для совсем еретического QAM-256 5/6 хватит за глаза чойт около -58 дБм, и 7Гб/c в с полосой в 160 МГц вытянет. Это по стандарту несчастного вайфая 3-х летней давности. А в запасе есть еще более аццкие виды модуляции. Только пока еще не понятно куда все эти гигабиты девать. А типичная чувствительность любой шайтан коробки, что например, для LTE, что, например, для GSM будет лучше чем -100 дБм.
>> Так что большая антенна обеспечивающая лучшее усиление необходима.
Никто не будет ставить абонентам решетки по несколько тысяч элементов ибо у них карман не потянет стока, так что все будут довольствоваться скромными 8x8 решетками, ну может чуть больше
Большая скорость — это прежде всего широкая полоса сигнала и высокая чувствительность приемника.
Большая антенна будет только одна — АФАР на спутнике, большая-большая такая АФАР на несколько тысяч антенных элементов и меньше метра в диаметре (может с раскладным пленочным отражателем), а пользователям хватит небольшой такой антенки, размером с четвертак
Вот тут не меньше 1Гб/с и это уже давно устарело
2. Еще всякие АР, ФАР и АФАР впихиваются во всякие несчастные wi fi роутеры роутеры, а АФАР Ka диапазона отлично умещается в смартфончик, разве что жаба раньше душила платить за целую кучу фейз-шифтеров, Догерти-усилителей и изоляторов-циркуляторов
3. Размер не имеет значение. Высокую скорость обеспечивает полоса сигнала, кодирование, чувствительность приемника и прочьих SNR.
4. Обработка сигналов — это всякие Котельниковы и Калманы, задача решенная больше полувека назад. Сейчас в каждую шайтан-коробку столько ЦОС пихают, что мама не горюй, иначе бы все бы имели возможность поговорить по сотовому телефону, например, со своим эхо. ЦОС уже давно присутствует везде по умолчанию.
Критиканы, такие критиканы.
Уж не позорился бы ища корреляцию между размером и диапазон радара. Самый большой полуволновой диполь для сантиметрового Ku диапазона будет 12.5 миллиметров (для X-диапазона 18.75 миллиметров), а Ka диапазон так вообще миллиметровый, там за глаза хватит и 3.75 миллиметров. И все эти Ku и Ka диапазоны, как раз используются например в полицейских радарах. Еще это любимые спутниковые диапазоны, ну и в ГСН их любят пихать — вон в AIM-120 умудрились запихнуть ИНС+РК+АРЛ ГСН как раз X-диапазона (Радарный X-диапазон входит в спутниковый Ku-диапазон) при диаметре всего 18 см, т.к. тот же Ku-диапазон позволяет производить прием сравнительно небольшими антеннами, а для абонента как раз даунлинк и важен.
А так то антенны разными бывают, могут быть большими, а могут быть маленькими, но почему-то автор сего опуса не задумывается отчего сотовые и спутниковые телефоны работающие в дециметровом диапазоне умещаются в руке и не «светят» так, что у абонента рожа краснеть не начинает.
В общем с 10-ок игр точноберется. Правда чо там внутри зарыто — я хз.
Проблема в том что говнокодеров разбирающихся в ИИ на самом деле очень мало, задачи там сложные и даже тут на Хабре считают что лучше нафигачить 100500 if...then...else чем морочить голову всякими сложными вещами. Это вот недавно снова пошла мода на все эти нейросети и генетические алгоритмы.
А так у меня была когда то древнейшая книга (она была древней уже когда я учился в универе) которая как раз была посвящена как можно вставить академический ИИ в игры, еще и на примере ботов из Кваки и были там не только нейросети.
Там например что-то типа обзора разных методов для разных игр. В общем сравниваются разные алгоритмы, сети, подходы к управлению и получению информации из окружающего мира и т.п. Как раз там указан Q2 в котором использовался визуальный вход 14x2. Дальше можно пойти по ссылкам. На ютубе можно найти MarI/O — там тоже используется визуальный вход (но очень примитивный) а в качестве алгоритма выступает NEAT ( на сайте университета Техаса по нему полно инфы). В Interactively Evolved Modular Neural Networks for Game Agent Control рассматривают преимущества модульной нейросети (одна нейросеть управляет движением, другая управляет стрельбой) по сравнению с единой нейросетью на примере игры XNA NET Rummble (старая демонстрашка XNA).
Это вот так навскидку. По UT находил кучу статей, где вообще для каждого аспекта игры (смена оружия, поиск бонусов, стрельбу, передвижение и т.п.) была своя сеть (охрененно сложная модульная сеть) но всех названий не упомню уже. А так вообще дофига статей и даже целых дипломов и диссертаций. Проблема только в том, что подавляющее большинство статей которые я читал на эту тему находятся в репозитариях за доступ к которым надо платить — поэтому читать я их могу только на работе.
Ну а что касается безмодельного обучения в общем, то там действительно сложно взлететь — во-первых очень длительный процесс обучения, во-вторых, это тот самый случай когда программа умнее программиста. Например, когда я обучал ропатов убивать ропатов и поленился взяв фитнесс функцию из 5 слагаемых: Положительное — попадания и время жизни, негативные — получение урона, промахи попадание по союзнику, к 60-ому поколению боты разбредались по карте максимально далеко друг от друга и расстреливали препятствия (попадания по всем объектам считались положительными если dammager.team!=hitted.team) — все живы-здоровы, получают очки и никто не умирает, а самое главное неподвижные объекты никуда не убегут и обеспечат хороший процент попаданий, а самое главное сдачи не дадут.
По использованию нейросетей в играх на мой взгляд самым интересным было применение нейроэволюционных алгоритмов (например, NEAT и проект NERO по нему).
Смысл в том, что обычно развиваются быстро те научные направления, которые демонстрируют полезность уже здесь и сейчас, просто потому что на них направляют необходимые средства и силы. Остальные ждут своего часа