• OpenAI Gym+ROS+Gazebo: обучение автономного робота в домашних условиях. Часть 1
    0
    цель моей работы, как вы могли прочитать в начала, заключается в написание фреймворка, который бы позволил тестировать различные алгоритмы RL через Gym API, что, собственно, и было сделано. Вы уже сейчас можете абсолютно бесплатно взять мой проект и использовать его в своих экспериментов по выявлению неведомой мне психики робота. Я с удовольствием почитаю о ваших результатах.

    Следующий этап — научить робота проходить круг по лабиринту за минимальное время. Этим я займусь через пару месяцев. В перспективе — провести эксперимент по переносу модели на реального робота и насколько это вообще целесообразно.
  • OpenAI Gym+ROS+Gazebo: обучение автономного робота в домашних условиях. Часть 1
    0
    Нейронные сети — это инструмент, который выявляет взаимосвязи в больших данных и являются крайне узкоспециализированными. Например, если прямо по курсу препятствие, нужно повернуть направо. Другими словами, мы имеем марковский процесс с конечным количеством действий (поворот направо, налево, ничего не делать). В случае Q-Learning нейронная сеть выступает в роли апроксиматором математического ожидания награды от выполненного действия. Так что я искренне не могу понять, что вы имеете ввиду под «психикой». Сколько я читал научных работ, никто ни разу не вводил понятие «психики»
  • OpenAI Gym+ROS+Gazebo: обучение автономного робота в домашних условиях. Часть 1
    +1
    что именно вы подразумеваете под «реальной психикой?»
  • OpenAI Gym+ROS+Gazebo: обучение автономного робота в домашних условиях. Часть 1
    +1
    К сожалению, ROS Melodic (рекомендуемая версия) все еще не поддерживает python3 полностью и изначально это не планировалось. Но работы уже ведутся.
    Исходя из моего опыта, python2 вполне справляется со всеми задачами.
  • GPT-2 нейросеть от OpenAI. Быстрый старт
    +1
    Вы перемешали все, что только можно. Линейная регрессия на то и регрессия — она возвращает непрерывное значение (y=a+b*x).

    Сеть, генерирующая вам слова не сможет выдать новые, которых у нее нет в словаре. Следовательно словарь ограничен теми словами, которые разработчики изначально заложили.

    Про генеративно созтезательные сети я вам целый доклад могу написать. С этими сетями я уже второй год работаю. Вот там как раз все завязано на статистике и теории вероятности (собственно, как и в других сетях)

    Сеть может сказать, почему она выдала именно такой результат — полный бред. Я уже немного подустал вести с вами дискуссию. Предлагаю остановиться на том, что я не прав :)
  • GPT-2 нейросеть от OpenAI. Быстрый старт
    +2
    Я не буду рассуждать о ваших знаниях в области компьютерных наук, но вместо этого скажу об базовых принципах машинного обучения.

    Любое изучение машинного обучения начинается с линейной регрессии. В самом простом примере ее можно оптимизировать посредством минимизации среднеквадратического отклонения. Что в свою очередь вытекает из принципа максимального подобия (MLE) и оценки апостериорного максимума, что пришло напрямую из статистики и тервера.

    На этом основываются если и не все, то подновляющее большинство алгоритмов оптимизации (линейная регрессия, логистическая регрессия, энтропия и кроссэнтропия, расстояние Кульбака — Лейблера). Все это используется для оптимизации нейросетей.

    Есть много методов оптимизации, в том числе адам, который относиться к градиенте, но также и эволюционные алгоритмы. Тут это вообще не при чем.

    Вокруг нейросетей слишком много мифов и волшебства. Но они не будут делать того, чему их не научили. Они всего лишь находят закономерности в статистических данных.
    И эта сеть вам не скажет, почему она ответила вам именно так, если ее этому не научат.

    А интерпритируемость сети — это вообще о другом. Понимание того, как сеть работает, помогает дополнять теорию, что в свою очередь помогает создавать более качественные алгоритмы. На данный момент мы делаем слишком много предположений (о том, что данные не коррелируют, например).
  • GPT-2 нейросеть от OpenAI. Быстрый старт
    +2
    Нейронные сети основаны на статистике, по этому ей требуется столько много данных. Сеть не сможет выдать то, чего не видела. Самый простой пример — макровские цепи, как я писал чуть выше. N-граммы основаны на марковской модели, которая в свою очередь является не не чем иным как условной вероятностью
  • GPT-2 нейросеть от OpenAI. Быстрый старт
    +1
    Вынужден с вами не согласиться. Для случаев, где нужен не фиксированный результат, используются RNN-подобные сети. Для задач сегментации (xy рамки вокруг объекта) та же сеть YOLO работает по похожему принципу. Для генерации текста уже давно используются рекурентные сети, а еще раньше марковские цепи. Эти цепи довольно просто интерпритировать, тк можно просто вывести статистику предлагаемых слов. В то время, как нейросеть часто — это апроксимация какой либо сложной функции.

    Да, вы абсолютно правы, выяснить, что происходит внутри сети — задача не из простых. По этому нейронные сети часто называют черными ящиками. Если мы знаем, что мы апроксимируем, мы можем сделать определенные выводы. Чаще всего мы пытаемся апроксимировать реальное вероятностное распределение P через более простое распределение Q.

    Как раз на эту тему сейчас нацелено много научных работ. Больше всего работ было сделано о сверточных сетях, потому что во-первых их несложно визуализировать, а во-вторых идея самой сети была вдохновлена биологическим глазом.

    Повторюсь, я пока не знаком с архитектурой GPT-2, но судя по всему это следующее развитие RNN и я уверен, что та интерпретируемость, о которой идет речь в статье, не имеет под собой абсолютно никаких оснований, либо не указана какая то ключевая информация.
  • GPT-2 нейросеть от OpenAI. Быстрый старт
    0
    Скажите пожалуйста, на чем основываются ваши два вопроса об интерпретируемости и универсальности сети? К сожалению я еще не читал оригинальную работу и не знаком с архитектурой сети, но исходя из текста статьи, я не вижу основания для этих вопросов.