Ничего на лету он не расшифровывает. Если пользователь пытается открыть зашифрованный файл, то ничего не получается, т.к. внутри таких файлов находится мусор с т.з. ассоциированной с данным типом файлов программы.
Вы бы указали, что обе картинки с анимацией из того курса взяли. Просто из уважения к трудам профессора Ng.
По существу хочется дать небольшой совет: попробуйте в качестве функции активации использовать не сигмоидную функцию, а функцию, называемую rectified linear activation, имеющую очень простой вид: rect(x) = max(0, x), поэтому очень дешевую с точки зрения вычислительных ресурсов, что немаловажно для JS.
В случае Let's play — такой вариант обучения возможен, например, если функция оценки — тоже нейросеть, обученная на реплеях (это будет уже supervised learning), а в случае массива облачных сохранений — скорее нет, чем да, т.к. бот не знает, какие действия привели к какому-то конкретному результату в таблице.
Про миллион агентов — вы сами того не ведая примерно описали генетические методы обучения. Что касается морали ботов — если вы ее не заложите, то ее и не будет, т.е. если бот посчитает, что ему выгоднее заниматься тимкиллом и это разрешено правилами, то он будет заниматься тимкиллом. Если я правильно понял ваш вопрос.
Грубо говоря, именно так и происходит, как у вас рисуется в голове, если абстрагироваться от вопросов взаимодействия с игровым интерфейсом. :) Боты, в основе которых лежат алгоритмы reinforced learning, учатся на своих ошибках, точно так же, как это делают высшие животные.
Честно говоря, я лишь вкратце почитал про эту OpenAI Universe и не знаю как она функционирует. Как я понял, это унифицированный интерфейс к различным играм, выступающим в роли тестовых сред. Т.е. это нечто вроде тестовых наборов MNIST, CIFAR10, NISTP и т.д., но для другого класса алгоритмов. OpenAI Universe предназначена в первую очередь для разработчиков алгоритмов и снимает с них заботу о разработке интерфейса взаимодействия с какой-то конкретной игрой из их набора, т.е. позволяет сосредоточиться именно на алгоритме AI, а не на важных, но все же второстепенных вопросах с т.з. разработчика AI.
Вознаграждение — это не какая-то абстракция, а конкретная скалярная величина. Т.е. у кого больше это число, тот и получил большее суммарное вознаграждение, выраженное данным числом.
За что вознаграждают — зависит от использованного алгоритма. В некоторых играх, чаще всего аркадных, это число набранных очков в каждый определенный момент времени. Соответственно, мы можем посчитать разность очков в разные моменты времени. В других играх используются функции-оценщики, оценивающие текущий расклад в некоторых попугаях. Например, если взять шахматы, в каждый момент игры вы как игрок находитесь в определенном состоянии, которое можно оценить по куче разных критериев: есть ли у вас ферзь, скольким фигурам вы угрожаете, объявили ли вы шах и т.д. (у хороших функций оценки это сотни параметров), вы делаете ход и ваше состояние меняется — вознаграждением за ход будет разность между оценками состояний до хода и после. Есть алгоритмы, которые не пользуются такими функциями вообще. Если для оценки хода вы пользуетесь какой-то вариацией алгоритма minimax, то обязательно будут состояния, в которые вы никогда не будете попадать, особенно если вы не можете просчитать все возможные варианты развития событий, т.к. это слишком дорого по времени, и ограничиваете minimax по глубине или каким-то другим способом, но в них попадать все же желательно, т.к. это может дать вам преимущество в будущем, которое вы не просчитали. Т.е. существует проблема баланса между исследованием и использованием того, в чем вы уверены точно: синица в руках или журавль в небе. Т.е. может быть когда-нибудь бот узнает о том, что открывать все локации и проходить все добавочные задания в итоге выгоднее. Но для этого он должен делать исследовательские ходы, которые имеют более низкую предсказанную оценку, нежели уже какие-то известные.
В общем, это обширная тема. И если она вас интересует, я рекомендую для начала почитать книгу «Reinforcement Learning: An Introduction», Richard S. Sutton and Andrew G. Barto — она есть в свободном доступе.
Это довольно обширная тема и начать ее действительно глубоко понимать довольно непросто. Что еще осложняется тем, что практически все теоретические работы в данной области сделаны и делаются на Западе, поэтому и вся литература тоже не на русском.
Если вкратце, то существуют 3 парадигмы в машинном обучении: обучение с учителем (supervised learning), обучение без учителя (unsupervised learning) и обучение с подкреплением (reinforcement learning). Последнее используется в случаях, когда обучение ИИ по тем или иным причинам должно идти методом, во многом подобным методу проб и ошибок, когда за каждое выполненное действие агент (тот, кто выполняет действия и обучается) получает определенное вознаграждение. Например, у людей на разных полюсах шкалы вознаграждений находятся боль (низкий уровень вознаграждения) и наслаждение (высокий уровень). Конечная цель агента — максимизация суммарно полученного вознаграждения. В данной статье речь идет как раз о таком методе. Он же используется в Alpha GO, Giraffe и многих других приложениях, где агент познает «мир вокруг себя» самостоятельно и так же самостоятельно учится взаимодействовать с ним с максимальной выгодой для себя.
Умеет ли ваша программа обобщать? Допустим, ваша программа знает о существовании рыб и птиц, более того, она знает, что и рыбы, и птицы — животные. Про птиц она дополнительно знает, что у них есть хвост, но про рыб дополнительно она не знает ничего. Если задать ей вопрос, есть ли у рыбы хвост, сможет ли она ответить на него?
Не могу редактировать сообщения, поэтому допишу тут. В начале второго абзаца опечатка, читать надо «по второму вопросу».
Вот ваша программа анализирует взаимосвязи между некими фактами и наверняка имеет состояния: «да» — факты взаимосвязаны, «нет» — факты не взаимосвязаны, «не знаю» — недостаточно данных (факт, присутствующий в вопросе, отсутствует в базе знаний). А может ли ваша программа ответить: «вероятно» или «я уверена на 60%, что это так»? Скорее всего нет, так ведь? В общем, достаточно давно поняли, что вот такие базы знаний — тупиковый путь в ИИ. Нужен какой-то 5й элемент, чтобы все завертелось. Может какая-то комбинация из нейронных сетей и базы знаний плюс нечеткая логика, я не знаю. Но то, что делаете вы — интересно, но немного не про интеллект, пусть и искусственный.
По первому вопросу — как я полагаю, вы считаете, что ваша система понимает полученные знания как человек. Ну, во-первых, это не так. Ваша программа ничего не понимает и уж тем более не как человек. Вот когда ваша жена сообщает вам, что завтра к вам в гости приедет ее мама, вы скорее всего понимаете, что вечер будет отличаться от обычного. Ваша программа на основании той же информации понять это не в состоянии. Любые понятия для нее тождественны, важны лишь взаимосвязи (графы) между этими понятиями. И эти графы являются фактической программой для получения ответа на заданные вопросы. Более того, вот вы приводите цитату: «понимание — это универсальная операция мышления...», а разве ваша программа мыслит? Разумеется нет. А нет ножек — нет и печенек. Во-вторых, вы просили пример, поэтому я приведу его еще раз — поиск Google, особенно голосовой, с проговариванием ответа вслух. Разумеется за исключением характеристики «понимать их, как человек».
По первому вопросу — я не утверждал, что вы приписываете себе авторство чат-ботов. В своей статье вы преподносите ваше видение построения систем ИИ, вашу идею как некий прорыв, новое слово в области ИИ. Напрямую вы это, конечно, не пишете, но это легко читается между строк (кстати, ваша программа не поняла бы этого). Алан Тьюринг сформулировал свой знаменитый эмпирический тест 66 лет назад — 2/3 века уже прошло с тех пор. А логическое программирование — фактически то же самое, чем занимаетесь вы при разработке своей системы — начало развиваться в конце 60-х годов прошлого века. Но идеи умных машин витали в умах и до появления компьютеров — механические экспертные системы существовали еще в 19 веке.
Даже если бы с технической точки зрения все было безупречно, куда деться от факта, что гуглоперевод в паре русский-английский просто безобразен? Владеющий языком человек все равно понял бы, что на том конце провода языком не владеют. Если у вас есть какие-то сомнения по этому поводу, вспомните довольно популярные не так давно картинки с инструкциями на «русском» языке для китайских товаров — вот получится то же самое, только вслух.
Неважно, как работает или как устроено все внутри. С точки зрения пользователя ваша программа успешно проходит утиный тест на звание экспертной системы.
У меня сложилось впечатление, что Вы искренне считаете, что изобрели что-то новое. Жаль Вас огорчать, но нет, этой идее уже 100 лет в обед, причем практически в буквальном смысле. С точки зрения технологий возможно вы (команда) придумали что-то новое, но концептуально — нет. И об этом вам дают понять тут сразу несколько человек. Вам писали про чат-ботов и привели пример наиболее успешного на сегодняшний день — Женя Густман, прошедшего тест Тьюринга. В первом предложении моего сообщения выше содержится набор ключевых слов, которые Вы также можете погуглить. И кстати: «Оk Google...», — тоже вполне рабочий пример.
То, что Вы психолог — как раз и объясняет, почему Вы не в курсе того, что было проделано сильно задолго до вас программистами. Но изобретать в очередной раз колесо не очень разумно. И мы вам подсказываем, что на этом пути уже набито достаточно шишек, и указываем, где их искать.
В целом же, я желаю успехов вашему проекту. Может быть на новых технологических рельсах и получится то, что не получалось до сих пор уже в течение почти полувека.
На самом деле что бы извлечь диск так, что бы операционка о нём забыла нужно перетаскиванием его в корзину — в этом случае лоток выезжает, а иконка пропадает
На современном Mac в современной MacOS все точно так же, только разве что встроенных CD/DVD давно нет, поэтому с лотком может быть по-разному.
Ребята разрабатывают экспертную систему, Пролог, логическое программирование, вот это вот все. 70-е года прошлого века. Круг замыкается.
Плохо, когда психологи начинают разрабатывать компьютерную систему великой сложности самостоятельно, без помощи настоящего эксперта в области ИТ, который бы подсказал, что все это уже было и, собственно, никуда не делось. Наверное настолько же плохо, как если бы программисты взялись разрабатывать всеобъемлющую теорию в психологии.
С одной стороны, идея эмулировать работу мозга лежит на поверхности. А с другой — в коре головного мозга человека примерно 100.000.000.000 (сто миллиардов) нейронов. Сколько Вам необходимо для интеллектуального поведения Вашей программы, по Вашим прикидкам?
Некое подобие интеллектуального поведения демонстрирует и персептрон, теоретические основы которого были разработаны уже более 50 лет назад. Поэтому руки чешутся посоветовать изучить классическую теорию нейронных сетей, но тогда Вы наверное перестанете заниматься тем, над чем Вы работаете сейчас. Поэтому не посоветую. Мне уже тоже любопытно, что у Вас получится из всего этого. А вдруг выстрелит? Да и вообще этот Ваш творческий процесс не только увлекателен, но и полезен как источник удовольствия и новых знаний. Так что я искренне желаю Вам удачи!
Во-первых, такие случаи, когда путали единицы измерения, уже были и выше привели пример такого случая. А во-вторых, Вы слишком категоричны насчет «НИГДЕ» — вся мировая гражданская авиация до сих пор использует футы для измерения высоты, а узлы — для измерения путевой скорости на маршруте, даже все страны СНГ перешли с метров и км/ч на футы и узлы. И это я еще не говорю о морском транспорте.
Термин написали верно, но это было бы совсем детской ошибкой с их стороны. Вряд ли там настолько некомпетентные люди сидят. Да и вряд ли вообще там барометрический высотомер используется — слишком большой вес и простор для ошибок. Одну из возможных Вы как раз и привели.
Немного погуглил и вот что нашел: «Для оценки расстояния до поверхности Марса «Скиапарелли» будет использовать альтиметр с доплеровским радаром.»
По существу хочется дать небольшой совет: попробуйте в качестве функции активации использовать не сигмоидную функцию, а функцию, называемую rectified linear activation, имеющую очень простой вид: rect(x) = max(0, x), поэтому очень дешевую с точки зрения вычислительных ресурсов, что немаловажно для JS.
Про миллион агентов — вы сами того не ведая примерно описали генетические методы обучения. Что касается морали ботов — если вы ее не заложите, то ее и не будет, т.е. если бот посчитает, что ему выгоднее заниматься тимкиллом и это разрешено правилами, то он будет заниматься тимкиллом. Если я правильно понял ваш вопрос.
Вознаграждение — это не какая-то абстракция, а конкретная скалярная величина. Т.е. у кого больше это число, тот и получил большее суммарное вознаграждение, выраженное данным числом.
За что вознаграждают — зависит от использованного алгоритма. В некоторых играх, чаще всего аркадных, это число набранных очков в каждый определенный момент времени. Соответственно, мы можем посчитать разность очков в разные моменты времени. В других играх используются функции-оценщики, оценивающие текущий расклад в некоторых попугаях. Например, если взять шахматы, в каждый момент игры вы как игрок находитесь в определенном состоянии, которое можно оценить по куче разных критериев: есть ли у вас ферзь, скольким фигурам вы угрожаете, объявили ли вы шах и т.д. (у хороших функций оценки это сотни параметров), вы делаете ход и ваше состояние меняется — вознаграждением за ход будет разность между оценками состояний до хода и после. Есть алгоритмы, которые не пользуются такими функциями вообще. Если для оценки хода вы пользуетесь какой-то вариацией алгоритма minimax, то обязательно будут состояния, в которые вы никогда не будете попадать, особенно если вы не можете просчитать все возможные варианты развития событий, т.к. это слишком дорого по времени, и ограничиваете minimax по глубине или каким-то другим способом, но в них попадать все же желательно, т.к. это может дать вам преимущество в будущем, которое вы не просчитали. Т.е. существует проблема баланса между исследованием и использованием того, в чем вы уверены точно: синица в руках или журавль в небе. Т.е. может быть когда-нибудь бот узнает о том, что открывать все локации и проходить все добавочные задания в итоге выгоднее. Но для этого он должен делать исследовательские ходы, которые имеют более низкую предсказанную оценку, нежели уже какие-то известные.
В общем, это обширная тема. И если она вас интересует, я рекомендую для начала почитать книгу «Reinforcement Learning: An Introduction», Richard S. Sutton and Andrew G. Barto — она есть в свободном доступе.
Если вкратце, то существуют 3 парадигмы в машинном обучении: обучение с учителем (supervised learning), обучение без учителя (unsupervised learning) и обучение с подкреплением (reinforcement learning). Последнее используется в случаях, когда обучение ИИ по тем или иным причинам должно идти методом, во многом подобным методу проб и ошибок, когда за каждое выполненное действие агент (тот, кто выполняет действия и обучается) получает определенное вознаграждение. Например, у людей на разных полюсах шкалы вознаграждений находятся боль (низкий уровень вознаграждения) и наслаждение (высокий уровень). Конечная цель агента — максимизация суммарно полученного вознаграждения. В данной статье речь идет как раз о таком методе. Он же используется в Alpha GO, Giraffe и многих других приложениях, где агент познает «мир вокруг себя» самостоятельно и так же самостоятельно учится взаимодействовать с ним с максимальной выгодой для себя.
Вот ваша программа анализирует взаимосвязи между некими фактами и наверняка имеет состояния: «да» — факты взаимосвязаны, «нет» — факты не взаимосвязаны, «не знаю» — недостаточно данных (факт, присутствующий в вопросе, отсутствует в базе знаний). А может ли ваша программа ответить: «вероятно» или «я уверена на 60%, что это так»? Скорее всего нет, так ведь? В общем, достаточно давно поняли, что вот такие базы знаний — тупиковый путь в ИИ. Нужен какой-то 5й элемент, чтобы все завертелось. Может какая-то комбинация из нейронных сетей и базы знаний плюс нечеткая логика, я не знаю. Но то, что делаете вы — интересно, но немного не про интеллект, пусть и искусственный.
По первому вопросу — я не утверждал, что вы приписываете себе авторство чат-ботов. В своей статье вы преподносите ваше видение построения систем ИИ, вашу идею как некий прорыв, новое слово в области ИИ. Напрямую вы это, конечно, не пишете, но это легко читается между строк (кстати, ваша программа не поняла бы этого). Алан Тьюринг сформулировал свой знаменитый эмпирический тест 66 лет назад — 2/3 века уже прошло с тех пор. А логическое программирование — фактически то же самое, чем занимаетесь вы при разработке своей системы — начало развиваться в конце 60-х годов прошлого века. Но идеи умных машин витали в умах и до появления компьютеров — механические экспертные системы существовали еще в 19 веке.
У меня сложилось впечатление, что Вы искренне считаете, что изобрели что-то новое. Жаль Вас огорчать, но нет, этой идее уже 100 лет в обед, причем практически в буквальном смысле. С точки зрения технологий возможно вы (команда) придумали что-то новое, но концептуально — нет. И об этом вам дают понять тут сразу несколько человек. Вам писали про чат-ботов и привели пример наиболее успешного на сегодняшний день — Женя Густман, прошедшего тест Тьюринга. В первом предложении моего сообщения выше содержится набор ключевых слов, которые Вы также можете погуглить. И кстати: «Оk Google...», — тоже вполне рабочий пример.
То, что Вы психолог — как раз и объясняет, почему Вы не в курсе того, что было проделано сильно задолго до вас программистами. Но изобретать в очередной раз колесо не очень разумно. И мы вам подсказываем, что на этом пути уже набито достаточно шишек, и указываем, где их искать.
В целом же, я желаю успехов вашему проекту. Может быть на новых технологических рельсах и получится то, что не получалось до сих пор уже в течение почти полувека.
На современном Mac в современной MacOS все точно так же, только разве что встроенных CD/DVD давно нет, поэтому с лотком может быть по-разному.
Плохо, когда психологи начинают разрабатывать компьютерную систему великой сложности самостоятельно, без помощи настоящего эксперта в области ИТ, который бы подсказал, что все это уже было и, собственно, никуда не делось. Наверное настолько же плохо, как если бы программисты взялись разрабатывать всеобъемлющую теорию в психологии.
Некое подобие интеллектуального поведения демонстрирует и персептрон, теоретические основы которого были разработаны уже более 50 лет назад. Поэтому руки чешутся посоветовать изучить классическую теорию нейронных сетей, но тогда Вы наверное перестанете заниматься тем, над чем Вы работаете сейчас. Поэтому не посоветую. Мне уже тоже любопытно, что у Вас получится из всего этого. А вдруг выстрелит? Да и вообще этот Ваш творческий процесс не только увлекателен, но и полезен как источник удовольствия и новых знаний. Так что я искренне желаю Вам удачи!
Немного погуглил и вот что нашел: «Для оценки расстояния до поверхности Марса «Скиапарелли» будет использовать альтиметр с доплеровским радаром.»