Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 75
Я знаю кто автор, но «ИИ от Google» это слишком громко для инс.
Странно, что не попробовали противопоставить этой системе саму себя (копию). Например, в том же пинболе.
Пинбол — игра для одного игрока и в ней нет соперника.
Не думаю, что там использовалась целая площадка серверов. Возможно, что специальные нейросетевые плисы, но кто — кто, а гугл себе может позволить такое роскошество и в большем количестве.
Пинбол — игра для одного игрока и в ней нет соперника.xplodr — простите, что не разобрался в таком важном вопросе, прежде чем написать, ведь моя мысль из-за этого становится абсолютно непонятной-)
Согласно Ленте
Правда, упоминания чего-либо подобного в оригинальной статье я не нашёл.
две недели на каждую игру и вычислительные мощности одного-единственного персонального компьютера
Правда, упоминания чего-либо подобного в оригинальной статье я не нашёл.
Скорее всего их алгоритм не извлекает слишком уж глубоких знаний из игр, и, следовательно, нет особой разницы против кого она играет — против рандома, против включенных в игру оппонентов, или против самих себя, все равно глубина познания не увеличится
А как понять, что он извлекает, и насколько оно глубоко?
На мой взгляд, если включить в игру 2 противоборствующих агентов, каждый из которых пытается адаптироваться, задача будет довольно интересной, т.к. для каждого агента его оппонент есть часть окружающей среды, которая, получается, реагирует на действия этого агента.
Т.е. у среды есть обратная связь, так что стратегия, хорошо работающая сейчас, может перестать так хорошо работать уже через некоторое время, т.к. оппонент «раскусит» вашу тактику.
Мне же думается, что причина причина в другом: этот «ИИ» не смог научиться играть, например, в PacMan (по-моему, об этом говорилось в интервью Nature), так что ожидать от него чего-нибудь интересного от противостояния с «двойником» не стоит. Хотя было бы очень интересно посмотреть на дуэль роботов.
На мой взгляд, если включить в игру 2 противоборствующих агентов, каждый из которых пытается адаптироваться, задача будет довольно интересной, т.к. для каждого агента его оппонент есть часть окружающей среды, которая, получается, реагирует на действия этого агента.
Т.е. у среды есть обратная связь, так что стратегия, хорошо работающая сейчас, может перестать так хорошо работать уже через некоторое время, т.к. оппонент «раскусит» вашу тактику.
Мне же думается, что причина причина в другом: этот «ИИ» не смог научиться играть, например, в PacMan (по-моему, об этом говорилось в интервью Nature), так что ожидать от него чего-нибудь интересного от противостояния с «двойником» не стоит. Хотя было бы очень интересно посмотреть на дуэль роботов.
Пусть E.T. the Extra-Terrestrial попробует.
Умные гели из «Морских звёзд» Питера Уоттса тоже учились по картинкам.
«Будущее здесь», не?
Сегодня Понг, завтра на миде тащить начнет :)
Они просто бота для счастливой фермы писали, а получилось вот…
Это запредельно круто. Будущее здесь.
>>>Универсальная самообучаемая система когда-нибудь может найти применение, например, в автономных автомобилях и других проектах, где нужно анализировать состояние окружающих объектов и принимать решения.
Мне вот страшно было бы доверить свою жизнь обученной нейросети подобного рода. Потому как классические алгоритмы хоть на предмет ошибок анализировать можно, доказывать или опровергать их корректность. А тут даже не знаешь наверняка, что случится с такой системой, если кто-то её сфотографирует со вспышкой, и будет ли этот результат устойчивым.
Мне вот страшно было бы доверить свою жизнь обученной нейросети подобного рода. Потому как классические алгоритмы хоть на предмет ошибок анализировать можно, доказывать или опровергать их корректность. А тут даже не знаешь наверняка, что случится с такой системой, если кто-то её сфотографирует со вспышкой, и будет ли этот результат устойчивым.
Вы можете проанализировать на предмет ошибок мозг наёмного водителя? Доказать/опровергнуть его корректность? Нет.
Вы максимум можете опросить его на предмет знания ПДД и посмотреть стиль вождения. Т.е. проверить поведение в некотором наборе конкретных ситуаций. И вроде бы это никого не смущает. Однако когда речь заходит про ИИ — сразу же требуется непременно «математическое доказательство корректности». Странно, неправда ли? )
Вы максимум можете опросить его на предмет знания ПДД и посмотреть стиль вождения. Т.е. проверить поведение в некотором наборе конкретных ситуаций. И вроде бы это никого не смущает. Однако когда речь заходит про ИИ — сразу же требуется непременно «математическое доказательство корректности». Странно, неправда ли? )
То, что у водителя есть водительские права, гарантирует у него с высокой вероятностью отсутствие учёта у врачей по части эпилепсии, например. Да и тот факт, что он дожил до зрелого возраста, свидетельствует о наличии инстинкта самосохранения и минимального здравого смысла. Но главное, всё же — наличие списка медицинских противопоказаний, по которым права не дают. Это — чёткий список известных предпосылок для конкретных проблем, которые могут возникнуть с живым водителем. Конечно, не строго математическое доказательство корректности водителя, но серьёзный фильтр.
Про нейросеть же неизвестно ничего вообще — это просто чёрный ящик, который вроде бы неплохо себя вёл в тех немногих ситуациях, где его успели протестировать перед продажей.
Про нейросеть же неизвестно ничего вообще — это просто чёрный ящик, который вроде бы неплохо себя вёл в тех немногих ситуациях, где его успели протестировать перед продажей.
Ничего странного.
Общую адекватность водителя можно оценить по его поведению и в беседе. Оценить адекватность примитивной нейросети не представляется возможным.
Общую адекватность водителя можно оценить по его поведению и в беседе. Оценить адекватность примитивной нейросети не представляется возможным.
Я лучше доверю подобному алгоритму чем гостю из южных стан (я не вожу автомобиль). Алгоритм будет проходить _очень_ серьёзное тестирование, я могу почитать отзывы людей «в теме», посмотреть статистику аварийности, действия алгоритма логичны и предсказуемы. В отличии от человека время реакции — пару тактов процессора
>Эта разработка не такая легкомысленная, как может показаться. Универсальная самообучаемая система когда-нибудь может найти применение, например, в автономных автомобилях и других проектах, где нужно анализировать состояние окружающих объектов и принимать решения.
В автомобилях нет индикатора заработанных очков, чтобы легко написать целевую функцию. А где ее легко написать, подобрать соответствующий оптимизатор не проблема.
В автомобилях нет индикатора заработанных очков, чтобы легко написать целевую функцию. А где ее легко написать, подобрать соответствующий оптимизатор не проблема.
есть индикаторы — время в пути, деньги на ремонт (или выплаты пострадавшим) и штрафы в почтовом ящике. Распрекраснейшие заработанные очки.
Для автомобиля не нужна будет универсальность. Точнее нужна будет, но в другом контексте (вид за окном и управление примерно одинаковое, а вот ситуации на дороге — разные).
Я так и не понял, система сама определяла, что является победой, а что проигрышем? Ей показывалось, где на экране очки, а где жизни?
Откуда игра могла знать, что цель игры BrakeOut (арканоинд?) — набрать как можно больше очков, а не, к примеру, потратить свои жизни как можно быстрее?
Откуда игра могла знать, что цель игры BrakeOut (арканоинд?) — набрать как можно больше очков, а не, к примеру, потратить свои жизни как можно быстрее?
Как следует из оригинальной статьи в nature, на вход программе кроме сырых пикселей подавался ещё и счет.
Цитата
We demonstrate that the deep Q-network agent, receiving only the pixels and the game score as inputs, was able to surpass the performance of all previous algorithms and achieve a level comparable to that of a professional human games tester across a set of 49 games, using the same algorithm, network architecture and hyperparameters.
Вряд ли система научилась понимать цифры на экране, так что о количестве жизней она бы не узнала.
Насколько мне известно, задачей ИИ было максимизировать количество набранных очков, которые, как уже заметили выше, подавались ей в явной форме.
Насколько мне известно, задачей ИИ было максимизировать количество набранных очков, которые, как уже заметили выше, подавались ей в явной форме.
На мой взгляд наиболее впечатляющее достижение — это то что программа обучается методом анализа картинки, а не кучи цифровых входных данных как в большинстве других самообучающихся игровых ИИ.
Жесть. Когда смотришь видео про игру в Breakout и видишь, как ИИ целенаправленно загоняет мяч в щель между блоками и краем игрового поля, чтобы набить очки, действительно становится не по себе. С одной стороны — восторг от того, что в будущем точно так же будет делаться куча вещей, с которыми ИИ справится значительно лучше и точнее человека, а с другой — холодок по спине, ведь вместо блоков могут быть люди, а вместо шарика — луч лазера (или что там у роботов Скайнета было) :)
Странно, то что она научилась человеческой стратегии. По моему ей было легче научиться просто отбивать шарик все время, чем делать тоннель. Она же не устает как человек. Хотя стратегия туннеля оправдана если шарик не всегда можно отбить.
Думаю это просто случайность. Шарик от угла всегда летит в том же направлении, откуда он был запущен, поэтому платформе нужно меньше двигаться. С этой целью ИИ и посылал по возможности шарик в угол. А тоннель — лишь случайность.
Мне кажется, бот фактически запомнил оптимальные углы отбития шарика. То есть, один раз шар наверх залетел и бот запомнил, какая куча очков высыпалась.
Да что все напуганные какие? И картинки то какие страшные в голове рисуются. Люди рядами и выбивание их лазером. «Мертвые с косами стоят и тишина...».
Эта статья от Deep Mind была еще в 2013 году опубликована
arxiv.org/abs/1312.5602
Все, что изменилось с тех пор, это то, что Google купил Deep Mind :)
arxiv.org/abs/1312.5602
Все, что изменилось с тех пор, это то, что Google купил Deep Mind :)
SC-у научат, и зазвучит во всех динамиках «nuclear launch detected»
Когда уже оно научится фармить кредиты в онлайн-играх?
А кто оценивал успешность игры?
Если человек, то это получается простейший генетический алгоритм, а вот если робот сам допетрил, что он круто играет, то все намного интересней.
Если человек, то это получается простейший генетический алгоритм, а вот если робот сам допетрил, что он круто играет, то все намного интересней.
После видео с «арканоидом», мне кажется что в данном случае ИИ надо расшифровывать как «искусственный идиот». Я к тому, что любой человек уже при первом в жизни сеансе игры в арканоид добивается куда больших успехов, чем этот ИИ после 400 сеансов. Ни в коем случае не хочу принижать достижение разработчиков, просто хотелось указать на огромный разрыв между человеком и существующими ИИ.
Любой человек? Даже младенец, родившийся, скажем, неделю назад?
У Вашего «любого» человека тысячи часов опыта, включающего не только визуальную составляющую, но и множество других путей получения информации об окружающем мире, в том числе о его физике. У машины этого по-умолчанию нет.
У Вашего «любого» человека тысячи часов опыта, включающего не только визуальную составляющую, но и множество других путей получения информации об окружающем мире, в том числе о его физике. У машины этого по-умолчанию нет.
Найдите слова «деревенский дурачок» на этой странице.
У человека уже очень большое количество накопленных знаний, здесь ноль. Если дать арканоид маленькому ребенку, который ходить-то не может, число попыток перед более-менее успешной игрой будет очень приличным. Так что, говоря о разрыве, что вы оцениваете – алгоритм самообучения, или насколько машина уже напичкана знаниями?
Значит я — идиот. Мне в детстве (лет в шесть) потребовалось поиграть в Breakout с неделю, чтобы догадаться загнать шарик наверх. И потом еще некоторое время ушло на тренировки.
«использовала метод обучения с подкреплением»
«ИИ получает «вознаграждение» за выполнение определённых действий»
это не самостоятельное обучение. Это кто-то должен сидеть и нажимать ей много раз когда система права а когда нет. Типа q-learning. В данном случае вероятно использовались вспомогательные программы, которые считывали очки из игры и передавали в ИИ. В человеческом случае, этот признак — импульсы удовольствия или боли, которые бессмысленны в отношении единичного компьютера. Если только не захотим создать саморазмножающиеся и конкурирующие компьютеры.
«ИИ получает «вознаграждение» за выполнение определённых действий»
это не самостоятельное обучение. Это кто-то должен сидеть и нажимать ей много раз когда система права а когда нет. Типа q-learning. В данном случае вероятно использовались вспомогательные программы, которые считывали очки из игры и передавали в ИИ. В человеческом случае, этот признак — импульсы удовольствия или боли, которые бессмысленны в отношении единичного компьютера. Если только не захотим создать саморазмножающиеся и конкурирующие компьютеры.
Это кто-то должен сидеть и нажимать ей много раз когда система права а когда нет.
В данном случае вероятно использовались вспомогательные программы, которые считывали очки из игры и передавали в ИИЕсли бы всегда можно было просто жадно делать действие, приводящее к увеличению количества очков (что, казалось бы, как раз случай когда «система права»), эти игры бы не представляли ни интереса, ни сложности.
Тут же действие, дающее очки, не всегда оптимально в долгосрочной перспективе. Поэтому неверно говорить, что кто-то отделяет правильные действия от ошибочных.
этот метод — это выбор стратегии. Берем суммируем вперед несколько шагов поощерений на каждый вариант возможного действия в текущий момент — и получаем прогноз, какой из вариантов лучше. Вместо таблицы состояний, как в q-learning используется сетка распознающая изображения. Но смысл в том, что эту систему, что бы она научилась выбирать эту стратегию, кто-то другой должен ей предоставить определения, что хорошо, а что плохо — т.е. у нее нету и не будет этого нерва. Подразумевается, что для того, что бы она смогла это спланировать, мы должны давать ей признаки, что для нас хорошо или плохо, и угадать этого самостоятельно она не сможет. Я в своей статье показал метод, каким образом мы можем этой системе сказать словами, что нужно.
В чём же выражается эти определения? Не говорите только про значение целевой функции — минимизируемый функционал, если уж на то пошло, можно найти в любой задаче машинного обучения. От этого классификация методов не схлопывается в одно лишь «обучение с учителем».
Но и про заяву на AGI тоже никто не говорит.
Но и про заяву на AGI тоже никто не говорит.
я в ней показал, как система может учится всему, в том числе правилам разговорных языков, только лишь на одном универсальном признаке — прогнозирование, и объяснил, как потом с этой системой прогнозирования можно разговаривать — без каких либо дополнительных расширений. И ей так же можно объяснить, которую стратегию действий желаете, хотя в статье я не стал углубляться в метод выбора стратегий.
я в ней показал, как система может учится всемуКод есть? Можете хотя бы Ирисы Фишера классифицировать?
У вас там лишь вода и философия. Более того, логические парадоксы подсказывают нам, что на естественном языке можно выразить такие вещи, о которых и рассуждать строго-то нельзя. Так что априори не верю ни единому слову, покуда оно не подкреплено каким-нибудь более формальным аргументом.
там статью можно поделить на два утверждения:
1. что прогнозирование можно использовать, что бы с системой можно было разговаривать.
2. что прогнозировать можно что угодно, если данные не случайны. А если данные есть но не получается — значит просто еще не нашли алгоритм.
и похоже Вы оспариваете то, что прогнозирование возможно. Что является абсурдом.
Задача классификации, это не задача прогнозирования. Хотя любая задача, которую может понять человек — значит существует алгоритм.
Над кодом трудимся. Много воды — иначе широкие массы не поймут. А философия — это когда приписывают компьютерам свойство «мудрость», дабы оно решило все наши проблемы — качество взятое из определению сильного ИИ из википедии.
1. что прогнозирование можно использовать, что бы с системой можно было разговаривать.
2. что прогнозировать можно что угодно, если данные не случайны. А если данные есть но не получается — значит просто еще не нашли алгоритм.
и похоже Вы оспариваете то, что прогнозирование возможно. Что является абсурдом.
Задача классификации, это не задача прогнозирования. Хотя любая задача, которую может понять человек — значит существует алгоритм.
Над кодом трудимся. Много воды — иначе широкие массы не поймут. А философия — это когда приписывают компьютерам свойство «мудрость», дабы оно решило все наши проблемы — качество взятое из определению сильного ИИ из википедии.
Второе утверждение требует банальной вычислимости «чего угодно», а, перефразируя Матроскина, у нас теоремы о неразрешимости есть. Более того, даже если алгоритм и существует, Вам его никогда не найти, т.к., очевидно, существует бесконечное количество алгоритмов, выдающих на любой конечном множестве входов любой (конечный, как следствие) набор выходов. Разумно утверждать, что искомый алгоритм будет обладать минимальной длиной программы, его вычисляющей, в каком-нибудь ЯП, но это тоже неразрешимая задача, и не надейтесь.
Да и что там неразрешимые задачи, уже пара NP-сложных задач сведёт Вашу систему на нет, на сколько машин Вы её не распараллеливайте. Ибо насчёт пары лет на вычисление это Вы сильно размечтались, реалистичные цифры будут примерно такими: 5.3 * 10285 лет (время факторизации 1024-битного числа перебором, тоже NP сложная задача). Даже если Вы сможете запустить параллельные вычисления на каждой частице во Вселенной (которых всего 1080), это ничем не поможет.
заклинание «Прогнозируй!» и машина выдаст ответ. Почему если до этого в неё загрузить обучающую выборку в предложенном Вами же формате "[биты картинки] — [число на ней изображенное]", это не будет классификацией?
Позвольте нескромный вопрос: а в каком объёме Вы знакомы с Теорией Сложности, Машинным Обучением, Искуственным Интеллектом, Теорией Статистического Обучения? Что такого инновационного Вы предлагаете, что ещё не было опробовано другими?
Да и что там неразрешимые задачи, уже пара NP-сложных задач сведёт Вашу систему на нет, на сколько машин Вы её не распараллеливайте. Ибо насчёт пары лет на вычисление это Вы сильно размечтались, реалистичные цифры будут примерно такими: 5.3 * 10285 лет (время факторизации 1024-битного числа перебором, тоже NP сложная задача). Даже если Вы сможете запустить параллельные вычисления на каждой частице во Вселенной (которых всего 1080), это ничем не поможет.
Задача классификации, это не задача прогнозирования.Чем задача прогнозирования метки для изображения не классификация? Вы в своей статье говорили, что можно загрузить в программу данные, произнести
Позвольте нескромный вопрос: а в каком объёме Вы знакомы с Теорией Сложности, Машинным Обучением, Искуственным Интеллектом, Теорией Статистического Обучения? Что такого инновационного Вы предлагаете, что ещё не было опробовано другими?
Количество алгоритмов бесконечно — я с этим согласен, и там я об этом упоминал. Я всего лишь утверждаю, что если это спрогнозировал человек, значит это возможно. Если не нравятся точные методы, то в конце я упомянул, что это же можно искать в нейронных сетках.
Абсолютный брутфорс — это решение в лоб, если совсем ничего другого не нашлось.
А всякие методы оптимизации поиска предлагают альтернативные последовательности перебора, где в первую очередь перебираются те, где больше вероятности найти нужное.
Классификация это разделение на подклассы. А картинка-число — это корреляция — основа прогнозирования. И да, картинку нужно сначала классифицировать, и потом строить корреляции — там я упомянул, что с этим и возникла проблема — если без классификации, то и получиться брутфорсовский вариант — найти все возможное. И вопрос, каков будет универсальный признак выделения типов — оно же классификация? И этот признак достаточно прост, иначе расчет его не мог бы возникнуть эволюционным путем для живых мозгов.
Именно, что оно все гораздо проще. И алгоритм прогнозирования давно бы составили более лобастые чем я, но они проглядели свойство, что так можно с ней разговаривать. А без этого — это просто безделушка, т.к. прогнозирования заточенные под ситуации гораздо эффективней абстрактного. И потому сидят они горемыки и в очередной раз перетачивают анализ изображения, в надежде что в нем мелькнет мудрость.
Абсолютный брутфорс — это решение в лоб, если совсем ничего другого не нашлось.
А всякие методы оптимизации поиска предлагают альтернативные последовательности перебора, где в первую очередь перебираются те, где больше вероятности найти нужное.
Классификация это разделение на подклассы. А картинка-число — это корреляция — основа прогнозирования. И да, картинку нужно сначала классифицировать, и потом строить корреляции — там я упомянул, что с этим и возникла проблема — если без классификации, то и получиться брутфорсовский вариант — найти все возможное. И вопрос, каков будет универсальный признак выделения типов — оно же классификация? И этот признак достаточно прост, иначе расчет его не мог бы возникнуть эволюционным путем для живых мозгов.
Именно, что оно все гораздо проще. И алгоритм прогнозирования давно бы составили более лобастые чем я, но они проглядели свойство, что так можно с ней разговаривать. А без этого — это просто безделушка, т.к. прогнозирования заточенные под ситуации гораздо эффективней абстрактного. И потому сидят они горемыки и в очередной раз перетачивают анализ изображения, в надежде что в нем мелькнет мудрость.
И да, картинку нужно сначала классифицировать, и потом строить корреляции — там я упомянул, что с этим и возникла проблема — если без классификации, то и получиться брутфорсовский вариант — найти все возможное.Ну загрузите в свою программу сперва обучающую выборку, в чём проблема?
А всякие методы оптимизации поиска предлагают альтернативные последовательности перебора, где в первую очередь перебираются те, где больше вероятности найти нужноеИ где хоть какое-нибудь обоснование «быстроты» этого перебора хотя бы в среднем (минус выбросы / медианном) случае?
они проглядели свойство, что так можно с ней разговариватьСерьёзно? Вы фильмы смотрите? Я не знаю ни одного фильма, где с ИИ бы не разговаривали. Я уже не говорю про всевозможных ассистентов вроде Сири, Кортаны и пр. Или Вы думаете, что все учёные мужи до единого просто сидят взаперти уже 60 лет, потирают лбы и сосредоточенно смотрят на формулы?
вот Вы спорите, а сами правильно угадали принцип «картинка-число», причем в статье этого не было. Скорость поиска — вопрос не в этом. Если бы за 60 лет об этом сообразили бы, то были бы хотя бы теоретические упоминания об этом, а так же выкладки сколько это займет времени. И как следствие утверждения, что поиск аналогичный мозговому не возможен, и нужно все пилить ручками. И мозг работает далеко не на брутфорсе — даже ему это не под силу.
Других вариантов нету, либо будет универсальный критерий, либо мы продолжим все пилить, и под каждую ситуацию придумывать подкрепления. Типа строим космический корабль, на него смотрит через камеру отдельно выпиленная программа и считает очки — тот ли нос прикрепили.
Других вариантов нету, либо будет универсальный критерий, либо мы продолжим все пилить, и под каждую ситуацию придумывать подкрепления. Типа строим космический корабль, на него смотрит через камеру отдельно выпиленная программа и считает очки — тот ли нос прикрепили.
А завтра эта программа просмотрит канал НТВ и пойдет лить кровь с утра до утра. Жестоко, но такая вероятность есть.
Из сообщения я узнал и захотел развидеть понятие «профессиональный игрок в Пакман».
Будем ждать, когда этот ИИ создаст канал на ютубе, чтобы выкладывать там свои летсплеи
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
ИИ от Google самостоятельно освоил 49 старых игр Atari