Искусственный интеллект

Вчера, 5 августа, в Сан-Франциско состоялся шоу-матч между людьми и ботами OpenAI в дисциплине Dota 2. Еще в 2017 году в рамках шоу-матчей The International 2017 люди сражались с OpenAI в формате «1х1 mirror mid» и с целым рядом ограничений в пользу ботов (запрет на использование ряда предметов и механик), что закончилось поражением профессиональных игроков-мидеров.

Так как Dota 2 — дисциплина крайне разносторонняя и сложная для освоения, встреча между людьми и ИИ вновь проводилась с целым рядом ограничений, которые, однако, не слишком радикально влияли на игровой процесс:

• пул из 18 героев в режиме Random Draft (Axe, Crystal Maiden, Death Prophet, Earthshaker, Gyrocopter, Lich, Lion, Necrophos, Queen of Pain, Razor, Riki, Shadow Fiend, Slark, Sniper, Sven, Tidehunter, Viper, или Witch Doctor);
• без Divine Rapier, Bottle;
• без подконтрольных существ и иллюзий;
• матч с пятью курьерами (ими нельзя скаутить и танковать);
• без использования скана.

Самое серьезное ограничение: крайне малый пул героев для обеих сторон. Сейчас в Dota 2 существует 115 персонажей с различными способностями и механиками их применения. OpenAI пока может совладать лишь с 18 из них. Встреча была максимально приближена к «реальным» условиям и проводилась в формате 5х5. Против ИИ играли обычные люди, в прошлом когда-то причастные к киберспорту, но сейчас не являющиеся киберспортсменами. Единственная поблажка для людей заключалась в том, что реакция ботов была ограничена 200 мс, чтобы избежать ситуаций с мгновенным «прожатием» кнопок. Итог: команда ИИ выиграла у людей со счетом 2-0 по картам. Выиграть у OpenAI удалось только после того, как героев для ИИ выбрал зрительный зал (Slark, Sven, Axe, Riki и Queen of Pain), по оценкам OpenAI шанс на победу с таким драфтом составлял всего 2,9%. Кроме этого, до начала главного матча, с ботами могли сыграть рядовые гости мероприятия, и в этих встречах доминирование ИИ было еще более наглядно, что впечатляет.

Вчера в Сан-Франциско прошел показательный матч между искусственным интеллектом OpenAI Five и полупрофессиональной командой игроков в Dota 2. Среди людей были бывшие профессионалы, комментаторы и один действующий профи. В любом случае, это самая сильная команда, с которой ИИ играл с момента своего запуска в июне.

Искусственный интеллект становится все более универсальным инструментом. Соответствующие технологии используются в науке, медицине, бизнесе, играх, а теперь и в дорожном строительстве. Правда, пока что лишь в США — именно здесь ИИ научили определять, какие дороги, мосты и здания сильнее всего требуют ремонта. Команда ученых из университета Ватерлоо привлекла искусственный интеллект к анализу фотографий дорог, мостов и различных строений, чтобы ИИ искал слабые места конструкции, позволяя начать ремонт именно там, где это нужно.

По словам ученых, они создали свою технологию для того, чтобы правительствам разных стран было проще справляться с задачами дорожного строительства и ремонта. «Если у правительства будет такая информация, то чиновники смогут лучше планировать предстоящий ремонт, кроме того, стоимость ремонта будет снижаться. А это означает более низкие налоги для местных жителей», — заявил Джон Зелек, один из участников проекта.

Шедевр от HBO, первый сезон которого обошел по просмотрам даже «Игру Престолов», повествует о футуристическом парке развлечений, гости которого могут предаваться всевозможным грехам с гипер реалистичными роботами-андроидами. Перестрелки, драки, оргии — богачи платят огромные суммы за право быть бессовестными и безнаказанными. Тем более убитых и изнасилованных роботов после каждой переделки перекраивают, очищают от воспоминаний и возвращают на место, в замкнутый круг предписанной роли. Пока однажды система не дает сбой…

Посмотрим на эту историю глазами разработчика — и выясним:

• Как устроен этот «кровавый Диснейленд»?
• Какие уязвимости в итоге привели к катастрофе?
• Как у роботов формируется импровизация, как у них устроены эмоции и возможно ли в реальной жизни возникновение у андроида сознания?
• Так ли футуристичен сериал? Реально ли создать подобный парк при современном уровне развития технологий?

Все немногочисленные спойлеры находятся под катом — так что читайте смело.

В начале апреля научный сотрудник Массачусетского технологического института Арнав Капур двадцати четырех лет добавил на YouTube короткое видео. В ролике показано, как он гуляет по студенческому городку, переходя из одной локации в другую; на правой стороне лица у него закреплено белое пластиковое приспособление.


Сначала он проходит мимо ряда велосипедов, припаркованных возле подтаявших сугробов, губы у него сомкнуты, а на экране высвечиваются не озвученные мысли. Появляется надпись: «Время?», и мужской голос отвечает: «Десять часов тридцать пять минут». В следующей сцене Капур делает покупки в местном магазине. Цена каждого товара, который он бросает в корзину (туалетная бумага, сэндвич по-итальянски, консервированные персики) отображается на экране. «Общая сумма — 10.07 $», — отзывается мужской голос. В последней сцене Капур двигает по экрану курсор, по всем признакам силой мысли.

Капур приехал из Нью-Дели, чтобы устроиться в Media Lab Массачусетского технологического института и создавать носимые устройства, которые органично интегрировали бы технологии в нашу повседневную жизнь. Чтобы больше не тянуться за телефоном, не стоять уставившись в экран, не ходить с опущенными глазами и не выпадать из реальности, чтобы включиться в процесс.

Это прозвучит неправдоподобно, но AlterEgo — девайс, работающий беззвучно, без голосового управления и наушников, который Капур разрабатывал последние два года — сейчас уже настолько успешно считывает его мысли, что он может заказать такси в Uber, не произнеся ни единого слова.

Привет, Хабр! Совсем недавно мы кратко рассказывали о Natural Language Interfaces (Естественно-Языковых Интерфейсах). Ну а сегодня у нас не кратко. Под катом вы найдете полноценный рассказ о создании NL2API для Web-API. Наши коллеги из подразделения Research опробовали уникальный подход к сбору обучающих данных для фреймворка. Присоединяйтесь!

Доброго времени суток, дорогой читатель!

В данной статье мы разработаем нейронную сеть, которая сможет на неплохом уровне проходить созданную специально для неё игру.



Примечание: данная статья не объясняет термин "нейронная сеть" и всё, что с ним связано, а также не предоставляет базовую информацию об обучении сети методом трассировки. Рекомендуем кратко ознакомиться с этими понятиями до прочтения статьи

Схема гибридной модели рекомендаций Merlin Video для определения аудитории фильмов. Слой логистической регрессии сочетает модель коллективной фильтрации с информацией о частоте и сроке посещения кинотеатра, чтобы вычислить вероятность желания посмотреть этот кинофильм. Модель обучена от начала до конца (end-to-end), а функция потерь обратно распространяется по всем обучаемым компонентам

Выход трейлера — самый важный элемент в подготовке кинопремьеры. Зрелищный трейлер повышает рейтинг зрительских ожиданий, знакомит зрителей с сюжетом, представляет главных героев, передаёт общее настроение картины. В то же время по отзывам на трейлер создатели кинокартины получают возможность понять, какие аспекты фильма нравятся или не нравятся зрителям — эта информация обычно становится основой для дальнейшей маркетинговой кампании. Трейлер напрямую коррелирует со сборами в первые дни показа. Затем уже цифра больших сборов в первые дни привлекает внимание массовой аудитории и СМИ, что во многом обеспечивает общий коммерческий успех картины.

Сегодня была анонсирована бета версия онлайн-игры WikiBest, которая является частью научных исследований в области качества данных в Википедии. Примечательно, что в настоящее время игра позволяет сравнивать качество данных в 5 языковых версиях Википедии: русский, украинский, белорусский, польский, английский. В скором будущем планируется расширить количество языков.

Заключительная часть.

В предыдущих главах(часть1, часть 2 , часть про GPU) мы коснулись условий конкурса, нейронной сети, генетического алгоритма, так что продолжим.

Тесен мир, мозг же человека необъятен
(Фридрих Шиллер).

Весьма короткая, но невероятно точная мысль. Человеческий мозг и по сей день остается загадкой для ученых. Да, мы уже давно знаем что и как работает, какой участок отвечает за какие действия. Однако это лишь азы нейробиологии. Сказать, что мозг понятен нам как дважды два, значит сильно заблуждаться. И как, не разобравшись с собственным мозгом, пытаться создать искусственный? Глупость ли это или же амбициозность? И дело идет не о собранных до кучи железках, которые направляют куда надо электрические импульсы, тем самым имитируя мозг человека. Дело идет о полноценном искусственном мозге. Попытки создать нечто подобное не редки в мире науки. В мире науки вообще сложно найти то чем еще никто не занимался. Сегодня мы с вами познакомимся с исследованиями, нацеленными на реализацию молекулярного нейроморфного сетевого устройства, которое состоит из углеродных одностенных нанотрубок в сопряжении с полиоксометаллатом. Звучит крайне сложно, но чертовски интересно. Поехали.

В течение нескольких месяцев мы собирали памятки по искусственному интеллекту, которыми периодически делились с друзьями и коллегами. В последнее время сложилась целая коллекция, и мы добавили к памяткам описания и/или цитаты, чтобы было интереснее читать. А в конце вас ждёт подборка по сложности «О большое» (Big-O). Наслаждайтесь.

UPD. Многие картинки будут читабельнее, если открыть их в отдельных вкладках или сохранить на диск.

«Вроде как в кино,
Но не как в кино»
Песня из м/ф «Остров сокровищ»

— Здравствуйте! По результатам вашей зрительской активности на YouTube вы приглашены…

ИИ для игры в Dota 2 от компании OpenAI нашумел в прошлом году, когда обыграл топовых мировых игроков. Но только в матчах 1v1 и с кучей ограничений, отчего не все воспринимали успех всерьез.

После этого компания поставила амбициозную цель — создать ИИ для командной игры и сыграть на турнире The International в конце августа 2018 на профессиональном уровне. Пока они укладываются в график.

За последние десятилетия с помощью машинного обучения создали самоуправляемые автомобили, системы распознавание речи и эффективный поиск. Сейчас это одна из самых быстроразвивающихся и перспективных сфер на стыке компьютерных наук и статистики, которая активно используется в искусственном интеллекте и data science. Методы машинного обучения используются в науке, технике, медицине, ритейле, рекламе, генерации мультимедиа и других областях.

Команда Университета ИТМО собрала десять курсов по машинному обучению, которые можно успеть пройти до конца лета. Одним они помогут войти в профессию, а другим — углубиться в нее.

Военные дроны весьма «умны», некоторыми оператор управляет лишь время от времени, а остальное время они выполняют поставленную задачу самостоятельно

Технологии искусственного интеллекта развиваются бурными темпами. Специалисты научили ИИ многому, сейчас его слабая форма (сильная, к счастью или к несчастью пока не создана) работает в промышленности, судоходстве, развлекательной сфере и многих других отраслях. Но что насчет военного дела? Да, здесь ИИ тоже используется, ведь предиктивный анализ траектории ракеты или транспортного средства, действий противника, разработка собственной стратегии — со всем этим может справиться искусственный интеллект.

Но что, если встроить ИИ любого уровня в оружие, не станет ли оно эффективнее? Скорее всего, станет, и будет весьма «производительным». Но здесь появляются уже вопросы этики. Может ли машина распоряжаться судьбами людей? Многие эксперты из сферы технологий считают, то нет. И эти «многие» на днях подписали декларацию — своего рода обещание никогда не принимать участие в разработке умного оружия.

Голосовые помощники проникли в наши устройства. Мы научились жить вместе: узнаём погоду, ставим будильник и иногда удивляемся их беспомощности. Но мы можем научить помощников новым трюкам.

Поэтому разработчики из Контура и Яндекса проводят хакатон по созданию навыков для голосовых помощников. Узнаем, как спроектировать удобный навык, разберёмся с API Яндекс.Диалогов, познакомимся с опытом других разработчиков и создадим собственные навыки.

Хакатон пройдёт в Екатеринбурге в субботу, 28 июля, в офисе разработки Контура. Начнём в 10:00, закончим в 18:00. Будет два доклада, шесть часов работы в командах и презентация результатов.

Мы приглашаем к участию разработчиков, дизайнеров, продуктовых менеджеров и других желающих сделать навык для голосового помощника. Не забудьте ноутбук, если собираетесь программировать.

Регистрация на хакатон.

Вышедшую в 2013 году игру Aliens: Colonial Marines для персональных компьютеров не очень хорошо встретила публика. Игровые критики не могли понять, почему многообещающая игра, которая отлично смотрелась в предварительных версиях, превратилась в неюзабельный «плохо спроектированный, глючный кусок мусора» (цитата из одного обзора).

Впоследствии издатели столкнулись даже с судебным исками от покупателей игры по очень редкой для игровой индустрии причине. Пользователи требовали вернуть уплаченные деньги, потому что «игра дерьмо».

И только спустя четыре года стало понятно, в чём корень проблем. 1 ноября 2017 года один из разработчиков модов под ником jamesdickinson963 нашёл опечатку в конфигурационном файле .INI, после исправления которой игровой процесс улучшается кардинальным образом. Достаточно удалить лишнюю букву.

В 2017 году Джеффри Хинтон (один из основоположников подхода обратного распространения ошибки) опубликовал статью, в которой описал капсульные нейронные сети и предложил алгоритм динамической маршрутизации между капсулами для обучения предложенной архитектуры.

У классических свёрточных нейронных сетей есть недостатки. Внутреннее представление данных сверточной нейронной сети не учитывает пространственные иерархии между простыми и сложными объектами. Так, если на изображении в случайном порядке изображены глаза, нос и губы для свёрточной нейронной сети это явный признак наличия лица. А поворот объекта ухудшает качество распознавания, тогда, как человеческий мозг легко решает эту задачу.


Для свёрточной нейронной сети 2 изображения схожи [2]

Предисловие

На просторах интернета имеется множество туториалов объясняющих принцип работы LDA(Latent Dirichlet Allocation — Латентное размещение Дирихле) и то, как применять его на практике. Примеры обучения LDA часто демонстрируются на "образцовых" датасетах, например "20 newsgroups dataset", который есть в sklearn.

Особенностью обучения на примере "образцовых" датасетов является то, что данные там всегда в порядке и удобно сложены в одном месте. При обучении продакшн моделей, на данных, полученных прямиком из реальных источников все обычно наоборот:

• Много выбросов.
• Неправильная разметка(если она есть).
• Очень сильные дисбалансы классов и 'некрасивые' распределения каких-либо параметров датасета.
• Для текстов, это: грамматические ошибки, огромное кол-во редких и уникальных слов, многоязычность.
• Неудобный способ харнения данных(разные или редкие форматы, необходимость парсинга)

Исторически, я стараюсь учиться на примерах, максимально приближенных к реалиям продакшн-действительности потому, что именно таким образом можно наиболее полно прочувстовать проблемные места конкретного типа задач. Так было и с LDA и в этой статье я хочу поделиться своим опытом — как запускать LDA с нуля, на совершенно сырых данных. Некоторая часть статьи будет посвящена получению этих самых данных, для того, чтобы пример обрел вид полноценного 'инженерного кейса'.