Искусственный интеллект

Компьютерное зрение все глубже интегрируется в нашу жизнь. При этом, мы даже не замечаем всего этого наблюдения за нами. Сегодня расскажем о системе, помогающей анализировать эмоции посетителей на конференциях, в учебном процессе, в кинотеатрах и много где ещё. Кстати, покажем код и расскажем о практических кейсах. Заглядывайте под кат!

Райан Даль (Ryan Dahl) в 2009 году представил Node.js, спустя несколько лет отошел от дел, а на прошлой неделе нашумел новым проектом: deno — A secure TypeScript runtime on V8 (GitHub, распаковка).

Самое время вспомнить интервью, которое Райан дал подкасту Mapping The Journey в августе 2017 года, о себе, карьере, о Node.js, и почему он перестал им заниматься, над чем работает сейчас (на тот момент).

Фрагмет перевода этого интервью уже был на Хабре: Создатель Node.js: «Для серверов я не могу представить другой язык кроме Go». В данном посте публикуется полный перевод.

Уровни игры Montezuma’s Revenge на Atari

Компания DeepMind продемонстрировала процесс обучения ИИ (слабой его формы) для прохождения игр на Atari. Обучение производилось путем демонстрации системе видео прохождения игр с YouTube. Такой способ используют многие игроки-люди, у которых по той либо иной причине не получалось пройти какую-то игру.

Обычно для решения такой задачи необходимо использовать так называемый метод обучения с подкреплением (reinforcement learning). Методика эта достаточно популярна, поскольку позволяет тренировать ботов для выполнения различных специфических задач. Как только система добивается какого-либо результата, она получает небольшое вознаграждение.

Всем привет!

Ни для кого не секрет, что интерес к машинному обучению и искусственному интеллекту растет в лучшем случае по экспоненте. Тем временем мой Яндекс Диск превратился в огромную свалку пейперс, а закладки в Google Chrome превратились в список, длина которого стремится к бесконечности с каждым днем. Таким образом, дабы упростить жизнь себе и вам, решил структурировать информацию и дать множество ссылок на интересные ресурсы, которые изучал я и которые рекомендую изучать вам, если вы только вначале пути (буду пополнять список постоянно).

Путь для развития новичка я вижу примерно так:

RUVDS совместно с Хабром начинают проект, состоящий из серии интервью с интересными, на наш взгляд, людьми в IT-среде. Сегодня мы представляем интервью с руководителем группы разработки диалоговых систем в Яндексе, Борисом Янгелем.

Почему Алиса, а не Макс, в чем был не прав бывший министр связи Никифиров, зачем запускать Tesla в космос. Ответы в видео и тексте под катом.

Интервью помогли подготовить Лера Негря и редактор Хабра Николай Землянский.

Несколько минут назад на конференции YaC 2018 мы впервые рассказали о Яндекс.Станции. Это первое мультимедийное устройство с Алисой, которое воспроизводит музыку и фильмы, рассказывает детям сказки, помогает в повседневных делах, а также поддерживает навыки от сторонних разработчиков.

Может показаться, что для создания подобных устройств достаточно взять голосового помощника, добавить к нему простой микрофон из смартфона и спрятать всё это в корпусе недорогой аудиоколонки. На практике перед разработчиками подобных систем стоят серьёзные технологические проблемы, о решении которых в Станции мы и расскажем сегодня читателям Хабра. Вы также узнаете, что именно представляет собой технологическая платформа Yandex.IO, на основе которой и создано устройство.

Чатботы и искусственный интеллект для понимания естественного языка (NLU – Natural Language Understanding) тема достаточно горячая, про нее не раз говорилось на Хабре. Тем не менее достаточно редко попадаются верхнеуровневые и структурированные обзоры этих технологий и рынка в целом. В своей статье мы попробуем немного разобраться, чем обусловлен спрос на эти технологии, как выглядит современная диалоговая платформа для NLU, какие компании и разработки присутствуют на этом рынке.

Здесь и далее ссылки с кадров фильма ведут на видео с соответствующими сценами

Мимолётное видение будущего

Был 1968 год. Мне было 8 лет. «Космическая гонка» была в самом разгаре. Недавно в первый раз космический зонд опустился на поверхность другой планеты (Венеры [это была советская автоматическая межпланетная станция "Венера-3" / прим. перев.]). Я жадно изучал всё, что было связано с космосом.

Затем 3 апреля 1968 года (в Британии – 15 мая) вышел фильм "Космическая одиссея 2001 года", и мне очень хотелось его увидеть. Поэтому в начале лета 1968 я впервые в жизни попал в кинотеатр. Меня привезли посмотреть дневной показ, и я был практически единственным зрителем в зале. По сей день я помню, как сидел на плюшевом кресле и с нетерпением ожидал, когда поднимут занавес и начнётся кино.

Ноябрь 2017 года, на календаре отображалось число одиннадцать. Распродажа на Aliexpress шла полным ходом, руки чесались что-нибудь купить. Выбор пал на "Ми-свет RGBW светодиодный лампы AC86-265V удаленного управление Smart освещения". В итоге были приобретены два экземпляра максимальной мощности, на 9 ватт, и хаб-контроллер MiLight WiFi iBox. Доставка из Китая не заставила себя долго ждать, а спустя 4 месяца, 13 марта 2018, открылась платформа Яндекс.Диалоги (платформа, позволяющая сторонним разработчикам добавлять умения голосовому помощнику «Алиса»). Следом Алиса научится управлять освещением (и не только) у вас в квартире, а мы с вами ей в этом поможем, поэтапно и без единой строчки кода.

Компьютеризация помогает всем нам жить лучше. При помощи специализированных программно-аппаратных систем бизнес, военные, ученые повышают эффективность своей работы. Китайцы считают, что компьютеры должны помогать ученикам повышать успеваемость. Не только лишь при помощи эффективных систем обучения, но и посредством иных инструментов.

А именно — системы распознавания лиц. Классы изменяются, но лишь немного — над доской после модернизации на учеников смотрят три «глаза». Речь идет о камерах, которые передают видеоизображение на специализированные сервера. А там программный комплекс выделяет тех учеников, кто отвлекается — смотрит в окно, рисует что-то в тетради, или болтает с соседом.

Несколько дней назад корпорация Google представила сразу несколько новинок, которые взбудоражили как представителей телекоммуникационной сферы, так и обычных людей. Одна из них — сервис Google Duplex, это слабая форма ИИ, способная позвонить вместо своего пользователя в парикмахерскую и записать человека на определенное время.

Duplex можно считать своего рода цифровым ассистентом человека, причем гораздо более «человечным» чем те же Siri или Cortana. Обычные диалоги ассистент вести не может, работа его касается лишь назначения времени встречи или приема. Но «речь» виртуального помощника звучит очень реалистично. Вряд ли кто-либо из нас смог бы отличить ее от речи обычного человека. И как раз эта схожесть напугала некоторых специалистов по информационной безопасности.

Вчера в 8 вечера по Москве на сцену Shoreline Amphitheater в Маунтин-Вью вышел Сундар Пичаи и открыл Google I/O 2018. Конференция продлится три дня с 8 по 10 мая, но главное объявили со сцены во время традиционной программной речи. Android P научился жестам как в iOS 11 на iPhone X, Google Assistant теперь говорит шестью разными голосами и почти проходит тест Тьюринга, а разработчикам раздадут ML Kit для внедрения machine learning в их приложения.

Поздним вечером в воскресенье 18 марта 2018 года около города Темпе (штат Аризона) произошло ДТП с участием беспилотного автомобиля Uber. К сожалению, переходившая проезжую часть женщина с велосипедом скончалась. Тот инцидент многократно обсуждался на Geektimes. Особенно активно обсуждалась видеозапись, которую через несколько дней опубликовало местное полицейское управление. На 22-секундном видео присутствует два фрагмента: съёмка с фронтальной камеры на дорогу и съёмка водителя-человека, который сидит за рулём и контролирует работу автопилота.


Женщина за рулём машины в момент аварии опустила глаза на смартфон и не успела среагировать на препятствие, неожиданно выскочившее из темноты в круг ближнего света.

Наиболее оживлённую дискуссию вызвал тот факт, что автопилот врезался в пешехода на полном ходу, даже не попытавшись снизить скорость или уклониться от столкновения. Это удивительно, учитывая большое количество оборудования для компьютерного зрения. Ведь женщина переходила дорогу прямо перед лидаром и несколькими видеокамерами автомобилями, а судя по видеозаписям других участников дорожного движения, участок был неплохо освещён.

Китайские полицейские поймали подозреваемого в совершении экономических преступлений за 90 км от города, в котором он скрывался, распознав его в очереди на концерт с 50 тысячами зрителей. После ареста подозреваемый сказал, что не рискнул бы на подобную вылазку, если бы подозревал о реальных возможностях действующей в стране системы распознавания лиц.

«Мы считаем, что Google не следует становится частью военного бизнеса. Поэтому мы просим компанию отменить проект Maven, а также опубликовать и применять политику, которая чётко заявляет, что ни Google, ни её подрядчики никогда не будут строить военные технологии», — так начинается текст коллективного письма к работодателю, которое сейчас массово подписывают сотрудники Google. Документ подписали уже более 3100 человек, сообщает NY Times. Редакция заполучила текст (pdf).

Как стало известно месяц назад, поисковый гигант заключил контракт с Министерством обороны США. В рамках проекта Maven до конца 2017 года планировалось «внедрить продвинутые компьютерные алгоритмы в правительственные платформы для распознавания объектов на большом количестве движущихся или неподвижных изображений». По сути, это система машинного зрения для военных БПЛА.

Из блога Стивена Вольфрама — британского физика, математика, программиста, писателя. Разработал систему компьютерной алгебры Mathematica и систему извлечения знаний WolframAlpha.

Суть задачи

Допустим, мы можем расставить по нашей солнечной системе (и за её пределами) маяки, способные выжить несколько миллиардов лет и записать все достижения нашей цивилизации. Какими они должны быть?

На этот вопрос довольно легко придумать поверхностный и неглубокий ответ. Но на самом деле мне кажется, что это – глубокая и, в каком-то смысле, нерешаемая, философская проблема, связанная с такими фундаментальными понятиями, как знания, коммуникации и смысл.

И всё же один мой приятель недавно занялся этой проблемой всерьёз – он делает маленькие кварцевые диски, и хочет разбросать их по солнечной системе при помощи космических кораблей. Сначала я говорил, что эти попытки тщетны, но в итоге всё же согласился побыть советником проекта, и, по крайней мере, попытаться решить, что мы можем с этим сделать.

Хорошо, так в чём проблема? По сути, она состоит в передаче знаний или смысла изнутри нашего культурного и интеллектуального контекста наружу. Чтобы понять, что это трудно, достаточно вспомнить об археологии. Для чего несколько тысяч лет назад какие-то камни были выстроены в определённой конфигурации? Иногда мы можем ответить на такой вопрос, поскольку он оказывается близким к нашей современной культуре. Но большую часть времени сказать это очень сложно.

Разработчики из Google Brain доказали, что «противоречивые» изображения могут провести как человека, так и компьютер; и возможные последствия — пугающие.



На картинке выше — слева вне всякого сомнения кот. Но можете ли вы сказать однозначно, кот ли справа, или просто собака, которая выглядит похожей на него? Разница между ними в том, что правая сделана при помощи специального алгоритма, который не даёт компьютёрным моделям, называемым «сверточными нейросетями» (CNN, convolutional neural network, далее СНС) однозначно сделать вывод, что на картинке. В данном случае СНС считают, что это скорее пёс, нежели кот, но что самое интересное — большинство людей думают точно так же.

В 2020 году библиотека Natasha значительно обновилась, на Хабре опубликована статья про актуальную версию. Чтобы использовать инструменты, описанные в этом тексте, установите старую версию библиотеки pip install natasha<1 yargy<0.13.

Раздел про Yargy-парсер актуален и сейчас.

Есть стандартная задача извлечения именованных сущностей из текста (NER). На входе текст, на выходе структурированные, нормализованные объекты, например, с именами, адресами, датами:



Задача старая и хорошо изученная, для английского языка существует масса коммерческих и открытых решений: Spacy, Stanford NER, OpenNLP, NLTK, MITIE, Google Natural Language API, ParallelDots, Aylien, Rosette, TextRazor. Для русского тоже есть хорошие решения, но они в основном закрытые: DaData, Pullenti, Abbyy Infoextractor, Dictum, Eureka, Promt, RCO, AOT, Ahunter. Из открытого мне известен только Томита-парсер и свежий Deepmipt NER.

Я занимаюсь анализом данных, задача обработки текстов одна из самых частых. На практике оказывается, что, например, извлечь имена из русского текста совсем непросто. Есть готовое решение в Томита-парсере, но там неудобная интеграция с Python. Недавно появилось решение от ребят из iPavlov, но там имена не приводятся к нормальной форме. Для извлечения, например, адресов («ул. 8 Марта, д.4», «Ленинский проезд, 15») открытых решений мне не известно, есть pypostal, но он чтобы парсить адреса, а не искать их в тексте. C нестандартными задачами типа извлечения ссылок на нормативные акты («ст. 11 ГК РФ», «п. 1 ст. 6 Закона № 122-ФЗ») вообще непонятно, что делать.

Год назад Дима Веселов начал проект Natasha. С тех пор код был значительно доработан. Natasha была использована в нескольких крупных проектах. Сейчас мы готовы рассказать о ней пользователям Хабра.

Natasha — это аналог Томита-парсера для Python (Yargy-парсер) плюс набор готовых правил для извлечения имён, адресов, дат, сумм денег и других сущностей.

В статье показано, как использовать готовые правила из Natasha и, самое главное, как добавлять свои с помощью Yargy-парсера.

Многочисленные владельцы умной колонки Amazon Echo с цифровым помощником по имени Алекса сообщают о странном поведении гаджета. Внезапно без всякого предупреждения Алекса начинает хохотать. Иногда это случается посреди ночи, из-за чего хозяева просыпаются в испуге.

Кроме того, колонка начала непроизвольно без команды выполнять и некоторые другие действия. Например, зачитывать вслух названия местных кладбищ, похоронных компаний.

Компания Amazon сообщила изданию The Verge, что осведомлена о баге в системе распознавания речи и работает над патчем.

Программа использует передовые ИИ-технологии, но простейшие тесты говорят о том, что ей ещё далеко до реального понимания

Автор статьи — Дуглас Ричард Хофштадтер — американский физик и информатик; сын лауреата Нобелевской премии по физике Роберта Хофштадтера. Получил всемирную известность благодаря книге «Гёдель, Эшер, Бах: эта бесконечная гирлянда», опубликованной в 1979 году и в 1980 году получившей Пулитцеровскую премию в категории «Нехудожественная литература».

Как-то в воскресенье на еженедельных занятиях сальсой мой друг Фрэнк привёл с собой гостью из Дании. Я знал, что Фрэнк неплохо говорит на датском, поскольку его мать родом оттуда и он ребёнком жил в Дании. Подруга его бегло говорила по-английски, что для скандинавских стран считается нормой. Однако, к моему удивлению, в процессе общения выяснилось, что эта парочка обычно обменивается электронными письмами, переведёнными Google Translate (GT). Фрэнк пишет сообщение на английском, прогоняет через GT, чтобы получить текст на датском; она, наоборот, пишет по-датски, а затем позволяет GT перевести текст на английский. Как странно! Зачем же двум умным людям, говорящим на языке друг друга, заниматься такими вещами? Мой опыт использования ПО для машинных переводов всегда приводил меня к скептическим оценкам его возможностей. Но эти двое явно не разделяли мой скептицизм. Многие интеллигентные люди очарованы возможностями программ-переводчиков, и находят мало поводов для их критики. Это меня поражает.