«Закон Яровой» вступил в силу: что дальше?



1 июля вступил в силу так называемый «закон Яровой». Это означает, что операторы связи обязаны начать хранить данные своих пользователей, включая записи разговоров, переписку, видео, изображения и сопутствующую информацию. Хранить все это придется в течение полугода.

Операторы связи уже приступили к реализации мер, прописанных в законе, но для того, чтобы выполнить все предписания, придется потратить много времени и еще больше — денег. Например, в случае «Мегафона» на организацию хранения данных пользователей во всей сети необходимо около пяти лет, о чем сообщает «РБК».

Компания DeepMind, бывшая некогда подразделением корпорации Google, занимается разработкой ИИ (слабой его формы) для различных целей. Сейчас команда DeepMind активно участвует в создании разных форм ИИ, заточенных для игр, как логических, настольных, так и шутеров. Игр много — это и го, и StarCraft, а теперь — и Quake III Arena.

Разработчики заявили в своем блоге о том, что они обучили систему ИИ играть в Quake III Arena примерно так, как это делает человек. То есть компьютерная система научилась адаптироваться к быстро изменяющимся условиям игры, включая переключение уровней и их элементов. Традиционно, при обучении использовалась система с подкреплением.

Продолжаю рассказывать про успехи DeepMind. Этот пост про их первое известное публике достижение — алгоритм, который обучается играть в игры Atari, не зная об играх ничего, кроме пикселей на экране.

Вот, собственно, главный артефакт (если вы это видео не видели, посмотрите обязательно, оно взрывает мозг)


Вот столько примерно публично известно про компанию, когда ее покупают за полмиллиарда долларов.

Предисловие

За последние несколько лет прогресс в области искусственного интеллекта привёл к созданию методов машинного обучения на основе обучения представлениям (representation-learning) с несколькими слоями абстракции — так называемому «глубокому обучению». Общественное и медийное внимание было привлечено к этой области исследований благодаря древнекитайской настольной игре го. Несмотря на то, что сложность го часто сравнивают со сложностью самой жизни, программе AlphaGo, использующей глубокое обучение с подкреплением (deep reinforcement learning), удалось превзойти мирового чемпиона по го Ли Седоля. Удивительно, что исследования ИИ были использованы в играх и получили такое широкое общественное внимание. Стоит также заметить, что один из разработчиков AlphaGo, Демис Хассабис, был ведущим программистом Theme Park (1994 год) и ведущим программистом ИИ Black & White (2001 год). Игры и современный прогресс ИИ, возможно, имеют некую корреляцию.

Эта статья является постмортемом, отчётом о попытке нашей команды реализации генерирования уровней для Fantasy Raiders с помощью различных методов искусственных нейронных сетей. Раньше генерирование уровней было процессом кодирования знаний разработчика игры с помощью неких вероятностных техник. Однако для Fantasy Raiders мы написали программу, которая могла учиться и генерировать уровни на основании наших данных. Как нам кажется, в результате мы получили всего лишь ключ к решению задачи генерирования уровней, а не общее решение. Чтобы поделиться нашими открытиями с другими разработчиками игр мы хотим подробно рассказать о процессе наших исследований, от начала до конца.

Создавать игры сложно

И самая сложная часть создания игр — это препродакшен. Это заявление может показаться обескураживающим. Все мы слышали о очень тяжёлых периодах продакшена игр и часто видели лёгкие, простые и интересные периоды препродакшена. Почему же я утверждаю, что препродакшен сложнее? Потому что один из аспектов, способных отравить продакшен — это выполняемый во время него препродакшен. Как бы ни был сложен препродакшен, гораздо сложнее (и намного дороже) выполнять его на этапе продакшена. Позвольте объяснить: в идеальном мире никто не брался бы за производство коммерческой игры, которую ждёт провал. Если вы намереваетесь создать игру с целью извлечения прибыли, и вы знаете, что игра прибыль не принесёт, то к продакшену вы не перейдёте.

Несмотря на очевидность такого утверждения, многие проекты, в том числе и те, в которых участвовал я, не могли предвидеть того, как будут сочетаться их внешний вид, механики, звук и дизайн уровней до момента, когда игра была уже почти готова. Заключительный этап производства — ужасно неподходящий момент для обнаружения того, что работает и не работает в игре. Раздражающие или утомляющие механики приходится выбрасывать или перерабатывать, что лавинообразно и затратно сказывается на технологиях, графике и звуке.

В момент соединения всех частей (то есть создания первой играбельной версии) вы понимаете, действительно ли ваша команда шла к исходной цели. Это совершенно неподходящий момент, если вы проработали над игрой несколько лет.

Я все еще не до конца понял, как так получилось, но в прошлом году я слово за слово подписался прочитать курс по Deep Learning и вот, на удивление, прочитал. Обещал — выкладываю!

Курс не претендует на полноту, скорее это способ поиграться руками с основными областями, где deep learning устоялся как практический инструмент, и получить достаточную базу, чтобы свободно читать и понимать современные статьи.

Материалы курса были опробованы на студентах кафедры АФТИ Новосибирского Государственного Университета, поэтому есть шанс, что по ним действительно можно чему-то научиться.

С SSH многие знакомы давно, но, как и я, не все подозревают о том, какие возможности таятся за этими магическими тремя буквами. Хотел бы поделиться своим небольшим опытом использования SSH для решения различных административных задач.

Оглавление:

1) Local TCP forwarding
2) Remote TCP forwarding
3) TCP forwarding chain через несколько узлов
4) TCP forwarding ssh-соединения
5) SSH VPN Tunnel
6) Коротко о беспарольном доступе
7) Спасибо (ссылки)

Всем привет! Настало время пополнить наш с вами алгоритмический арсенал.

Сегодня мы основательно разберем один из наиболее популярных и применяемых на практике алгоритмов машинного обучения — градиентный бустинг. О том, откуда у бустинга растут корни и что на самом деле творится под капотом алгоритма — в нашем красочном путешествии в мир бустинга под катом.

UPD 01.2022: С февраля 2022 г. ML-курс ODS на русском возрождается под руководством Петра Ермакова couatl. Для русскоязычной аудитории это предпочтительный вариант (c этими статьями на Хабре – в подкрепление), англоговорящим рекомендуется mlcourse.ai в режиме самостоятельного прохождения.

Видеозапись лекции по мотивам этой статьи в рамках второго запуска открытого курса (сентябрь-ноябрь 2017).

Имплантируемые в мозг однонаправленные датчики или устройства с обратной связью могут применяться для лечения различных заболеваний вроде эпилепсии и болезни Альцгеймера, для управления протезами конечностей и экзоскелетами, для получения сигналов от бионического глаза, а также для выполнения функций самого мозга.

На протяжении последних тридцати лет учёные пытаются создать устройство, имитирующее происходящие в гиппокампе процессы с целью восстановить способность людей создавать новые воспоминания — переводить данные из кратковременной памяти в долговременную. В одной из последних работ команда из нескольких американских университетов улучшила результаты решения задач на запоминание на 35-37%.

Давайте обсудим, как далеко исследователи зашли в этой области и от кого нам ждать новых решений в будущем.


Кадр из фильма «Джонни Мнемоник»

§2-9 Модели себя и самосогласованность

Для решения сложной проблемы, нужно разработать план, но потом вам нужно его воплотить в жизнь. Вам не поможет наличие пошагового плана, если вы имеете тенденцию бросать дело до того как оно будет закончено. Это означает, что вам необходимо иметь некоторый уровень «самодисциплины», что, в свою очередь, требует достаточного уровня самосогласованности, которую вы можете предсказывать, в какой-то мере, для предсказания, в некоторой степени, что вы с большей доли вероятности будете делать в будущем. Мы все знаем людей, которые составляют искусные планы, но довольно редко воплощают их в жизнь, потому что их модели того что они на самом деле делают не согласуются, в достаточной степени, с их реальными действиями. Но как может машина, состоящая из триллиона синапсов вообще быть предсказуемой? Как наш мозг может управлять самим собой несмотря на свою сложность?

Ответ должен быть следующим: мы учимся представлять вещи невероятно просто, но крайне успешно.

«Это эссенция тридцатилетнего опыты разработки программного обеспечения.»

Приветствую, Хабр.

Хочу представить лучшую (единственную) книгу по построению сообществ, написанную тру ИТишником.

Для себя я нашел применимые инструменты для анализа сообщества/организованности «на лету»(я и еще более 100 человек провели «аудит» Хабра), а так же подсказки, какой "генотип" закладывать при разработке нового продукта/брэнда/движухи. Читайте, сохраняйте, расшаривайте и пишите свой отзыв.

Об авторе

«К сожалению, мы не выбираем себе смерть, но мы можем встретить ее достойно, чтобы нас запомнили, как мужчин.»
— к/ф «Гладиатор»



Питер Хинченс (Pieter Hintjens) — бельгийский разработчик, писатель. Занимал должность CEO и chief software designer в iMatix, компании, производящей free software, такие как библиотека ZeroMQ (библиотека берет на себя часть забот о буферизации данных, обслуживанию очередей, установлению и восстановлению соединений и прочие), OpenAMQ, Libero, GSL code generator, и веб-сервиса Xitami.

• Автор более 30 протоколов и распределенных систем.
• Основатель проекта Edgenet по созданию полностью безопасной, анонимной глобальной P2P-сети.
• Президент ассоциации Foundation for a Free Information Infrastructure (FFII), которая воевала с патентным правом.
• CEO сервиса по созданию собственных вики-проектов Wikidot.
• Он был активистом open standards и основателем Digital Standards Organization.
• Питер в 2007-м был назван одним из 50 самых влиятельных людей в области «Интеллектуальная собственность».

§2-7 Связи новорожденных и животных

«Мы хотим создать машину, которая гордилась бы нами.»
— Дэнни Хиллис, 1983

Малышка Кэрол любит исследовать, но также ей нравится быть рядом со своей матерью, поэтому, когда расстояние между ними растёт, Кэрол пытается быстро сократить дистанцию. Но как только она обнаруживает себя в одиночестве, Кэрол начинает плакать и искать свою маму. Точно такое же поведение также проявляется, когда мама Кэрол рядом, однако Кэрол испытывает тревогу или страх, например, при приближении незнакомца.

Естественно, эта зависимость проистекает из нашей инфантильной беспомощности: ни один младенец не выживет, если уйдет от родительской опеки. Конечно, это происходит, не потому что младенцы не могут долго двигаться самостоятельно, а связано с тем недостатком, что в первые несколько месяцев младенцы не могут следовать за своими матерями. К счастью, люди обычно не испытывают большого вреда от этого недостатка, потому что мы развили систему обратной связи: мать Кэрол почти всегда осознаёт (в разной степени в разное время) то, что происходит с её дочерью, и поэтому её внимание быстро возвращается на ребёнка при малейшем подозрении если что-то идёт не так.

§2-5 Обучение и удовольствие

Когда Кэрол пыталась наполнить своё ведёрко, она попробовала несколько экспериментов до того, как у неё получилось задуманное благодаря использованию ложки. Когда она понимала, что её цель достигнута, она ощущала удовлетворение и чувство полученной награды, и тогда эти приятные чувства каким-то образом помогли ей обучиться и запомнить опыт. Итак, этот процесс включал множество шагов:

• Кэрол наполнила своё ведёрко ложкой.
• Она поняла, что её цель достигнута.
• Затем она почувствовала удовлетворение своим успехом.
• Затем, как-то, это удовлетворение помогло ей запомнить опыт.

Сейчас мы довольны, что она чувствовала себя удовлетворённой, но какие функции обеспечиваются всеми этими чувствами, и почему этот процесс требует так много шагов? Какую роль может играть чувство удовольствия в процесс создания воспоминаний? Почему Кэрол просто не могла запомнить какой метод сработал, а какой — нет?

§ 2-3 Отпечатыватели (Imprimers)

“Сейчас, стыд является ментальной мерой позора, в которой мы сжимаемся от осознания позора, а не от последствий действий, и нам остается только предполагать, какое составляется о нас мнение, из этого следует, что люди, перед которыми мы чувствуем стыд- это те, чье мнение имеет для нас значение. Эти люди являются: те, кем мы восхищаемся; те, кто восхищается нами; те, восхищение которых мы желаем добиться; те, с которыми мы противоборствуем; и те, чье мнение мы уважаем.”
— Аристотель в Риторике 2,6

Наш язык имеет огромное количество слов для описания нашего эмоционального состояния. Когда мы описывали игру Кэрол с грязью, мы уже должны были использовать целую дюжину: влечение, смятение, тревогу, самоуверенность, разочарованность, беспокойство, фрустрацию, страх, склонность, удовольствие, гордость, удовлетворение, стыд и печаль.

Почему вообще у нас есть подобные состояния, и почему этих состояний так много? Почему Кэрол ощущала себя благодарно и гордо, когда она получала похвалу от своей матери? И почему это все, каким-то образом, возвышает цели, делая их более желанными?

Студент: Вы уже начали обсуждать, что она должна иметь что-то вроде “связующих элементов”, которые заставляют её реагировать подобным специфическим образом — прямо как говорил Аристотель, из-за беспокойства её матери. Но это никак не объясняет почему одна только похвала не может сделать цель желанной, а это зависит от, ммм…, я не могу придумать правильное слово для описания этого — “человека к которому она привязана”?

2.1. Играя с грязью

«Это не просто изучение вещей, которые важны. Это обучение тому, что делать с тем, что вы учите и познанием, почему вы изучаете все эти важные вещи» — Нортон Джастер, рассказ Фантомный Киоск (The Phantom Tollbooth)

Ребенок по имени Кэрол играет с грязью. Оборудованная вилкой, ложкой и чашкой её задача испечь воображаемый пирог, таким же способом, как готовить её мать. Давайте предположим, что она играет одна и вообразим три вещи, которые могут случиться с ней:

Она играет одна. Она хочет наполнить свою чашку грязью и сперва делает это при помощи своей вилки, однако она терпит неудачу потому что грязь просачивается через зубчики вилки. Она разочарованна и ощущает фрустрацию. Но, когда у неё получается задуманное благодаря использованию ложки, Кэрол довольна и ощущает удовлетворение.

Что может извлечь из этой ситуации Кэрол? Она получила знание методом проб и ошибок, о том, что вилки не очень-то приспособлены для переноса грязи. Но благодаря опыту с ложкой она приобрела знание, что ложки являются хорошим инструментом для переноса жидкости. Благодаря ошибкам мы понимаем какой метод не работает — в то время как успех учит нас какой метод принесёт успех. [Пояснения в §9-2.]

Заметьте, что Кэрол сделала это когда работала в одиночестве — и получила новые знания самостоятельно. В случае обучения методом проб и ошибок ей не потребовался учитель для оказания помощи.

О жизнь — великий песенный цикл,
Переплетение случайностей,
А любовь — то, что всегда верно,
И я — Мария Румынская.
— Дороти Паркер.

Многие считают абсурдным рассуждать о человеке как о своего рода машине — почему мы и слышим периодически заявления, подобные этому:

Гражданин: Ну разумеется машины полезны для нас. Мы можем давать им складывать гигантские столбцы чисел или собирать автомобили на заводах. Но ничто механическое не может обладать настоящими чувствами, такими как любовь.

В наши дни никого уже не удивляет, что машины способны выполнять логические операции, потому что сама логика основана на прозрачных, простых правилах — как раз таких, которыми может с лёгкостью оперировать вычислительная машина. Однако Любовь, скажут некоторые, не может быть объяснена в этих простых понятиях, не стоит и пытаться. Вспомним слова Пабло Неруды:

Любовь должна быть такой,
Влекущей и всеобъемлющей,
Исключительной и ужасающей,
Почитаемой и всё же скорбящей,
Расцветающей, словно звёзды,
И безмерной — как поцелуй.
— Из «Экстравагарио».

Что есть любовь и как она работает? Нужно ли нам пытаться её понять, или может, стоит воспринимать подобную поэзию как намёк на наше нежелание разбираться в вопросе? Давайте взглянем на попытку нашего товарища Чарльза описать собственное недавнее увлечение:

Чарльз: Я только что влюбился в замечательного человека. У меня с трудом получаеться думать хоть о чём-то, кроме неё. Моя любимая невероятно совершенна — неописуемой красоты, безупречного характера, невообразимого ума. Нет ничего, чего я не сделал бы ради неё.

Нора Джойс мужу Джеймсу: «Почему бы тебе не написать понятную людям книгу?»

Я надеюсь эта книга будет полезна интересующимся работой человеческого мышления, тем, кто хочет совета по его развитию или пробует конструировать умные машины. Она будет полезна и тем, кто хочет узнать больше об искусственном интеллекте. А также психологам, неврологам, специалистам по информатике, философам, так как развивает новые идеи, над которыми они работают.

Все мы восхищаемся достижениями в науке, искусстве и литературе, но редко признаем наши достижения в повседневной жизни. Мы распознаем то, что видим, понимаем смысл услышанного и можем применить накопленные знания и опыт для решения новых задач.

Мы также способны на то, что не может ни одно другое живое существо: как только наш образ мышления терпит крах, мы начинаем думать над своими мыслями — такое рефлексивное мышление помогает найти ошибку в рассуждениях и помогает изобрести новые, более эффективные образы мышления. Однако мы все еще очень мало знаем о том, как наш мозг с этим справляется. Как работает воображение? Что такое сознание? Что такое эмоции, чувства, мысли? И в конце концов как мы думаем?

Сравните это с прогрессом в естественных науках. Что такое твердые тела, жидкости и газы? Что такое цвет, звук и температура? Что такое сила, давление и деформация? Какова природа энергии? Сегодня почти все подобные загадки объяснены несколькими простыми законами — уравнениями Ньютона, Максвелла, Эйнштейна и Шредингера.

«Цель этого курса — подготовить вас к вашему техническому будущему.»

Привет, Хабр. Помните офигенную статью «Вы и ваша работа» (+219, 2365 в закладки, 360k прочтений)?

Так вот у Хэмминга (да, да, самоконтролирующиеся и самокорректирующиеся коды Хэмминга) есть целая книга, написанная по мотивам его лекций. Давайте ее переведем, ведь мужик дело говорит.

Это книга не просто про ИТ, это книга про стиль мышления невероятно крутых людей. «Это не просто заряд положительного мышления; в ней описаны условия, которые увеличивают шансы сделать великую работу.»

Мы уже перевели 11 (из 30) глав.
За перевод спасибо urticazoku, который откликнулся на мой призыв в «предыдущей главе». Кто хочет помочь с переводом — пишите в личку или на почту magisterludi2016@yandex.ru (Кстати, мы еще запустили перевод еще одной крутейшей книги — «The Dream Machine: История компьютерной революции»)

Искусственный интеллект — III

Я предлагаю сделать паузу и обсудить следующий вопрос:

Могут ли машины думать?

а также почему важно прийти к собственным выводам о том, что смогут и не смогут делать машины в будущем. Рассмотрим следующий список утверждений:

Завтра искусственный интеллект поработит Землю и станет использовать человеков в качестве смешных батареек, поддерживающих функционирование его систем, а сегодня мы запасаемся попкорном и смотрим, с чего он начинает.

19 октября 2017 года команда Deepmind опубликовала в Nature статью, краткая суть которой сводится к тому, что их новая модель AlphaGo Zero не только разгромно обыгрывает прошлые версии сети, но ещё и не требует никакого человеческого участия в процессе тренировки. Естественно, это заявление произвело в AI-коммьюнити эффект разорвавшейся бомбы, и всем тут же стало интересно, за счёт чего удалось добиться такого успеха.

По мотивам материалов, находящихся в открытом доступе, Семён sim0nsays записал отличный стрим:


А для тех, кому проще два раза прочитать, чем один раз увидеть, я сейчас попробую объяснить всё это буквами.

Сразу хочу отметить, что стрим и статья собирались в значительной степени по мотивам дискуссий на closedcircles.com, отсюда и спектр рассмотренных вопросов, и специфическая манера повествования.

Ну, поехали.

Итак, пока наши новые повелители отдыхают, давайте я попробую рассказать как работает AlphaGo. Пост подразумевает некоторое знакомство читателя с предметом — нужно знать, чем отличается Fan Hui от Lee Sedol, и поверхностно представлять, как работают нейросети.