«Что у нас есть?» — спросил горбоносый поворачиваясь.
«Алдан-3», — сказал бородатый.
«Богатая машина, — сказал я.”[1]

Недавно я решил заняться изучением глубокого обучения. На работе мне выдали новую карточку с поддержкой CUDA и шеф выразил пожелание что эта вершина инженерной мысли позволит нашей лаборатории сделать рывок вперёд, ну или по крайней мере, не отстать от массы конкурентов. У меня уже был некоторый опыт общения с Tensor Flow, но в этот раз я решил попробовать Torch. Привлекало что он написан на языке Lua и C, является достаточно легковесным и легко расширяемым через FFI. И ещё мне не нравится Python.

Недавно на Хабрахабр я наткнулся на статью, в процессе обсуждения которой я вспомнил что где-то в тумбочке у меня пилится Raspberry Pi, модель B+ и мне захотелось посмотреть — а смогу ли я поднять на ней torch и запустить что-нибудь несложное.

В последние годы машинное обучение превратилось в мейнстрим небывалой силы. Эта тенденция подпитывается не только дешевизной облачных сред, но и доступностью мощнейших видеокарт, применяемых для подобных вычислений, — появилась ещё и масса фреймворков для машинного обучения. Почти все из них open source, но куда важнее то, что эти фреймворки проектируются таким образом, чтобы абстрагироваться от самых трудных частей машинного обучения, делая эти технологии более доступными широкому классу разработчиков. Под катом представлена подборка фреймворков для машинного обучения, как недавно созданных, так переработанных в уходящем году. Если у вас все хорошо с английским, то статья в оригинале доступна здесь.

В цикле статей «Особенности разработки мобильной MMO RTS» мы расскажем о работе большой команды над масштабным проектом Stormfall: Rise of Balur. Этот опыт будет полезен независимым разработчиками и студиям, которые еще не определились с выбором технологий, архитектуры и структуры команды для своей RTS.

В данной статье я хочу показать насколько просто сегодня использовать нейронные сети. Вокруг меня довольно много людей одержимы идеей того, что нейронки может использовать только исследователь. И что бы получить хоть какой то выхлоп, нужно иметь как минимуму кандидатскую степень. А давайте на реальном примере посмотрим как оно на самом деле, взять и с нуля за один вечер обучить chatbot. Да еще не просто абы чем а самым что нинаесть ламповым TensorFlow. При этом я постарался описать все настолько просто, что-бы он был понятен даже начинающему программисту! В путь!

Оглавление

Часть 1 — линейная регрессия
Часть 2 — градиентный спуск
Часть 3 — градиентный спуск продолжение

Введение

Этим постом я начну цикл «Нейронные сети для новичков». Он посвящен искусственным нейронным сетям (внезапно). Целью цикла является объяснение данной математической модели. Часто после прочтения подобных статей у меня оставалось чувство недосказанности, недопонимания — НС по-прежнему оставались «черным ящиком» — в общих чертах известно, как они устроены, известно, что делают, известны входные и выходные данные. Но тем не менее полное, всестороннее понимание отсутствует. А современные библиотеки с очень приятными и удобными абстракциями только усиливают ощущение «черного ящика». Не могу сказать, что это однозначно плохо, но и разобраться в используемых инструментах тоже никогда не поздно. Поэтому моей первичной целью является подробное объяснение устройства нейронных сетей так, чтобы абсолютно ни у кого не осталось вопросов об их устройстве; так, чтобы НС не казались волшебством. Так как это не математический трактат, я ограничусь описанием нескольких методов простым языком (но не исключая формул, конечно же), предоставляя поясняющие иллюстрации и примеры.

Цикл рассчитан на базовый ВУЗовский математический уровень читающего. Код будет написан на Python3.5 с numpy 1.11. Список остальных вспомогательных библиотек будет в конце каждого поста. Абсолютно все будет написано с нуля. В качестве подопытного выбрана база MNIST — это черно-белые, центрированные изображения рукописных цифр размером 28*28 пикселей. По-умолчанию, 60000 изображений отмечены для обучения, а 10000 для тестирования. В примерах я не буду изменять распределения по-умолчанию.

GenJam 2016

19 ноября 2016 года в Сан-Франциско прошёл первый ежегодный Gen Jam (геймджем по процедурной генерации). Идея была в том, чтобы за субботу создать генератор графики, «объект, создающий объекты», если вам угодно.

Я создал программу, рисующую спрайты персонажей в удивительном стиле набора 16-битных спрайтов Кристофера «Oryx» Барретта из Oryx Design Lab. Посмотрите на примеры того, что делает программа:

Данная статья является неким опытом, который был приобретен в результате весьма неприятной архитектурной ошибки, допущенной мной при длительной разработке проекта на Laravel5.

Я постараюсь рассказать, как использовал паттерн Repository в проекте, какие достоинства и недостатки были выявлены, как это повлияло на разработку в целом и какой профит был получен.

Все мы ставим цели и хотим их достижения, но это не всегда удается. Одним не хватает силы воли, другим усидчивости или целенаправленности. Причин много и у каждого будут свои.
Когда я ставил цели и не достигал их, то обвинял в этом все, включая “неправильный” блокнот и лень. Чувство вины росло и не помогало в достижении поставленных целей.

Тогда я обратился к сервисам достижения целей, первым, на который наткнулся, стал SmartProgress★. Он оказался бесплатным, что приятно, и решив не откладывать — начал целеполагаться.
Создал цель — открыть зоомагазин с мизерным бюджетом. Начал прописывать все необходимое, поставил дату реализации, подобрал мотивирующую картинку и вот уже завтра начну открывать магазин.

Всем привет! Недавно у нас вышла книга Марка Льюиса, получившая премию от PROSE Award в разделе «Лучшая психологогическая книга».
Почему люди так легко на все подсаживаются? У современного человека много зависимостей. Мы сидим в социальных сетях, играем в компьютерные и азартные игры, тратим на покупки намного больше, чем собирались, пьем, курим или фанатично занимаемся спортом. Но почему тогда психиатры и психологи называют болезнью только алкогольную или наркотическую зависимость? А, например, не безответную любовь, которая тоже является зависимостью с печальными последствиями? Наш мозг ищет удовольствий и расслабления в мире, который не отвечает ему взаимностью. Мозг непрерывно перестраивает себя, обучаясь и развиваясь. Как только у нас появляется какая-то зависимость, этот процесс резко ускоряется, ведь нашему мозгу регулярно предлагаются весьма привлекательные «призы».

Марк Льюис — когнитивный нейробиолог и бывший зависимый — объединяет простые истории человеческой жизни с четким научным объяснением. «Биология желания» дает надежду каждому, кто либо борется с зависимостью сам, либо помогает бороться другим.

В статье в общих чертах дан анализ двух типов информации – простой и субъективной, рассмотрено различие понятий интеллекта и воспринимающего сознания. Описаны некоторые логические функциональные особенности сознания. Предложен подход технического получения субъективной информации за счет изменения временной степени свободы сигнала на пространственную. С целью получения функции «наблюдателя» в системе, и проявляемых относительно него информационных сигналов, выполняющих роль субъективных ощущений. Решение данной проблемы может дать новый подход к конструированию сильного искусственного интеллекта и пролить свет на трудную проблему сознания.

Видео доклада

Текстовая Версия

Изменения курса рубля два года назад заставили нас задуматься о способах снижения стоимости железа для Почты Mail.Ru. Нам понадобилось уменьшить количество закупаемого железа и цену за хостинг. Чтобы найти, где сэкономить, давайте посмотрим, из чего состоит почта.


Индексы и тела писем составляют 15 % объёма, файлы — 85 %. Место для оптимизаций надо искать в файлах (аттачах в письмах). На тот момент у нас не была реализована дедупликация файлов; по нашим оценкам, она может дать экономию в 36 % всего объёма почты: многим пользователям приходят одинаковые письма (рассылки социальных сетей с картинками, магазинов с прайсами и т.д.). В этом посте я расскажу про реализацию такой системы, сделанной под руководством PSIAlt.

В прошлых двух статьях мы познакомились с тем, как работают тени в CSS3: box-shadow и text-shadow. Сегодня, продолжая последнюю тему, мы посмотрим на еще несколько красивых примеров использования теней для текста для достижения интересных эффектов.

Реализации Flux, такие как Redux, мотивируют нас уделять больше внимания проектированию состояния приложения. Оказывается, это нетривиальная задача. Это похоже на классический пример из теории хаоса, когда, казалось бы, безобидный взмах крыльев бабочки ведёт к далеко идущим последствиям. Ниже приведены советы, которые помогут вам лучше организовать состояние приложения.

Недавно мне довелось поработать над прототипом видеочата. Это был отличный повод поближе познакомиться с концепциями WebRTC и опробовать их на практике. Как правило, когда говорят про WebRTC, подразумевают организацию аудио- и видеосвязи, но эта технология может применяться и для других интересных вещей. Я решил попробовать сделать peer-to-peer игру и поделиться опытом ее создания. Видео того что получилось и подробности реализации под катом.

Обучаясь в университете, каждому приходилось делать разного рода задачи. Вот, наступает конец полугодия, сессия на носу, начало выдачи курсовых заданий и мне посчастливилось стать тем, кто должен реализовать метод Литтла для задачи коммивояжера. Итак начнем.

Кто такой коммивояжер? Коммивояжер — это разъездной торговый агент какой-либо фирмы, предлагающий покупателям товары по образцам и каталогам. Его задача объездить все пункты назначения, не побывав ни в одном дважды и вернуться в точку старта.

«Здравствуйте! У меня Тойота Королла с мультимедийной системой, правами на которую вы обладаете. Мне нужен совет, как использовать GPS...», — так начинается одно из писем, которое в последнее время получил Дэниель Стенберг.

Хорошо быть автором популярной open source программы. Вас уважают. Если захочется устроиться на работу в коммерческую компанию, то не нужно писать резюме. Код программы открыт и говорит сам за себя. Да и вообще open source — это огромный плюс в карму. Вы можете познакомиться и поговорить с замечательными людьми, которым противно общаться с «пиджаками» из корпораций. А с вами они будут на равных.

Но у популярности есть определённые проблемы. Иногда очень неожиданные. Например, автор известной программы cURL сейчас получает письма от расстроенных автовладельцев, у которых возникли проблемы с информационно-развлекательной системой автомобиля и навигатором. С чего вдруг?

На прошлой неделе компания SpaceX произвела очередную сенсацию, подав запрос в Федеральную комиссию по связи США (FCC) на разрешение запустить 4425 спутников. Если вчитаться в документ внимательно, то там сказано «4425 спутников (плюс до двух запасных спутников на каждую орбитальную плоскость)», то есть на 83 орбитальные плоскости спутниковая группировка должна будет составить максимум 4591 спутник. Такие огромные числа не имеют аналогов среди существующих спутниковых систем и вызывают обоснованные сомнения в реализуемости проекта. Давайте попробуем разобраться.

Любые разумные инопланетяне, с которыми человечество сможет вступить в контакт, скорее всего, не будут выглядеть, как вы, я или кальмарообразные существа из фильма "Прибытие".

Если существа с других планет достаточно разовьются для того, чтобы отправлять сигналы, которые смогут принять земляне, они, скорее всего, сбросят свои биологические оковы, и превратятся в одну из форм машинного интеллекта, как утверждает давний охотник за чужими, Сет Шостак [Seth Shostak].

Для доказательства этого Шостак указывает на тот путь, на который, по всей видимости, вступили люди. Люди изобрели радио примерно в 1900-м году, а компьютер – в 1945, и они уже производят достаточно дешёвые устройства, превышающие по вычислительной мощности человеческий мозг.

Командир Дэйв Боумен и второй пилот Фрэнк Пул, не доверяя компьютеру, решили отключить его от управления кораблём. Для этого они совещаются в звукоизолированной комнате, но HAL 9000 читает их разговор по губам. Кадр из фильма «Космическая одиссея 2001 года»

Чтение по губам играет важную роль в общении. Ещё эксперименты 1976 года показали, что люди «слышат» совершенно другие фонемы, если наложить неправильный звук на движение губ (см. "Hearing lips and seeing voices", Nature 264, 746-748, 23 December 1976, doi: 10.1038/264746a0).

С практической точки зрения чтение по губам — важный и полезный навык. Можно понимать собеседника не выключая музыку в наушниках, читать разговоры всех людей в поле зрения (например, всех пассажиров в зале ожидания), прослушивать людей в бинокль или подзорную трубу. Область применения навыка очень широка. Освоивший его профессионал без труда найдёт высокооплачиваемую работу. Например, в сфере безопасности или конкурентной разведке.

Джулиан Ассанж сказал, что считает Хиллари Клинтон своим личным врагом. Поэтому он помог хакерам из Fancy Bear опубликовать украденные документы Национального комитета демократической партии США

Конспирологи из числа западных чиновников и специалистов по безопасности в последнее время активно обсуждают тему российских хакеров, которые якобы выполняют заказы правительства России. Действительно ли в России существует киберармия или это выдумка? Кто занимается кибершпионажем и добывает компромат на американских политиков?