Сегодня лекция одного из самых известных в России специалистов по машинному обучению Дмитрия Ветрова, который руководит департаментом больших данных и информационного поиска на факультете компьютерных наук, работающим во ВШЭ при поддержке Яндекса.

Как можно хранить и обрабатывать многомерные массивы в линейных по памяти структурах? Что дает обучение нейронных сетей из триллионов триллионов нейронов и как можно осуществить его без переобучения? Можно ли обрабатывать информацию «на лету», не сохраняя поступающие последовательно данные? Как оптимизировать функцию за время меньшее чем уходит на ее вычисление в одной точке? Что дает обучение по слаборазмеченным данным? И почему для решения всех перечисленных выше задач надо хорошо знать математику? И другое дальше.



Люди и их устройства стали генерировать такое количество данных, что за их ростом не успевают даже вычислительные мощности крупных компаний. И хотя без таких ресурсов работа с данными невозможна, полезными их делают люди. Сейчас мы находимся на этапе, когда информации так много, что традиционные математические методы и модели становятся неприменимы. Из лекции Дмитрия Петровича вы узнаете, почему вам надо хорошо знать математику для работы с машинным обучением и обработкой данных. И какая «новая математика» понадобится вам для этого. Слайды презентации — под катом.

Добрый день, все хабровчане!

А давайте поговорим о западном бестселлере, перевод которого почему-то прошел незамеченным.
Речь пойдет о книге Г. Лакман Макдауэлл «Карьера менеджера IT-проекта. Как устроиться на работу в ведущую технологическую компанию».

Каждому сисадмину приходится иногда обслуживать компьютеры знакомых или совершать надомные выезды. В этом деле ему помогает проверенный набор утилит. Наш обзор расскажет только о бесплатных, не требующих установки и ставших стандартом де-факто.

Не секрет, что каждый интернет-магазин должен помогать пользователям найти то, что им нужно. Особенно, если товаров у вас много (> 10). На помощь приходит каталогизация товаров, но разбить товары по категориям — полдела. Товары внутри категории нужно уметь фильтровать по их свойствам. Особенно, если товары у вас разношёрстные, например, одежда, электроника, ювелирные изделия и т.д. И тут любой разработчик, пишущий свой e-commerce продукт, сталкивается с неприятными реалиями жизни: у товаров могут быть совершенно разные свойства, у некоторых товаров они могут отсутствовать, некоторые товары по одному свойству могут попадать под разные значения (цвет платья то ли синий, то ли голубой, соответственно, неплохо бы его показать и по синему и по голубому цвету). Проще говоря, у вас EAV. Бывает ещё, что EAV вам диагностирует заказчик ближе к концу разработки, а то и просит добавить фильтр по динамическим свойствам уже после релиза.

Это тема неоднократно поднималась на страницах зарубежных источников. Редакция портала App2Top также посвятила карточным коллекционным играм несколько аналитических статей, основные выводы и заключения которых представлены здесь, на Хабре.

На прошлой неделе аналитическая компания Flurry обнародовала новый отчет о распределении доходов от мобильных приложений. Выводы Flurry основаны на данных первого полугодия 2012 г. по заработку 200 тысяч приложений на лидирующих платформах Android и iOS.

На прошлой неделе Эжи Араки (Eiji Araki), вице-президент GREE, рассказал ресурсу Inside Mobile Apps о том, как можно зарабатывать на игре по $26 млн в месяц. Он поделился своей гипотезой, почему в Японии популярны именно социальные игры, и как подобной популярности можно добиться на американском рынке. Мы перевели его интервью для российских разработчиков мобильных игр на App2Top.ru и сделали специальную версию для Хабра.

В своем недавнем интервью ресурсу Gamasutra Кен Чиу (Ken Chiu) и Энил Дарни (Anil Dharni), возглавляющие американское подразделение GREE, поделились видением дальнейшего развития мобильной игровой индустрии. С оригинальным переводом можно ознакомиться на сайте App2Top.ru.

Компания Distimo на днях обнародовала аналитический обзор мобильного рынка по итогам 2012 года. Согласно отчету, в качестве главных трендов уходящего года аналитики видят:

1. Впечатляющий рост ежедневной прибыли с Google Play

За последние 4 месяца суммарный рост ежедневных доходов Google Play с 20 крупнейших рынков мира составил 43%. В то время как рост ежедневных доходов с App Store вдвое меньше – показатель увеличился только на 21%.

Главный редактор британского сайта pocketgamer.biz, посвященного индустрии мобильных игр, по итогам конференции GDC поделился своим взглядом на то, что происходит сейчас в мировой мобильной индустрии и что будет происходить с ней в будущем. Материал очень большой, но настолько интересный, что мы уверены — вы обязательно дочитаете его до конца.

1. Деньги не главное

Сейчас многие разработчики тестируют свои игры без монетизации. Они выпускают бета-версии, шлифуют геймплей и внимательно смотрят за тем, как ведут себя пользователи. Причем особое внимание они уделяют обучающему режиму (как мы уже писали в нашем блоге, обучающий режим в игре – чрезвычайно важен для успеха игры).

Каждый третий заказчик, приходящий к нам в Alconost за локализацией, задает один и тот же вопрос: “а на какие еще языки посоветуете сделать перевод моей игры/приложения/сайта?”.

Чтобы ответить на этот вопрос хотя бы для разработчиков мобильных игр, мы изучили объемы продаж мобильных игр в Google Play и App Store в разных странах. Результат нас так удивил, что вместо обычной статьи мы захотели сделать видеоролик:



Чуть больше информации про топ-10 языков для локализации мобильных игр — под катом.

Привет, хабр. Я работаю ведущим дизайнером в студии. Делюсь рассказом о своем первом приложении, которое я не только проектировал и оформлял, а прошел все шаги до релиза своими силами.



Осторожно: статья проиллюстрирована крупными анимированными изображениями.

После завершения создания игры-головоломки на Unity и выпуска ее на Google Play и AppStore, появилось желание поделиться опытом и впечатлениями. И получить конструктивные замечания и предложения, если таковые возникнут

С появлением у меня в первом классе Dendy вопрос кем я стану отпал сам собой буквально через пару недель — программистом конечно же. Я долго и упорно шел к этому, невзирая на отсутствие информатики в школе, работал в техподдержке известного всем регистратора параллельно с учебой в институте, но полноценная жизнь началась лишь в тот момент, когда меня наконец-то взяли хоть куда-то писать код.

Очень скоро я понял, что мало быть программистом, работающим от звонка до звонка и получающим за это деньги на карточку — всё самое интересное начинается, когда решаешь сам без всяких архитекторов, тестировщиков и тимлидов что-нибудь этакое написать и заставить работать. Желательно что-нибудь веселое и захватывающее. Игру, например.

Под катом лежат семеро очевиднейших (как мне сейчас кажется) граблей, неожиданно вставших у меня на пути, а потому способных с отличной от нуля вероятностью встать на пути любого, идущего дорогой разработки игр.

Моя статья расскажет Вам как принять 10 миллионов пакетов в секунду без использования таких библиотек как Netmap, PF_RING, DPDK и прочие. Делать мы это будем силами обычного Линукс ядра версии 3.16 и некоторого количества кода на С и С++.



Сначала я хотел бы поделиться парой слов о том, как работает pcap — общеизвестный способ захвата пакетов. Он используется в таких популярных утилитах как iftop, tcpdump, arpwatch. Кроме этого, он отличается очень высокой нагрузкой на процессор.

Итак, Вы открыли им интерфейс и ждете пакетов от него используя обычный подход — bind/recv. Ядро в свою очередь получает данные из сетевой карты и сохраняет в пространстве ядра, после этого оно обнаруживает, что пользователь хочет получить его в юзер спейсе и передает через аргумент команды recv, адрес буфера куда эти данные положить. Ядро покорно копирует данные (уже второй раз!). Выходит довольно сложно, но это не все проблемы pcap.

Кроме этого, вспомним, что recv — это системный вызов и вызываем мы его на каждый пакет приходящий на интерфейс, системные вызовы обычно очень быстры, но скорости современных 10GE интерфейсов (до 14.6 миллионов вызовов секунду) приводят к тому, что даже легкий вызов становится очень затратным для системы исключительно по причине частоты вызовов.

Также стоит отметить, что у нас на сервере обычно более 2х логических ядер. И данные могут прилететь на любое их них! А приложение, которое принимает данные силами pcap использует одно ядро. Вот тут у нас включаются блокировки на стороне ядра и кардинально замедляют процесс захвата — теперь мы занимаемся не только копированием памяти/обработкой пакетов, а ждем освобождения блокировок, занятых другими ядрами. Поверьте, на блокировки может зачастую уйти до 90% процессорных ресурсов всего сервера.

Хороший списочек проблем? Итак, мы их все геройски попробуем решить!

Ресурс MIT Technology Review в пятый раз опубликовал свой рейтинг 50-ти самых продвинутых компаний мира, которые занимаются такими родами деятельности как перевозка, компьютерные технологии и коммуникации, биотехнологии и энергия. Первое место рейтинга авторы оставили за компанией Илона Маска Tesla, которая наиболее известна в мире производством электрокаров. По мнению авторов недавний выход Tesla на рынок домашних батарей с системой Tesla Energy является именно тем рывком, который позволяет поставить компанию на первое место. Также внимание ресурса привлекло намерение Илона Маска построить «гигафабрику» аккумуляторов, что потребует инвестиций размером в $5 миллиардов.

Привет Хабр! Сегодня предлагаем вашему вниманию третью часть цикла статей, посвящённого HP StormRunner Load. Предыдущие части: I и II.



В этой части поговорим про анализ результатов.

Уже конец июня, студенты закрыли сессию и некоторые только начали задумываться о том, куда можно пойти поработать или где пройти стажировку. Мы решили сделать небольшой обзор зарубежных возможностей. Все они оплачиваются работодателями.

На сегодняшний день самыми популярными дистрибутивами для тестирования на проникновение являются *nix-like дистрибутивы: Kali Linux, BlackArch Linux, Pentoo, Whonix и многие другие. Они могут использоваться как в виртуальной среде, так и в качестве live системы или вообще быть установлены в виде десктопной ОС.

Windows пользователи до недавнего времени были обделены (виртуальные машины не берем во внимание) такими сборками, пока не появилась волшебная коробочка — PentestBox.

Привет, Хабр! Мы решили посмотреть на то, как крупнейшие бизнесы и студии делятся своими наработками, и адаптировали подборку технологических блогов. Уверены, что опыт коллег поможет нам всем сделать Хабр еще интереснее.