Каждый день полтора миллиона людей ищут на Ozon самые разные товары, и к каждому из них сервис должен подбирать похожие (если пылесос все-таки нужен помощней) или сопутствующие (если к поющему динозавру нужны батарейки). Когда видов товаров тоже много, решить задачу помогает модель Word2Vec. Разбираемся, как она работает и как создавать векторные представления для произвольных объектов.

Наша мечта — делать лучший в мире инструментарий для разработки бизнес-приложений. У нас очень много отличных идей, реализация которых позволяет нам эту мечту осуществлять, развивать наши инструменты, чтобы оставаться лучшими. Ну а чтобы воплощать эти идеи на должном уровне, нам нужны классные программисты.

Если коротко ищем тех, кто:

• любит (или готов полюбить) делать тиражируемые фреймворки
• хочет делать продукт, которым пользуются миллионы людей

Чтобы показать детальнее, каких разработчиков мы ищем и как, мы взяли короткие интервью у нанимающих менеджеров нашей компании. Вопросы в ходе интервью задавались такие:

• Какие вам нужны разработчики?
• Что спрашиваете на интервью?
• Какие вопросы предпочитаете на интервью – теоретические или практические?
• Должен ли программист писать тесты?
• Задаете ли вопросы не из профессиональной сферы деятельности?
• Задаете ли логические задачи на сообразительность, не связанные непосредственно с программированием? Типа задачи про шарик с гелием в машине:

В каких областях у нас могут работать программисты в разработке платформы? Ну например:

Что такое сетевой сервис? Это программа, которая принимает входящие запросы по сети и обрабатывает их, возможно, возвращая ответы.

Есть много аспектов, в которых сетевые сервисы отличаются друг от друга. В этой статье я акцентрирую внимание на способе обработки входящих запросов.

Выбор способа обработки запросов имеет далеко идущие последствия. Как сделать чат-сервис, выдерживающий 100.000 одновременных соединений? Какой подход выбрать для извлечения данных из потока слабоструктурированных файлов? Неправильный выбор приведет к пустой трате сил и времени.

В статье рассмотрены такие подходы как пул процессов/потоков, событийно-ориентированная обработка, half sync/half async паттерн и многие другие. Приводятся многочисленные примеры, рассматриваются плюсы и минусы подходов, их особенности и области применения.

Это tutorial по библиотеке TensorFlow. Рассмотрим её немного глубже, чем в статьях про распознавание рукописных цифр. Это tutorial по методам оптимизации. Совсем без математики здесь не обойтись. Ничего страшного, если вы её совершенно забыли. Вспомним. Не будет никаких формальных доказательств и сложных выводов, только необходимый минимум для интуитивного понимания. Для начала небольшая предыстория о том, чем этот алгоритм может быть полезен при оптимизации нейронной сети.

Полгода назад друг попросил показать, как на Python сделать нейросеть. Его компания выпускает приборы для геофизических измерений. Несколько различных зондов в процессе бурения измеряют набор сигналов, связаных с параметрами окружающей скважину среды. В некоторых сложных случаях точно вычислить параметры среды по сигналам долго даже на мощном компьютере, а необходимо интерпретировать результаты измерений в полевых условиях. Возникла идея посчитать на кластере несколько сот тысяч случаев, и на них натренировать нейронную сеть. Так как нейросеть работает очень быстро, её можно использовать для определения параметров, согласующихся с измеренными сигналами, прямо в процессе бурения. Детали есть в статье:

Kushnir, D., Velker, N., Bondarenko, A., Dyatlov, G., & Dashevsky, Y. (2018, October 29). Real-Time Simulation of Deep Azimuthal Resistivity Tool in 2D Fault Model Using Neural Networks (Russian). Society of Petroleum Engineers. doi:10.2118/192573-RU

Одним вечером я показал, как keras реализовать простую нейронную сеть, и друг на работе запустил обучение на насчитанных данных. Через пару дней обсудили результат. С моей точки зрения он выглядел перспективно, но друг сказал, что нужны вычисления с точностью прибора. И если средняя квадратичная ошибка (mean squared error) получилась в районе 1, то нужна была 1е-3. На 3 порядка меньше. В тысячу раз.

DeepMind создает поистине удивительные алгоритмы, которые способны на то, чего не могли достичь машинные системы ранее. В частности, нейросеть AlphaGo смогла обыграть в го лучших игроков мира. По мнению специалистов, сейчас возможности системы возросли настолько, что нет даже смысла пытаться ее победить — результат предопределен.

Тем не менее, компания не останавливается на достигнутом, а продолжает работу. Благодаря исследованиям ее сотрудников на свет появилась улучшенная версия AlphaGo, которая получила название AlphaZero. Как и указано в заголовке, система сама смогла научиться играть сразу в три логических игры — шахматы, сеги и го.

Какую суперсилу вы бы выбрали: полет, невидимость или телепатию? Живым, в каком-то смысле, воплощением последнего всегда был персонаж комиксов Люди-Икс профессор Чарльз Ксавье, появившийся еще в далеком 1963 году из-под пера Стэна Ли. Но в комиксах и не такие суперсилы можно встретить. А что насчет реальности? Можно ли читать мысли другого существа? Как оказывается, теперь можно, но не так как вы себе представляете. Сегодня мы с вами будем знакомиться с исследованием, главным достижением которого является считывание электронной активности нейронов мозга подопытной крысы, бегущей по лабиринту, в реальном времени. Как ученым удалось забраться в голову крысы, что им удалось этим добиться и какие перспективы их технологии? Доклад исследователей даст нам ответы на эти и другие вопросы. Поехали.

Imba — это опенсорсный язык программирования, созданный компанией Scrimba специально для разработки веб-приложений. Он компилируется в JavaScript и способен работать внутри существующей JS-экосистемы. Речь идёт, например, о Node.js, об npm, о Webpack.

Основная сильная сторона Imba заключается в том, что этот язык позволят создавать гораздо более быстрые приложения, чем те, которые основаны на библиотеках, применяющих технологию Virtual DOM, наподобие React и Vue. Рост производительности приложений достигается за счёт того, как Imba работает с обновлениями DOM. Подробности об этом можно почитать здесь.



Автор этого материала, сооснователь проекта Scrimba, говорит, что пользуется Imba уже несколько лет. По его словам, писать на этом языке — сплошное удовольствие, так как он, в сравнении с JavaScript, отличается более чистым синтаксисом, что улучшает читабельность кода.

Этот материал представляет собой руководство по Imba для начинающих, освоение которого позволит приступить к созданию простых приложений. Сначала здесь будут раскрыты основы языка, потом будет рассмотрена разработка пользовательских интерфейсов с его помощью. Тут же будет показана настройка среды разработки для программирования на Imba.

Это была славная охота.

Моя жизнь была посвящена ИТ-сфере. Я был инженером, создававшим интересные продукты для больших промышленных компаний. Моей географией была вся Россия, я вживую видел цеха КАМАЗа, ВАЗа и других автогигантов. Но всему в нашей судьбе настаёт предел, и я выгорел. О причинах расскажу как-нибудь в другой раз. Главное, что я, опытный разработчик и техник, ушёл на вольные хлеба и, поскольку у меня появилась семья, решил сделать бизнес — свой магазин товаров для детей, по особым принципам. В общем, как многие из программеров, сделать то, чего не достаёт мне среди предложений на рынке. И знаете, что? Я выяснил, что найти простейших, базовых, нужных профессионалов-подрядчиков очень сложно. Миллион фрилансеров и фирм, а выхлоп… Это был квест, и о нём я должен поведать миру. Не ходите по моим граблям.


Это самое лучшее, что описало моё состояние

«Предком» AlphaFold является алгоритм AlphaGo, который стал играть в го лучше любого человека. Источник: DeepMind

Разработчики из Deep Mind за последние пару лет стали известны благодаря многим своим проектам. В частности, они научили искусственный интеллект (слабую его форму) играть в Go, классические Atari-тайтлы и некоторые другие игры, сложные для «понимания» машиной. Сейчас наступил черед более серьезных занятий — Deep Mind постепенно меняет специализацию ИИ на молекулярную биологию.

Если точнее, то искусственный интеллект учат прогнозировать структуру белка на основе фрагмента последовательности аминокислот — этих кирпичиков белковой жизни. Проект, о котором идет речь, получил название AlphaFold. ИИ научили работать быстрее и точнее, чем люди благодаря обучению по базе последовательностей, собранных генетиками за несколько лет.

NVIDIA PhysX, самый популярный в мире движок физической симуляции, отправляется в опенсорс.

Мы делаем это потому, что симуляция физики — ключ к развитию игр и развлечений с высокой степенью погружения — оказалась намного более важной областью, чем мы когда-либо предполагали.

Симуляция физики — это область, где вместе сошлись искусственный интеллект, робототехника и компьютерное зрение, самоуправляемые автомобили и высокопроизводительные вычисления.

Cегодня Big Data — это большой бизнес. Нашей жизнью управляет информация, и извлечение выгоды из нее становится центральным моментом в работе современных организаций. Неважно, кто вы — деловой человек, работающий с аналитикой, начинающий программист или разработчик, «Теоретический минимум по Big Data» позволит не утонуть в бушующем океане современных технологий и разобраться в основах новой и стремительно развивающейся отрасли обработки больших данных.

Хотите узнать о больших данных и механизмах работы с ними? Каждому алгоритму посвящена отдельная глава, в которой не только объясняются основные принципы работы, но и даются примеры использования в реальных задачах. Большое количество иллюстраций и простые комментарии позволят легко разобраться в самых сложных аспектах Big Data.

Предлагаем ознакомиться с отрывком «Главные компоненты»

Пять лет назад программисты из DeepMind, лондонской компании, специализирующейся на ИИ, радостно наблюдали за тем, как ИИ самостоятельно учился играть в классическую аркадную игру. Они использовали модную технологию глубинного обучения (ГО) для, казалось, странной задачи: овладения игрой в Breakout, сделанной в компании Atari, в которой нужно отбивать шарик от кирпичной стены, чтобы кирпичики исчезали.

ГО – это самообучение для машин; вы скармливаете ИИ огромные количества данных, и он постепенно начинает самостоятельно распознавать закономерности. В данном случае данными было происходящее на экране – крупные пиксели представляли кирпичи, шарик и ракетку. В ИИ DeepMind, нейросеть, состоящую из расположенных слоями алгоритмов, не было заложено никаких знаний по поводу правил игры Breakout, его принципов работы, целей и методов игры. Программисты просто позволили нейросети изучать результаты каждого действия, каждого отскока шарика. К чему это приведёт?

Бывает такое: ходишь в спортзал, качаешься, занимаешься на беговой дорожке, наяриваешь свои 15 км в день. И вдруг теряешь сознание и понеслась: нарушения мозгового кровообращения, анемия и ещё несколько диагнозов, о которых ещё неделю назад ты даже не подозревал. Что делать: жить как раньше, лечить, ждать нового криза, оставить как есть? Как правило, такая точка невозврата заставляет человека изменить жизнь и пойти по пути наименьшего сопротивления — всё бросить. И только сильные духом умудряются стать ещё спортивнее, здоровее и побороть всё, что побороть можно.

В бизнесе та же история: какой-то внешний фактор может нарушить всё сложившееся равновесие, раскачать дела, взбудоражить сотрудников. И вот уже приятная контора с неизменным кофе с печеньками и болтовнёй по утрам превращается в гудящий рой, террариум или серпентарий. Начинается борьба всех против всех. А всего делов-то: например, внедрили CRM-систему, интранет, систему управления проектами.

Перевод Neural Network Architectures

Алгоритмы глубоких нейросетей сегодня обрели большую популярность, которая во многом обеспечивается продуманностью архитектур. Давайте рассмотрим историю их развития за последние несколько лет. Если вас интересует более глубокий анализ, обратитесь к этой работе.


Сравнение популярных архитектур по Top-1 one-crop-точности и количеству операций, необходимых для одного прямого прохода. Подробнее здесь.

Массачусетский Технологический институт. Курс лекций #6.858. «Безопасность компьютерных систем». Николай Зельдович, Джеймс Микенс. 2014 год

Computer Systems Security — это курс о разработке и внедрении защищенных компьютерных систем. Лекции охватывают модели угроз, атаки, которые ставят под угрозу безопасность, и методы обеспечения безопасности на основе последних научных работ. Темы включают в себя безопасность операционной системы (ОС), возможности, управление потоками информации, языковую безопасность, сетевые протоколы, аппаратную защиту и безопасность в веб-приложениях.

Лекция 1: «Вступление: модели угроз» Часть 1 / Часть 2 / Часть 3

В старом посте на Хабре «Самый краткий линк от Гугл» (июль 2011 года) рассказывалось о том, что Google купила домен g.co для запуска сервиса сокращения ссылок. В комментариях остроумно шутили, что пора Гуглу уже купить свой TLD, купив какое-нибудь государство. В итоге, Google купила для себя домен, а также создала регистратора.

Мы рады объявить о выпуске ML.NET 0.7 — последней версии кросс-платформенной и open source системы машинного обучения для разработчиков .NET (ML.NET 0.1 был выпущен на //Build 2018). Этот релиз направлен на расширение функциональности платформы. Подробнее под катом!

В этой серии статей вы познакомитесь с основными принципами функционального программирования и поймёте, что значит «мыслить функционально» и как этот подход отличается от объектно-ориентированного или императивного программирования.

Доброго времени суток, Хабр!

Сегодня я хочу поделиться опытом разработки под миникомпьютеры на linux (RPI, BBB и другие) на языке программирования D. Под катом полная инструкция о том как сделать это без боли. Ну или почти… =)

Компания Zfort Group приняла решение не продлевать корпоративную подписку на Хабре.
Но есть и хорошие новости:

Мы бы хотели анонсировать запуск обновленного сайта zfort.com.ua, кратко рассказать о некоторых технических особенностях создания сайта, а также сообщить о решении перенести публикацию дайджестов с Хабра в блог нового сайта. В блоге нашего нового сайта мы продолжим публиковать дайджесты, статьи и анонсировать профессиональные митапы. На все обновления и публикации можно подписаться, чтобы быть в курсе и ничего не пропустить.

Краткая версия дайджестов также останется и на Хабре, но будет публиковаться не в корпоративном блоге Zfort Group, а с аккаунта alexzfort.

Одна из целей, которую мы ставили перед собой — обновить наш сайт, направленный на локальную аудиторию, сделать его быстрым и легким. Дополнить сайт разделами для отображения актуальных новостей компании, анонсов проводимых мероприятий и публикации дайджестов/статей в короткие сроки с максимальной гибкостью и возможностью для расширения.

А теперь подробнее о деталях создания обновленного сайта zfort.com.ua