В последние несколько лет MongoDB приобрела огромную популярность среди разработчиков. То и дело в интернете появляются всякие статьи, как очередной молодой популярный проект выкинул на свалку истории привычные РСУБД, взял в качестве основной базы данных MongoDB, выстроил инфраструктуру вокруг неё, и как все после этого стало прекрасно. Даже появляются новые фреймворки и библиотеки, которые строят свою архитектуру целиком на Mongo (Meteor.js например).

По долгу работы я примерно 3 года занимаюсь разработкой и поддержкой нескольких проектов, которые используют MongoDB в качестве основной БД, и в этой статье хочу рассказать, почему на мой взгляд с MongoDB далеко не все так просто, как написано в мануалах, и к чему вы должны быть готовы, если вдруг решите взять MongoDB в качестве основной БД в ваш новый модный стартап :-)

Все что описано ниже можно воспроизвести с использованием библиотеки PyMongo для работы с MongoDB из языка программирования Python. Однако скорее всего с аналогичными ситуациями вы можете столкнуться и при использовании других библиотек для других языков программирования.

Недавно я получил письмо от основателя, которое помогло мне понять кое-что важное: стартаперам выгодно быть хорошими людьми.

Я вырос с мультяшным образом очень успешного бизнесмена: алчный, курящий сигары, шумный, властный и не слишком привередливый в средствах. Как я уже писал раньше, одна из вещей, которая меня больше всего удивляет в стартапах, заключается в том, что некоторые из самых успешных создателей приятные люди. Может быть успешные люди в других отраслях похожи на этот мультяшный образ, я не знаю, но только не стартаперы.

Кевин Поулсен, редактор журнала WIRED, а в детстве blackhat хакер Dark Dante, написал книгу про «одного своего знакомого».

В книге показывается путь от подростка-гика (но при этом качка), до матерого киберпахана, а так же некоторые методы работы спецслужб по поимке хакеров и кардеров.

Начало и план перевода тут: «Шкворень: школьники переводят книгу про хакеров».
Пролог
Глава 1. «Ключ»
Глава 3. «The Hungry Programmers»
Глава 5. «Cyberwar!»
Глава 34. DarkMarket
(публикуем по мере готовности переводов)

Логика выбора книги для работы со школьниками у меня следующая:

• книг про хакеров на русском языке мало (полторы)
• книг про кардинг на русском нет вообще (UPD нашлась одна)
• Кевин Поулсен — редактор WIRED, не глупый товарищ, авторитетный
• приобщить молодежь к переводу и творчеству на Хабре и получить обратную связь от старших
• работать в спайке школьники-студенты-специалисты очень эффективно для обучения и показывает значимость работы
• текст не сильно хардкорный и доступен широкому кругу, но затрагивает вопросы информационной безопасности, уязвимости платежных систем, структуру кардингового подполья, базовые понятия инфраструктуры интернет
• книга иллюстрирует, что «кормиться» на подпольных форумах — плохо заканчивается

Кто хочет помочь с переводом других глав пишите в личку magisterludi.

Глава 1. Ключ

(текст переведен в рамках коллективного проекта школьников в лагере GoToCamp, спасибо Алене, Кате, Соне, Грише, Саше и хабраюзеру ShiawasenaHoshi)

Корпорация IBM работает совместно с DARPA над созданием нейроморфных чипов (Systems of Neuromorphic Adaptive Plastic Scalable Electronics, SyNAPSE) уже много лет, реализация проекта началась еще в 2008 году. Цель — создание чипов и систем, работа которых была бы организована по принципу работы нейронов мозга животных (например, грызунов). Это очень сложная задача, и специалистам пришлось потратить на ее решение немало времени. Сейчас, наконец, представлены первые значительные результаты проекта SyNAPSE.

Система TrueNorth, состоит из отдельных чипов-модулей, которые работают, как нейроны мозга. Соединяя нейроморфные чипы в систему, исследователи получают искусственную нейронную сеть. Версия, которую представила IBM, включает 48 млн соединений — это близко к числу синапсов в мозге крысы. Представленная структура состоит из 48 отдельных чипов-модулей.

Недавно мы опубликовали перевод статьи, в которой приводились аргументы в пользу изучения языков семейства С. Этот пост вызвал немало споров, в том числе была высказана точка зрения, что языки семейства С сходят со сцены; их востребованность хоть и велика, но снижается. Возможно, это и так. Но всё же язык С по-прежнему остаётся одним из наиболее распространённых.

Привет, Хабр! В нашей работе часто возникает потребность в выделении сообществ (кластеров) разных объектов: пользователей, сайтов, продуктовых страниц интернет-магазинов. Польза от такой информации весьма многогранна – вот лишь несколько областей практического применения качественных кластеров:

1. Выделение сегментов пользователей для проведения таргетированных рекламных кампаний.
2. Использование кластеров в качестве предикторов («фичей») в персональных рекомендациях (в content-based методах или как дополнительная информация в коллаборативной фильтрации).
3. Снижение размерности в любой задаче машинного обучения, где в качестве фичей выступают страницы или домены, посещенные пользователем.
4. Сличение товарных URL между различными интернет-магазинами с целью выявления среди них групп, соответствующих одному и тому же товару.
5. Компактная визуализация — человеку будет проще воспринимать структуру данных.

С точки зрения машинного обучения получение подобных связанных групп выглядит как типичная задача кластеризации. Однако не всегда нам бывают легко доступны фичи наблюдений, в пространстве которых можно было бы искать кластеры. Контентые или семантические фичи достаточно трудоемки в получении, как и интеграция разных источников данных, откуда эти фичи можно было бы достать. Зато у нас есть DMP под названием Facetz.DCA, где на поверхности лежат факты посещений пользователями страниц. Из них легко получить количество посещений сайтов, как каждого в отдельности, так и совместных посещений для каждой пары сайтов. Этой информации уже достаточно для построения графов веб-доменов или продуктовых страниц. Теперь задачу кластеризации можно сформулировать как задачу выделения сообществ в полученных графах.

Сегодня мы “подружим” или настроим реальное iOS-устройство и RAD Studio XE8 (или Delphi, или C++ Builder, или Appmethod).

В итоге мы сможем запускать наши приложения не только в среде Window, Android, OS X, iOS-симуляторе, но и на реальных iOS-устройствах из одного и того же исходного кода.

План действий:
— настройка макбука + developer.apple.com;
— настройка RAD Studio XE8;
— запуск своего приложения на iOS-устройстве.

Машинное обучение — это математическая дисциплина, изучающая алгоритмы способные выделять знания из данных. Несмотря на то, что эта дисциплина в основном теоретическая, в жизни большинства людей она с каждым годом играет все большую и большую роль. Так, сложно сейчас встретить человека, который бы ничего не слышал о торговых роботах, Яндексе, Google Street View, Siri.

В докладе коллеги Алексадра Сенова из проекта Synqera для очередного нашего технического i-Free meet-up проведен небольшой экскурс в машинное обучение. Из него мы узнаем чуть больше про области применения, рассмотрим основные задачи, возникающие в рамках машинного обучения, а так же алгоритмы их решения. Уделим внимание проблемам, возникающим при их применении, приведем пару примеров и рекоммендаций по дальнейшему изучению.

Данная статья представляет собой перевод введения в машинное обучение, представленное на официальном сайте scikit-learn.

В этой части мы поговорим о терминах машинного обучения, которые мы используем для работы с scikit-learn, и приведем простой пример обучения.

Машинное обучение: постановка вопроса

В общем, задача машинного обучения сводится к получению набора выборок данных и, в последствии, к попыткам предсказать свойства неизвестных данных. Если каждый набор данных — это не одиночное число, а например, многомерная сущность (multi-dimensional entry или multivariate data), то он должен иметь несколько признаков или фич.

Машинное обчение можно разделить на несколько больших категорий:

• обучение с учителем (или управляемое обучение). Здесь данные представлены вместе с дополнительными признаками, которые мы хотим предсказать. (Нажмите сюда, чтобы перейти к странице Scikit-Learn обучение с учителем). Это может быть любая из следующих задач:

1. классификация: выборки данных принадлежат к двум или более классам и мы хотим научиться на уже размеченных данных предсказывать класс неразмеченной выборки. Примером задачи классификации может стать распознавание рукописных чисел, цель которого — присвоить каждому входному набору данных одну из конечного числа дискретных категорий. Другой способ понимания классификации — это понимание ее в качестве дискретной (как противоположность непрерывной) формы управляемого обучения, где у нас есть ограниченное количество категорий, предоставленных для N выборок; и мы пытаемся их пометить правильной категорией или классом.
2. регрессионный анализ: если желаемый выходной результат состоит из одного или более непрерывных переменных, тогда мы сталкиваемся с регрессионным анализом. Примером решения такой задачи может служить предсказание длинны лосося как результата функции от его возраста и веса.

• обучение без учителя (или самообучение). В данном случае обучающая выборка состоит из набора входных данных Х без каких-либо соответствующих им значений. Целью подобных задач может быть определение групп схожих элементов внутри данных. Это называется кластеризацией или кластерным анализом. Также задачей может быть установление распределения данных внутри пространства входов, называемое густотой ожидания (density estimation). Или это может быть выделение данных из высоко размерного пространства в двумерное или трехмерное с целью визуализации данных. (Нажмите сюда, чтобы перейти к странице Scikit-Learn обучение без учителя).

Считается, что системы управления транспортировками (Transportation Management Systems, TMS) входят в класс систем управления цепями поставок (Supply Chain Management, SCM), которые, в свою очередь, являются частью систем управления предприятиями (Enterprise Resource Planning, ERP). Хотя вопрос о соотношении систем различных классов достаточно сложный и неоднозначный…

Группа исследователей из Стэнфорда, Университета Северной Каролины и Университета Мичигана выяснили, что внешность генерального директора компании влияет на стоимость акций при IPO, пишет Wall Street Journal. В исследовании участвовали девятьсот случайных людей, оценивших внешность и манеры двухсот двадцати четырёх гендиректоров компаний: респонденты смотрели тридцатисекундные презентации глав компаний без звука.


Илон Маск. Tesla Motors начала котироваться на NASDAQ 29 июня 2010 года

Вот что я бы рассказал себе о стартапах, попади я в прошлое на пять лет назад, когда только начинал. По сути это то, чему я научился за прошедшее время. И уж точно это никакие не рекомендации или советы, а «ты» здесь обращено к себе самому, так что читайте как «я». Стиль изложения вольный (прим. переводчика — как и стиль перевода).

1. Ничего не получится, если пытаться делать слишком много и сделать это слишком поздно. Старательно избегай этого.

2. Над этой же идеей прямо сейчас кто-то уже работает. И, в общем-то, это не так плохо.

3. Никогда не подписывай NDA, пока не услышишь о чём вообще речь.

4. Нравится тебе это или нет, но большинство социальных связей в Лондоне основаны на выпивке. Смирись и прими, сумев избежать постоянного похмелья.

5. Люди, которые действительно чего-то добились — это не те, кто постоянно бухает.

6. Линейный рост может быть хуже, чем вообще никакого роста.

7. Большинство людей, которые говорят о скором провале, этим вообще не занимаются.

8. Легко обманывать себя, будто ты «заботишься об интересах пользователей», хотя на самом деле ты пытаешься найти способ заставить их согласиться с тем, над чем ты сам хочешь работать.

Подпольная экономика даркнета давно привлекает внимание учёных. Раньше публиковались исследования, которые доказывают, что закрытие крупнейшей биржи Silk Road практически не повлияло на оборот запрещённых препаратов. Место Silk Road быстро заняли другие. На прошедшей конференции Usenix Security специалисты из университета Карнеги-Меллона Кайл Соска (Kyle Soska) и Николас Кристин (Nicolas Christin) представили самое полное исследование экономики даркнета среди всех, которые проведены к настоящему моменту (pdf).

Авторы работы написали программу для автоматического «скрапинга» контента с 35 торговых площадок даркнета. Программа работала с 2013 по 2015 годы и фиксировала количество отзывов и оценок покупателей в каждом магазине по каждому товару. Затем количество оценок умножалось на цену товара. Так вычисляли объём продаж в магазинах.

Сила принятия решений имеет огромное значение. Но большинство людей этого не понимает. Они откладывают принятие решений в долгий ящик, не догадываясь о том факте, что они обладают способностью принимать меняющие жизнь решения. Итак, как же перепрыгнуть через эту «стену сопротивления»? Успешные лидеры во всем мире развили способность к принятию решений, и вот как они это делают.

Мы в HOSTKEY регулярно сталкиваемся с необходимостью организации VLAN на скорости 10Гбит для кластеров виртуализации – своих и клиентских. Эта технология необходима для взаимодействия с СХД, для резервного копирования, для доступа у БД и для обеспечения живой миграции виртуальных машин. Всегда возникает вопрос — как сделать это надежно и с минимальными затратами?

До последнего времени минимальные затраты для такого решения были существенными. Самый маленький коммутатор 10GbE был на 24 порта, а самая простая карта – Intel X520 за 500 долларов. Бюджет на порт составлял около 700-1000 долларов, а входной билет был очень высокий.

Прогресс не стоит на месте, в начале 2015 года появился новый класс устройств 10GbE за приемлемые деньги со склада в Москве и под гарантией.
Так как мы в HOSTKEY регулярно строим на их базе выделенные сервера и частные облака, то хотим поделиться опытом.

Итак, у нашего Клиента 5 машин в кластере и ему нужен 10GbE VLAN – там 2 файлера, одна машина для резервного копирования и несколько нод. На гигабите все медленно и не хочется ставить в машины гигабитные четырехпортовки в тиминге. Надо 10GbE и бюджет ограничен. Звучит знакомо, не правда ли?

На хабре уже есть статья про java байткод. Я решил ее немного дополнить и в меру сил развить тему. Мне кажется довольно логичным разобрать простейшее приложение на Java. А что может быть проще «Hello world»?
Для своего эксперимента я создал директорию src, куда в папку hello положил файл App.java:

package hello;

public class App {

    public static void main(String[] args) {
        System.out.println("Hello world!");
    }

}

В последнее время мы наблюдаем повышенный интерес к космической тематике в России. Прочитав данную статью, вы сможете получите более полную картину о коммерческих проектах в российской космонавтике. Если первая часть заслужит интерес читателей, то во второй части я познакомлю вас с общественными инициативами в этой области.

Часть первая. Частные компании

Компания Лин Индастриал
Главная цель компании — создание сверхлёгких ракет для вывода микроспутников. Доставка на орбиту будет дороже, но условия запуска станут намного более гибкими. Снимется ряд ограничений к спутникам и появится возможность выбора времени запуска. Сейчас небольшие спутники запускаются «попуткой» с основной полезной нагрузкой.

Надо сказать, что при первом беглом знакомстве с этой фирмой у меня появился некоторый скепсис. Чего только стоит слоган на сайте «Мы не обещаем несбыточного — мы делаем невозможное!», согласитесь, такой лозунг нужно оправдать. Однако, после личного знакомства сначала с Алексеем Мазуром, математиком, который помогает команде Лин Индастриал с расчётами, а потом и с совладельцем и главным конструктором — Александром Ильиным, мои опасения рассеялись. По-крайней мере в части профессионализма и серьёзных намерений команды. Александр Ильин к слову сказать является редактор журнала «Новости космонавтики» и инициатором нескольких фестивалей для ракетомоделистов.

Сейчас компания получила первоначальные инвестиции от одного из создателей World of Tanks и готовится к следующему раунду инвестиций.

Пришел мужик в секс-шоп за резиновой женщиной, видит — две одинаковые куклы, но одна из них дороже второй.
Мужик: «А почему цена разная?»
Продавец: «Та, которая дороже, — с искусственным интеллектом, берите — не пожалеете!»
Мужчина заинтересовался и купил резиновую женщину с интеллектом...
Наутро приходит злой: «Заберите обратно свою куклу и верните мне деньги!»
Продавец: «Что, не понравилась? Не удовлетворила?»
Мужчина: «Хуже… Не дала».

Чем ближе сингулярность, тем актуальнее тема искусственного интеллекта и его места в нашем будущем. Теперь за эту тему взялся (точнее, вернулся к ней) и канал HBO, сделав ремейк классической фантастики 1973 года «Западный мир» (Westworld):

Было время, когда я за один присест выливал на голову стакан жидкости для линз, чтобы поэкспериментировать с Emotiv`ом. Затем был тюбик геля из шприца в лаборатории МГУ. Сейчас я обладатель «сухого» одноэлектродного нейроинтерфейса NeuroSky MindWave. (Кстати, это отличная игрушка для летнего лагеря, я сделал на инженерной олимпиаде задание по поиску мозговых слизней имплантов, для этого надо было поставить рекорд по «удержанию шарика в воздухе мыслью» — базовая бесплатная игруха к NeuroSky)

Как показывает опрос, нейроинтерфейсы неизбежны.



По моему пришло время написать какие были и какие будут в ближайшее время потребительские нейроинтерфейсы. А так же коротко о том, как можно собрать свой девайс самому. (И быстренько натренироваться управлять мозгом, чтобы побеждать во всяких конкурсах или пивка налить.)

Под катом обзор устройств, которые были доступны в потребительском сегменте и open-source проекты для самостоятельного изготовления и создания софта.