Как бы банально это ни звучало, в двадцать первом веке грузовики не просто перевозят грузы из точки А в точку Б, а являются довольно сложными системами компонентов, соединённых сетью. Сбор информации с этих компонентов, дополненный возможностями современных мобильных устройств, которые могут определить своё местонахождение через систему GPS, и обладают мобильной связью, раскрывает довольно большие возможности оптимизации перевозок, управления автопарком, и, в некотором роде, даже поведения водителей. Всё это называется транспортной телематикой, которой и посвящена эта статья.

Вынужден предупредить, что русским языком последние 25 лет я пользуюсь не слишком часто, поэтому прошу не удивляться, если конструкция предложений или используемые слова будут казаться странными.

Я проработал уже в общей сложности 13 лет в сфере транспортной телематики, 5 лет помогал наблюдать за мусоросборщиками, 8 лет за бензовозами. В этих двух вариантах было много общего, но и много различного.

В прошлой статье мы подробно описали алгоритм распознавания номеров (ссылка), который заключается в получении текстового представления на заранее подготовленном изображении, содержащем рамку с номером + небольшие отступы для удобства распознавания. Мы лишь вскользь упомянули, что для выделения областей, где содержатся номера, использовался метод Виолы-Джонса. Данный метод уже описывался на хабре (ссылка, ссылка, ссылка, ссылка). Сегодня мы проиллюстрируем наглядно то, как он работает и коснёмся ранее необсужденных аспектов + в качестве бонуса будет показано, как подготовить вырезанные картинки с номерами на платформе iOS для последующего получения уже текстового представления номера.

В первой части обзора я рассмотрел основные термины и понятия в ставках на теннис и сделал обзор статистических моделей для прогнозирования теннисных матчей.
Вторая часть посвящена собственно машинному обучению: алгоритмам, проблемам и кейсам.

Многие из вас, читая на Хабре статьи об успешных IT-фирмах и быстро развивающихся высокотехнологичных компаниях, наверняка, задумывались о том, чтобы инвестировать свои деньги в их акции с целью получения прибыли, когда через несколько месяцев или даже лет рыночная стоимость этих акций заметно вырастет.

Я и сам об этом частенько задумывался, но меня всякий раз останавливало полное отсутствие опыта в вопросах торговли акциями (я никогда до этого не торговал ценными бумагами даже на российских биржах) и практически нулевое знание теории биржевой торговли.
Именно из-за такого страха перед неизвестностью, а также из-за собственной лени (нежелания разбираться с нуля в новой для себя области), многие так и не отваживаются на покупку акций, хотя и имеют достаточный стартовый капитал, чтобы выйти на этот рынок.

Но в итоге я всё же сделал усилие над собой: сначала немного вник в азы торговли акциями, а потом наконец решился и начал торговать акциями на фондовых рынках США (NYSE, NASDAQ, AMEX). И, самое главное, я понял, что купить акции — это не так уж и сложно, как казалось раньше, и даже не так затратно (в плане накладных расходов), как я предполагал. И в этой статье я хочу поделиться исключительно своим опытом в данной области в виде общих теоретических сведений и практического руководства (HOWTO) для новичков.

Вы не найдёте здесь описания методик и стратегий торговли на фондовых рынках, и вы уж точно не станете профессиональным биржевым трейдером сразу после прочтения этой статьи. Статья просто о том, как новичку без опыта биржевой торговли купить акции на зарубежных биржах.

Здесь описаны в первую очередь российские реалии, но для граждан некоторых соседних стран статья тоже может оказаться во многом полезной. Если вы имеете некие финансовые накопления и хотите их инвестировать в акции иностранных компаний, но пока не знаете, как это сделать, что для этого нужно и с чего вообще начать, то эта статья для вас.

Разделил статью на две части:

1. В первой части рассмотрим теоретические основы торговли акциями.
2. Во второй части будет практическое руководство для новичков по покупке и продаже акций.

Здравствуй, Хабр!

Наше мобильное приложение по оптимизации затрат на сотовую связь существенно преобразилось. Под катом можно узнать какие новые возможности для экономии в нем появились.

24 мая в Москве прошел Dribbble Meetup 2014. На этой неформальной конференции для дизайнеров выступили два десятка сильных и интересных специалистов, представленных в одной из главных тематических социальных сетей Dribbble. Степан Бурлаков (Freeger), Pokras Lampas, Макс Костенко, Александр Зайцев, Таня Саенко (Ряжанка), Александр Хмелевский (SoftFacade), Дмитрий Новиков (MacPaw), Андрей Давликанов, Алекс Бендер, Александр Нохрин, Роман Храмов (Cuberto), Дмитрий Чута (Chapps), Павел Скрипкин (Mail.Ru Group), Алишер Якупов и Олег Андрианов (Одноклассники), Саша Бурт, а также внеплановый Антон Карташов (Иннова). Было много практически полезных рассказов и историй из жизни дизайнеров и компаний с живым и веселым диалогом со слушателями.

Прошлый выпуск обзора был полностью посвящен онлайн-курсам по тематике Data Science. Данный выпуск обзора наиболее интересных материалов по анализу данных и машинному обучению будет содержать ссылки на свежие материалы по тематике. В данном выпуске некоторое количество материалов посвящено важной теме визуализации данных. Есть несколько статей, которые описывают небольшие практические примеры анализа данных. Как обычно много статей посвящено алгоритмам машинного обучения, в том числе несколько статей посвящены популярным алгоритмам машинного обучения Deep Learning и Random Forest. Также есть несколько ссылок на интересные видеоматериалы.

Еще в декабре прошлого года появились документы, которые раскрывали некоторые особенности работы специалистов злополучного агентства NSA. Оказалось, что работники этого агентства могли без особых проблем отслеживать пользователей Сети, используя куки системы DoubleClick.

Сейчас появилась публикация от команды специалистов Принстона, где утверждается, что для отслеживания пользователей даже не нужны возможности NSA. К примеру, команда специалистов Принстона смогла идентифицировать до 90% пользователей, отслеживая трафик систем типа гугловской DoubleClick.

Для тех, кому одного курса на праздники мало и кто хочет больше, продолжаем нашу серию курсов от Школы анализа данных Яндекса. Сегодня подошла очередь курса «Дискретный анализ и теория вероятностей» – даже более фундаментального, чем предыдущий. Но без него нельзя представить ещё большую часть современной обработки данных.

В рамках курса рассматриваются основные понятия и методы комбинаторного, дискретного и асимптотического анализа, теории вероятностей, статистики и на примере решения классических задач демонстрируется их применение.



Читает курс Андрей Райгородский. Доктор физико-математических наук. Профессор кафедры математической статистики и случайных процессов механико-математического факультета МГУ им. М. В. Ломоносова. Заведующий кафедрой Дискретной математики ФИВТ МФТИ. Профессор и научный руководитель бакалавриата кафедры «Анализ данных» факультета инноваций и высоких технологий МФТИ. Руководитель отдела теоретических и прикладных исследований компании «Яндекс». (Ещё больше можно узнать в статье о нём на Википедии).

Знаменитый криптограф Ади Шамир (буква “S” в аббревиатуре RSA) с коллегами вчера опубликовал научную работу под названием «Извлечение ключа RSA путём акустического криптоанализа с низкой частотой дискретизации» (RSA Key Extraction via Low-Bandwidth Acoustic Cryptanalysis). За сложным названием скрывается исключительно доступный метод извлечения ключей RSA (в реализации GnuPG) с помощью обычного мобильного телефона или микрофона. Достаточно лишь положить телефон в 30 см от компьютера жертвы. Если использовать качественные микрофоны, то извлекать ключи можно с расстояния до 4 метров.

Салют, Хабр!
Недавно я уволился с довольно завидной должности (главного архитектора) в довольно неплохой компании (Acronis) и с непоколебимым решением в мозгу больше не работать по найму переехал из Москвы обратно в Ереван, откуда семь лет назад понаехал в Златоглаво-Нерезиновую. Учитывая необычность произошедшего и часто задаваемый вопрос «но почему?!», я решил разобраться в собственных мыслях и озвучить их вслух для себя самого и тех, кто может почерпнуть в моих размышлениях что-то для себя полезное. Короче говоря, это рассказ о том, почему я оставил высокооплачиваемую перспективную работу в международной компании ради сомнительной перспективы начать собственное дело, и как я собираюсь дальше жить.

Предыстория

Два дня назад в блоге Linkedin Engineering появилась запись «Linkedin Intro: Делаем невозможное на iOS»
Этот продукт еще не освещался на хабре, но если говорить в двух словах — Linkedin предлагает использовать специальный IMAP proxy-сервер, который модифицирует входящие на ваше iOS устройство письма, добавляя в них информацию об отправителе из его профиля на Linkedin.

В следующей, 10-й версии FreeBSD, разработчики откажутся от непосредственного использования аппаратных генераторов случайных чисел, встроенных в чипы Intel и VIA, из-за сомнений в их безопасности. Один из главных источников таких сомнений — публикации секретных документов АНБ Эдвардом Сноуденом, которые свидетельствуют о том, что спецслужбы активно работают над внедрением бэкдоров в базовые криптографические технологии, как на программном, так и на аппаратном уровне.

Компания SearchMetrics, разрабатывающая аналитические программы для SEO, ежегодно исследует тысячи сайтов на первых страницах SERP по разным запросам, чтобы выявить закономерности попадания различных ресурсов в выдачи поисковых систем. А далее – определить важность тех или иных факторов при ранжировании этих площадок в Google. В 2013 году сайты, выпадающие на топовых страницах SERP, объединяют сильные социальные сигналы. Среди приблизительно 50 анализируемых факторов на первом месте по важности оказалось число +1 на Google+. Далее в списке идут: количество шеров на Facebook, количество и качество обратных ссылок (заметьте, только третье место), число друзей, лайков, комментариев на Facebook, активность на Pinterest и Twitter и т. д.

После запуска нового алгоритма в 2014 году «Яндекс» полностью перестанет учитывать внешние ссылки при ранжировании сайтов.

Влияние ссылок на позицию сайта в поисковой выдаче постоянно уменьшалось, однако исключить его полностью не совсем правильное решение, на мой взгляд.

Остается много вопросов:

Как будут ранжироваться коммерческие сайты теперь?
По большинству коммерческих высокочастотных запросов и раньше пробиться в топ 10 новым сайтам было практически не реально, теперь данная ситуация еще больше усугубляется.
Что будет с крупнейшими биржами ссылок, такими как Sape?

Как вы, считаете рынок SEO умрет?

Сегодня мы запускаем эксперимент, в рамках которого у 2% пользователей, переходящих по ссылкам из результатов поиска, заголовок Referer не будет содержать текста поискового запроса (точнее, будет, но в зашифрованном виде). В дальнейшем эта практика распространится на всех пользователей Яндекса.

В этом посте мы хотим рассказать, почему приняли такое решение, и обсудить с вами, какие инструменты могут прийти на замену открытым данным о поисковых запросах.



Когда-то никому и в голову не приходило скрывать данные о том, с какой страницы был совершен переход, и по какому запросу была сформирована поисковая выдача, с которой тот или иной пользователь пришел к вам на сайт. Но мир меняется. С каждым днем пользователи становятся все менее безликими для владельцев сайтов, которые при желании могут отслеживать их действия на своей территории, сохранять, обрабатывать и использовать эти данные.

Часто приходиться слышать о том, что крупные корпорации вроде Google, Facebook или LG следят за каждым пуком несчастных пользователей. И исследовав некоторое из их software, я должен признать что таки да — они следят.

Вчера я исследовал самый свежий (на момент написания этой статьи) официальный iOS-клиент Twitter версии 5.13.1. Мне, кроме всего прочего, было интересно посмотреть на трафик между клиентом и сервером. Поскольку клиент Twitter использует certificate pinning, его трафик довольно трудно перехватить с помощью Fiddler2 и подобных программ. Поэтому я написал define-команду для GDB, которая цепляется на точку останова в [NSURLConnection start] и дампит в консоль интересные мне поля NSURLConnection непосредственно перед вызовом этого самого start. Такой нехитрый в общем-то фокус позволяет видеть что именно программа посылает на сервер ещё до того как это «что именно» будет зашифровано для дальнейше передачи по HTTPs.

И знаете что я увидел? Клиент Twitter, кроме своих обычных запросов (регистрация пользователя, авторизация, твит и т.п.) часто… нет, не так… очень часто отсылал на сервер POST запросы на некий загадочный URL api.twitter.com/1.1/jot/client_event. Эти запросы шли на сервер почти по любому поводу. Я запустил клиент — запрос пошел. Я нажал кнопку «Sign in» (ещё не залогинился, просто кнопку жмакнул) — запрос пошел. Вылез экран логина, поле «Username» получило фокус — запрос пошел. Я свернул клиент — запрос пошел… Я конечно удивился и полез разбираться.

Wireshark — это достаточно известный инструмент для захвата и анализа сетевого трафика, фактически стандарт как для образования, так и для траблшутинга.
Wireshark работает с подавляющим большинством известных протоколов, имеет понятный и логичный графический интерфейс на основе GTK+ и мощнейшую систему фильтров.
Кроссплатформенный, работает в таких ОС как Linux, Solaris, FreeBSD, NetBSD, OpenBSD, Mac OS X, и, естественно, Windows. Распространяется под лицензией GNU GPL v2. Доступен бесплатно на сайте wireshark.org.
Установка в системе Windows тривиальна — next, next, next.
Самая свежая на момент написания статьи версия – 1.10.3, она и будет участвовать в обзоре.

Зачем вообще нужны анализаторы пакетов?
Для того чтобы проводить исследования сетевых приложений и протоколов, а также, чтобы находить проблемы в работе сети, и, что важно, выяснять причины этих проблем.
Вполне очевидно, что для того чтобы максимально эффективно использовать снифферы или анализаторы трафика, необходимы хотя бы общие знания и понимания работы сетей и сетевых протоколов.
Так же напомню, что во многих странах использование сниффера без явного на то разрешения приравнивается к преступлению.

Начинаем плаванье

Для начала захвата достаточно выбрать свой сетевой интерфейс и нажать Start.

Жил да был у меня роутер одной хорошей фирмы на букву «Dead». Ну, это с ним, собственно, и случилось.
Посмотрел я на цены новых, на кучу компьютерного хлама в углу, на список подключений на домашнем компе… И понял, что не нужен мне роутер. Соберу свой, с нормальной маршрутизацией, DNS, WINS, i2p, блекджеком и так далее.

Сегодня мы бесплатно открываем Метрику для приложений для всех разработчиков. Она работает с iPhone, Android, Windows Phone, Windows Store, .NET. В ней мы объединили всё, что сами хотели бы от инструмента для разработчиков приложений. Прежде всего, понятный интерфейс, в котором нет ничего лишнего, — всего за несколько кликов вы можете найти ответ на любой вопрос об аудитории ваших приложений.



Отчёты могут включать любую комбинацию следующих параметров: географическое положение пользователя, версия приложения, тип и версия ОС, вид устройства (планшет или смартфон), модель и производитель, разрешение экрана, язык интерфейса, сотовый оператор, тип соединения, действия и сессии пользователей.

На мобильной секции на YaC о Метрике для приложений рассказывал Александр Кочубей, менеджер этого проекта. Сегодня Саша уехал на конференцию Apps World, поэтому этот текст не от его имени, но написал его именно он. Читайте под катом подробности о том, какие данные о работе ваших приложений будут теперь вам доступны.