В ближайший месяц Яндекс внедрит алгоритм, который будет ниже ранжировать сайты, недобросовестно использующие партнерские программы операторов связи и обманывающие пользователей мобильного интернета, навязывая им подписку на платные контент-сервисы.

В последнее время мы получаем большое количество жалоб от людей, использующих мобильное подключение к интернету, которые при переходе на сайты из результатов поиска не могут получить искомую информацию. Это происходит из-за того, что некоторые сайты не показывают таким пользователям тот контент, который проиндексирован на их сайте поисковым роботом.



Вместо этого сайт перенаправляет данных пользователей на страницу подписки на платные контент-услуги мобильных операторов, используя автоматический редирект или агрессивную рекламу, затрудняющую доступ к контенту или вводящую пользователя в заблуждение. При этом факт платности подписки не всегда очевиден для пользователя, а предоставляемый платный контент не связан с тем, что он искал, и проиндексированным нами контентом.

Сегодня мы публикуем седьмую лекцию из курса «Анализ изображений и видео», прочитанного Натальей Васильевой в петербургском Computer Science Center, который создан по совместной инициативе Школы анализа данных Яндекса, JetBrains и CS-клуба.



Всего в программе девять лекций, из которых уже были опубликованы:

1. Введение в курс «Анализ изображений и видео»;
2. Основы пространственной и частотной обработки изображений;
3. Морфологическая обработка изображений;
4. Построение признаков и сравнение изображений: глобальные признаки;
5. Построение признаков и сравнение изображений: локальные признаки;
6. Поиск по подобию. Поиск нечетких дубликатов.

Под катом вы найдете план новой лекции и слайды.

Сегодня мы публикуем шестую лекцию из курса «Анализ изображений и видео», прочитанного Натальей Васильевой в петербургском Computer Science Center, который создан по совместной инициативе Школы анализа данных Яндекса, JetBrains и CS-клуба.



Всего в программе девять лекций, из которых уже были опубликованы:

1. Введение в курс «Анализ изображений и видео».
2. Основы пространственной и частотной обработки изображений.
3. Морфологическая обработка изображений.
4. Построение признаков и сравнение изображений: глобальные признаки.
5. Построение признаков и сравнение изображений: локальные признаки.

Под катом, вы найдете план новой лекции, слайды и подробную расшифровку.

Спортивное программирование — очень неоднозначная тема. Одни считают, что достижения в нём — хороший показатель таланта и умений для промышленной разработки, другие — что такой опыт приносит скорее вред.

Например, Питер Норвиг буквально недавно рассказал, что в Гугле есть негативная корреляция между победами человека на олимпиадах для программистов и его успехами в работе. По его мнению, спортивное программирование приучает концентрироваться на сиюминутных задачах, тогда как на работе надо думать о будущем проекта.

В связи с приближением Яндекс.Алгоритма, нашего собственного чемпионата по спортивному программированию, мы решили спросить разработчиков из Яндекса, которые как участвовали и побеждали на различных контестах, так и нет, помогает ли опыт в спортивном программировании в программировании промышленном?



Все этапы Яндекс.Алгоритма в этом году пройдут в онлайне, так что поучаствовать в нём смогут и те, кто не готов куда-то ехать. Алгоритм состоит из нескольких отборочных раундов, в каждом из которых нужно решить пять задач за 100 минут. В финал, который состоится 6 августа, выйдут 25 лучших по результатам отбора. Тренировочный раунд, до которого стоит зарегистрироваться, пройдет 3 мая.

Сегодня мы публикуем пятую лекцию из курса «Анализ изображений и видео», прочитанного Натальей Васильевой в петербургском Computer Science Center, который создан по совместной инициативе Школы анализа данных Яндекса, JetBrains и CS-клуба. Всего в программе девять лекций, из которых уже были опубликованы:

1. Введение в курс «Анализ изображений и видео».
2. Основы пространственной и частотной обработки изображений.
3. Морфологическая обработка изображений.
4. Построение признаков и сравнение изображений: глобальные признаки.

Под катом вы найдете план этой лекции, слайды и подробную расшифровку.

Мы продолжаем публиковать лекции Натальи Васильевой, старшего научного сотрудника HP Labs и руководителя HP Labs Russia. Наталья Сергеевна читала курс, посвящённый анализу изображений, в петербургском Computer Science Center, который создан по совместной инициативе Школы анализа данных Яндекса, JetBrains и CS-клуба.



Всего в программе девять лекций. Уже были опубликованы:

• Введение в курс «Анализ изображений и видео».
• Основы пространственной и частотной обработки изображений.
• Морфологическая обработка изображений.

Под катом вы найдете план этой лекции, слайды и подробную расшифровку.

Мы продолжаем публиковать лекции Натальи Васильевой, старшего научного сотрудника HP Labs и руководителя HP Labs Russia. Наталья Сергеевна читала курс, посвящённый анализу изображений, в петербургском Computer Science Center, который создан по совместной инициативе Школы анализа данных Яндекса, JetBrains и CS-клуба.



Всего в программе девять лекций. Первая и вторая уже были опубликованы. В предыдущем рассказе речь шла об основах пространственной и частотной обработки изображений. Третья лекция посвящена основным операциям морфологической обработки изображений. Под катом — слайды, план лекции и её дословная расшифровка.

Давно идут споры о том, что такое работа программиста — ремесло, навык или искусство. При этом постоянно встаёт вопрос оценки результата. О том, как разные разработчики и руководители в Яндексе подходят к вопросу оценки работы программиста, мы поговорим в этом посте.



В Яндексе работают сотни программистов, и результаты их работы влияют на сервисы, которыми пользуются миллионы людей. Когда на тебе такая ответственность, нужно уметь остановиться и оценить, что можно сделать лучше, в чем ты сильнее всего и где эти твои навыки пригодятся еще. Для этого надо уметь оценить и свою работу, и работу людей, с которыми ты вместе что-то создаешь. О том, как это делать, мы и спросили наших коллег.

Мы продолжаем публиковать лекции Натальи Васильевой, старшего научного сотрудника HP Labs и руководителя HP Labs Russia. Наталья Сергеевна читала курс, посвящённый анализу изображений, в петербургском Computer Science Center, который создан по совместной инициативе Школы анализа данных Яндекса, JetBrains и CS-клуба.



Всего в программе — девять лекций. Первая из них уже была опубликована. В ней рассказывалось о том, в каких областях встречается анализ изображений, его перспективах, а также о том, как устроено наше с вами зрение. Вторая лекция посвящена основам обработки изображений. Речь пойдет о пространственной и частотной области, преобразовании Фурье, построении гистограмм, фильтре Гаусса. Под катом — слайды, план и дословная расшифровка лекции.

Мы начинаем публиковать лекции Натальи Васильевой, старшего научного сотрудника HP Labs и руководителя HP Labs Russia. Наталья Сергеевна читала курс, посвящённый анализу изображений, в петербургском Computer Science Center, который создан по совместной инициативе Школы анализа данных Яндекса, JetBrains и CS клуба



Всего в программе — девять лекций. В первой из них рассказывается о том, как применяется анализ изображений в медицине, системах безопасности и промышленности, какие задачи оно еще не научилось решать, какие преимущества имеет зрительное восприятие человека. Расшифровка этой части лекций — под катом. Начиная с 40-й минуты, лектор рассказывает об эксперименте Вебера, представлении и восприятии цвета, цветовой системе Манселла, цветовых пространствах и цифровых представлениях изображения. Полностью слайды лекции доступны по ссылке.

Аукционы используются для торгов практически любых товаров — рыбы и цветов, лицензий на 3G-cвязь, государственных ценных бумаг, акций частных компаний, рекламных объявлений на Яндексе. Базовые правила некоторых аукционов остаются неизменными на протяжении столетий. При этом аукционы — динамично развивающаяся область современной экономической теории. Это в первую очередь вызвано их практической важностью, а также наличием данных и возможностью формально проанализировать аукционы как игры, чьи правила совпадают с практикой. За исследование аукционов и в целом экономических механизмов было присуждено несколько Нобелевских премий.



В рамках Малой Школы анализа данных лекцию, посвященную аукционам, прочитал Сергей Измалков — профессор экономики Российской экономической школы, председатель ученого совета РЭШ. Именно аукционы стали темой его докторской диссертации. В лекции Сергей Борисович рассказывает о том, чем похожи торговля жёнами в Вавилоне и размещение рекламных объявлений в интернете. Под катом вы найдете текстовую версию лекции, но мы бы рекомендовали вам все же посмотреть видеозапись — лектор рассказывает обо всем достаточно доступно и очень увлекательно.

Только что в Париже на конференции LeWeb Яндекс объявил об открытии нового важного направления своей деятельности — по коммерческой обработке больших данных — Yandex Data Factory.

Мы верим, что обработка больших данных — это часть нового витка технической революции, который сделает всё человечество ещё более эффективным и приведёт нас к будущему, которое мы сейчас ещё даже не можем до конца представить. И в нём работа с большими объёмами данных будет не менее важной и распространённой, чем выработка электричества или железные дороги сегодня.



Перед публичным запуском Yandex Data Factory мы провели несколько пилотных проектов с компаниями-партнёрами. Для компании, обслуживающей линии электропередач, в Yandex Data Factory создали систему, которая анализирует сделанные беспилотниками снимки и автоматически выявляет угрозы: например, деревья, растущие слишком близко к проводам. А для автодорожного агентства проанализировали данные о загруженности дорог, качестве покрытия, средней скорости движения транспорта и аварийности. Это позволило в режиме реального времени составлять прогноз заторов на дорогах на ближайший час и выявлять участки с высокой вероятностью ДТП.

Купить билеты в кино через интернет можно уже давно. Но до сих пор у этого в России есть один существенный недостаток: электронный билет приходится обменивать на бумажный в кинотеатре. Зачастую для этого нужно даже отстоять очередь.

Мы верим, что так быть не должно. Бумажные билеты — это атавизм прошлого, электронный билет должен быть пропуском в зал кинотеатра.

Поэтому с сегодняшнего дня мы начинаем устанавливать в кинотеатрах специальные сканеры, благодаря которым вам больше не надо будет ходить в кассу, стоять в очереди к ней, называть кассиру номер своего заказа и получать бумажный билет.

Сегодня такие сканеры появились в кинотеатре «Формула Кино Горизонт», а до конца года будут установлены ещё в 20 кинотеатрах этой сети. Теперь можно будет проходить в зал, используя прямо тот QR-код, который вам всегда присылают продавцы билетов в интернете. Мы придумали решение, которое позволит сделать такую возможность массовой.

Технология называется Smartpass — фактически, это просто приложение, которое работает на базе iPad mini, распознает QR-коды и отправляет данные в систему кинотеатра. Его главное достоинство — то, что кинотеатру установить такой сканер у входа в каждый зал в десятки раз дешевле существующих промышленных решений. И Яндекс даже помогает кинотеатрам всё настроить.

Почти в каждой школе в кабинете математики висит табличка с высказыванием Ломоносова: «Математику уже затем учить надо, что она ум в порядок приводит». Многим из тех, кто не понимает, что такое программирование, кажется, что писать код — это то же самое, что решать математические задачи, а все программисты — обязательно математики. Но как все обстоит на самом деле? Насколько помогает знание математики в решении практических задач?

Наконец-то мы добрались до одной из самых острых тем и задали нашим коллегам в Яндексе вопрос: «Нужно ли программисту знать математику?»



Под катом, как всегда, полная текстовая версия.

Этот текст памяти Алексея Яковлевича написал Аркадий Волож, сооснователь и генеральный директор Яндекса.

22 сентября трагически погиб Алексей Яковлевич Червоненкис — ведущий сотрудник Института проблем управления РАН, профессор МФТИ и Лондонского университета, преподаватель Школы анализа данных, человек, который внёс огромный вклад в теорию машинного обучения.



У науки об обучении машин до сих пор было три периода: докомпьютерный, компьютерный и современный период больших данных.

Первой великой работой Червоненкиса и Вапника была вот эта статья, вышедшая в 1971 году. Теория сходимости частот к их вероятностям определила развитие этой части науки на несколько десятков лет вперед.

Это был период «теоретического» развития машинного обучения. Тогда считать можно было только на каких-нибудь М-200 или, в хорошем случае, на БЭСМ-ах, поэтому о «широком применении в народном хозяйстве» речи не шло. Но различать цели в воздухе, например, или выискивать шумы на эхо-кардиограммах это уже помогало.

Потом наступил второй этап науки об обучении машин, компьютерный. В 1990-е люди научились, например, довольно хорошо распознавать и оцифровывать тексты (в том числе рукописные) или очищать почту от спама. Половина из этих методов работала на знаменитом SVM (Support Vector Machine, метод опорных векторов), придуманном в начале 1990-х Червоненкисом и Вапником (VC-Dimension = Vapnik-Chervonenkis dimension). В середине 2000-х в любой известной конторе работали на SVM-е — и у нас, и в Яху, и в Гугле, и в Амазоне, и в Нетфликсе. SVM описан в любом учебнике по нашей теме.

12 сентября Яндекс внесли в реестр организаторов распространения информации – как и некоторые другие интернет-компании, например, ВКонтакте и Mail.ru. Судя по вопросам, которые мы получаем со всех сторон, это событие беспокоит многих, но все довольно плохо представляют себе, что происходит. Попробуем объяснить, как сейчас это выглядит с нашей точки зрения. Забегая вперёд скажем, что попадание в этот реестр само по себе ничего не меняет.

1 августа вступили в силу поправки к закону об информации. Эти поправки получили неофициальное название «закона о блогерах» – именно это название до сих пор многих путает.

Дело в том, что поправки состоят из двух разных блоков. Первый блок вводит такое понятие как «организатор распространения информации» – этот тот, кто обеспечивает работу систем, позволяющих пользователям обмениваться сообщениями. Согласно принятым поправкам, организаторы обязаны в течение шести месяцев хранить – на территории России – всю получаемую информацию о пользователях своих сервисов и совершенных ими действиях. Речь идёт только о факте совершения того или иного действия – иными словами, организаторы должны хранить, например, всю информацию об отправке того или иного письма или загрузке того или иного файла, но не содержание этого письма или файла.

Важно отметить, что закон не обязывает интернет-компании собирать больше информации, чем они и так использовали, чтобы обеспечить нормальную работу своих сервисов. Они обязаны хранить только то, что уже есть, а не разрабатывать какую-то специальную функциональность для сбора и хранения новых данных.

13 сентября Илье Сегаловичу, сооснователю и техническому директору Яндекса, исполнилось бы 50 лет. К дню его рождения мы учредили на факультете Computer Science ВШЭ, который был создан в этом году при нашем участии, стипендию его имени. Как мы уже говорили, программа факультета во многом будет расти из Школы анализа данных, где над тем, что будет изучать отделение CS, работал и iseg.

Стипендию смогут получить студенты и аспиранты факультета. Она создана для того, чтобы поддержать и поощрить людей, интересующихся наукой и технологиями. Выдаваться она будет за успехи в учёбе и научной деятельности. Уже с первого курса студенты, интересующиеся технологиями на стыке с наукой, могут вести свои проекты и публиковать результаты в российских и международных научных изданиях, таких как «Искусственный интеллект и принятие решений», «Lecture Notes in Computer Science» и других.


Первая встреча студентов факультета Computer Science

В первый же год факультет компьютерных наук ВШЭ и Яндекса привлёк внимание рекордного количества победителей олимпиад: на 180 бюджетных мест подали заявления 330 олимпиадников. В итоге Вышка приняла решение об увеличении количества бюджетных мест, и в сентябре начали учёбу 204 олимпиадника — среди них четырнадцать призёров заключительных этапов Всероссийской олимпиады школьников по информатике, математике и физике. Сам Илья когда-то занял второе место на Всесоюзной олимпиаде по математике.

Сегодня начинается новый учебный год. Сотни человек, которые в будущем станут программистами, стали первокурсниками или продолжат учиться дальше. Но не факт, что у них у все в дипломе будет написано «программист». Важно ли это для них вообще? На этот раз мы решили спросить сотрудников Яндекса, нужно ли программисту профильное образование.



Кстати, мы часто говорим, что Яндекс — компания, созданная программистами. Но, как меня как-то поправил сооснователь Яндекса Аркадий Волож, ни у кого из создателей Яндекса «программист» в дипломе написано не было. То, что рассказали другие наши коллеги, вы, как всегда, можете прочитать под катом.

Четыре часа назад команда Хабрахабра передала нам Ice Bucket Challenge, который команда Почты приняла в буквальном смысле этого слова во дворе Яндекса. На видео вы можете увидеть бесстрашных и уже закаленных dskut, katyaselenka, pono, riarheos, melodiana, bonifaci, goncharov2a, doochik ipronin, kneht и, пока руководитель Яндекс.Почты jogur_t в отпуске, за него обливается руководитель всего направления персональных сервисов anton_z. Пожертвования тоже сделали.



И мы передаем вызов еще двум командам, которые делают почту, — Mail.Ru и Почте России — и Российским железным дорогам.

У Яндекса есть офисы в разных городах и даже странах, и это даёт нам много разных преимуществ. Помимо того что каждый может работать из того места, которое ему больше нравится, так складывается, что у разработчиков в некоторых городах есть уникальный опыт, иногда довольно необычный.

Например, в силу исторических особенностей почти все разработчики нашего нижегородского офиса хотя бы какое-то время поработали в компаниях, которые занимались аутсорсинговой разработкой. Я решила воспользоваться этим и спросить у них, чем разработка для внешнего заказчика отличается от работы над своими продуктами в компаниях вроде Яндекса.

Сразу скажу, что в Нижнем сейчас мы в основном работаем над нашими геоинформационными сервисами. Большую часть кода ребята пишут на Java и C++.Кстати, 20 августа в офисе Яндекса в Нижнем Новгороде пройдет C++ Party, на которую можно прийти, если успеть зарегистрироваться.



Уверена, что и многим на Хабре есть, что сказать на тему нашего опроса. Так что пишите, что сами думаете, в комментариях, даже если вы считаете, что сам вопрос надуман. Как всегда под катом полная текстовая версия ответов.