Сегодня на конференции YaC/m мы объявили о том, что Яндекс планирует радикальное обновление вида результатов поиска. Во-первых, они меняются идеологически: теперь пользователь будет не просто находить ответы на свои запросы, но и сможет прямо на странице с выдачей решать свои задачи. А во-вторых, поисковые результаты обновятся визуально — дизайн станет частью нашего нового подхода в поиске. 


Текст ниже написал Данила Ковчий, один из авторов платформы «Острова», о которой пойдёт речь дальше. Прямо сейчас он находится на сцене и не может запостить его сам. Дальше повествование пойдёт от его имени.



Я Данила Ковчий, числюсь дизайнером в Яндексе, а сейчас буду выступать посредником между вами и последними событиями в компании.

К делу

Яндекс меняется. Меняется и его основной продукт — поиск. Здесь я буду рассказывать в основном про него, что, как и почему нам пришлось переделать, какие были причины и немножко о последствиях.

Изменения в поиске делятся на два направления:
— блочная выдача;
— контекстно-зависимый интерфейс.

Сегодня вышла новая версия Яндекс.Браузера. Теперь в нём есть:

• синхронизация между разными компьютерами с помощью технологий Яндекс.Диска;
• возможность продолжать поиск прямо в омнибоксе — и не только на Яндексе;
• подсказки о страницах сайтов, на которых вы даже ещё не были;
• возможность с помощью API настроить представление своего сайта в Табло и много других важных улучшений.

На Хабре о Яндекс.Браузере мы рассказывали последний раз, когда в нём появился режим Турбо. Мы подсчитали, что сейчас в день им пользуется 10% всей аудитории нашего браузера; экономия трафика составляет 45%. Ежемесячно через Турбо проходит около 1,3 млрд веб-страниц.

На сегодняшний день недельная аудитория Яндекс.Браузера в России достигла 4,8М пользователей, а доля в Рунете — 4,7%. К слову, за время, прошедшее с момента выхода прошлой версии, мы не только развивали возможности своего браузера, но и присоединились к работе над проектом Хромиум.

На днях мы открыли новый набор в Школу анализа данных. Чтобы стать её студентом, нужно ответить на вопросы в тесте, сдать экзамены и пройти собеседование. Занятия, как всегда, будут проходить в офисе Яндекса в Москве, а также в Екатеринбурге, Киеве и Минске. В Питере у ШАД есть отделение в Computer Science Center. Если вы живёте в других городах, то можете учиться у нас заочно: общаться с преподавателями по электронной почте и смотреть видеолекции. Обучение в Школе бесплатное.



В ШАД преподают ведущие российские ученые — и те, кто живет в России, и те, кто работает за рубежом. Например, теорию машинного обучения ведёт Алексей Червоненкис, профессор Лондонского университета и один из создателей отечественной школы анализа данных. Автор курса по анализу данных и научный руководитель ШАД — профессор Rutgers University Илья Мучник, который когда-то был научным руководителем Аркадия Воложа.

В эту субботу в Киеве можно будет из первых уст услышать о том, как мы разрабатываем наши сервисы, что из нашего опыта поможет вам в работе и ещё о многом другом интересном.


В частности, вы в подробностях узнаете:

• как устроено хранилище данных Яндекс.Диска (а это миллиарды файлов и папок, десятки миллионов пользователей, высокие доступность и отказоустойчивость);
• какие API есть у Яндекса и чем они могут быть полезны;
• что такое Яндекс.Предиктор и как вы можете им воспользоваться;
• как использовать в своей работе БЭМ (вы сможете задать любые вопросы его разработчикам).

Приходите обязательно — будет очень интересно.
Регистрация пока открыта, записаться можно здесь.

Сегодня Ростелеком заблокировал Яндекс для своих абонентов — примерно с 14:04 до 14:27 по Москве. Наших пользователей встречала страница-заглушка об ограничении доступа к сайту.



Ростелеком в качестве причины блокировки ссылается на «предписание суда ограничить доступ к сайту, IP которого совпадал с некоторыми ресурсами». Никаких уведомлений по этому поводу в Яндекс не поступало. Мы считаем случившееся недоразумением.

Несмотря на то, что HTML5 всё ещё находится в процессе разработки, он уже появляется в веб-интерфейсах. Одним из основных нововведений этой версии HTML стал элемент Canvas, который используется для отрисовки двухмерной графики. Например, всё, что вы видите и с чем взаимодействуете в игре MMORPG от компании Mozilla или старом-добром Command and Conquer, отрисовывается и обрабатывается с помощью Canvas. Самые изощрённые умы даже реализуют полноценные формы на Canvas. Или интерактивную модель солнечной системы.

Фреймворки для работы с этим элементом растут как грибы после дождя; про то, как начать программировать, используя Canvas, написано огромное количество статей. Но есть один пункт, о котором, по-видимому, из-за узкой специфики говорят редко и мало. Речь идёт о тестировании приложений на Canvas. В каком-то смысле оно становится проблемой для инженера по тестированию, который привык обращаться к элементам на странице по их css или xpath селекторам, а затем выполнять с объектом какие-то действия. С Canvas такой подход не работает, ведь DOM элемент один, а объектов в нём — много.



Под катом на примере автоматизации тестирования API Яндекс.Карт я расскажу вам о том, как мы решили эту проблему в Яндексе.

Скорость работы веб-интерфейса — очень важная вещь, и мы в Яндексе особенно хорошо понимаем это. От ощущения лёгкости и того, с какой скоростью у пользователя загрузятся важные ему элементы, может зависеть и то, каким сервисом он в итоге будет пользоваться.

Мы в Яндекс.Почте много работаем над ускорением клиентской части. Только на Хабре мы рассказывали о том, как оптимизируем верстку, отказались от XSL и перешли на новый шаблонизатор.

Но добиться увеличения скорости работы можно не только за счет оптимизации фронтенда. Сегодня мы хотим рассказать о переезде статических файлов Яндекс.Почты на специальный CDN Яндекса для статики и о том, как это ускорило её работу, особенно в регионах.



Подробности о том, куда переехали, как устроен новый хостинг, почему он устроен именно так, и как мы измеряли, насколько стало быстрее, — читайте дальше.

Mail.Ru — The Ghost Question Bug!

Уязвимость была довольно серьёзной и по этому хотелось придумать звучное название.
Почему назвали именно так узнаете ниже.

На днях я решил заново взяться за базу примари на mail.ru и побрутить ящики по секретным вопросам. В 2011 году было снято несколько сотен ящиков и по этому встал вопрос: где взять актуальные ответы!?
Недолго думая я обратился к недавно найденной хитрости. С её помощью можно узнать имя и фамилию от любого зарегистрированного ящика в mail.ru. Для этого проходим по ссылке www.icq.com/download/webicq/ru, входим в аську и в поиске вбиваем желаемое мыло.
В ответе нам приходит имя и фамилия из информации о владельце ящика, дата рождения и город.

На прошлой неделе Яндекс.Диску исполнился год, и за этот год сервисом успели воспользоваться уже больше 8 000 000 пользователей.

А сейчас мы продолжаем рассказывать о том, сколько усилий понадобилось, чтобы всё это стало возможным. Недавно мы писали о том, как и почему команда Яндекс.Диска выбрала WebDAV для синхронизации десктоп-клиентов с сервером и начала работу над прототипом клиента Яндекс.Диска. Сегодня, как и обещали, — о том, как всё работает с серверной стороны.



Для правильной синхронизации нужно не только уметь заливать файлы, но и реанимировать заливку в случае прерванного соединения, а также научить клиент учитывать изменения в файлах.

Сегодня мы завершаем серию публикаций о фреймворке FML, в которых рассказываем о том, как и для чего автоматизировали в Яндексе применение технологий машинного обучения. В сегодняшнем посте мы расскажем:

• почему нужно следить за качеством факторов и как мы это делаем;
• как FML помогает в задачах распределённых вычислений над поисковым индексом;
• каким образом и для чего наши технологии машинного обучения уже применяются и могут быть применены как в Яндексе, так и вне его;
• какую литературу можно посоветовать для более глубокого погружения в затронутую проблематику.

Яндекс.Почта очень быстро развивается: за последние два года её аудитория выросла почти в полтора раза — до более чем 18М человек в месяц. Чтобы такой рост был возможным, техническое развитие тоже должно идти очень быстро — каждую неделю мы выкатываем по два релиза с улучшениями и изменениями.

Но для того чтобы сделать хороший сервис, недостаточно работы с технической стороной — нужно наладить и организационную часть. В том числе быструю и эффективную службу поддержки.

В течение всего последнего года мы реализовывали проект по её реорганизации. О том, как мы его задумывали, какие метрики ставили и что получилось, мы и хотим сейчас рассказать.

На прошлой неделе в Москве при поддержке Яндекса прошла одна из двух самых авторитетных мировых конференций по информационному поиску — ECIR 2013 (European Conference on Information Retrieval).

Специально для Хабрахабра Илья Сегалович (iseg), технический директор Яндекса, коротко рассказал, чем она важна; почему то, что она прошла у нас, имеет большое значение и каких усилий нам и нашим соорганизаторам из Высшей школы экономики стоило провести ECIR в Москве.



Также мы взяли несколько интервью у авторов наиболее интересных статей и выступлений, а председателя жюри Best Paper Awards комитета попросили рассказать, о чём были лучшие статьи и почему предметы именно этих исследований сейчас важнее всего для науки и индустрии. Под катом томограммы мозга и другое интересное.

Яшар Мошфеги, University of Glasgow

Начнём с одного из авторов несколько необычной для ECIR статьи — Understanding Relevance: An fMRI Study. Учёные из Университета Глазго с помощью магнито-резонансной томографии изучили, какие части мозга активируются в момент, когда он решает, является ли та или иная информация релевантной.

На Хабрахабре часто поднималась тема не вполне добросовестных способов распространения программ и изменений настроек браузеров без явного согласия пользователей. Сегодня мы выпускаем новый продукт, задача которого — предотвращать это.

Его название — Менеджер браузеров — хорошо описывает то, какую задачу он призван решать: управлять настройками обозревателей и не давать изменить их без вашего ведома. Хотим подчеркнуть, что сам он при этом абсолютно нейтрален: не навязывает и даже не предлагает никаких настроек по умолчанию или чего-либо подобного и защищает тот поиск, дефолтную страницу и опции, которые выбрали вы.



Мы внимательно следили за тем, чтобы Менеджер браузеров только помогал пользователям сохранять их собственные настройки. Честно признаемся, что отчасти эта программа стала для нас и работой над собственными ошибками.

Без качественного тестирования невозможно разрабатывать и поддерживать крупный веб-сервис. На ранних этапах его развития часто можно обходиться только ручным тестированием по заданному тест-плану, но с появлением новых фич и увеличением количества тест-кейсов довольствоваться только им становится все сложнее и сложнее. В этой статье мы расскажем о том, как автоматизируем функциональное тестирование веб-интерфейса Яндекс.Почты с помощью Selenium WebDriver и Node.js.

Последнее время пользователи жалуются нам на объявления, в которых им якобы от имени Яндекса предлагают деньги в подарок. При этом человека просят ввести номер мобильного, а затем — код активации из полученного смс-сообщения. Если пользователь так и поступает, то, сам того не ведая, подключает платную смс-подписку. Ему начинают присылать смс, например, с прогнозом погоды, и каждый день списывают за это деньги с его мобильного счета.



Мы не имеем отношения к подобным объявлениям, даже если они появляются на фоне Яндекса. И, со своей стороны, стараемся оградить вас от действий злоумышленников. Сейчас Яндекс активно выявляет страницы, созданные с целью выманить номер телефона. Предупреждение о том, что на эти страницы лучше не заходить, появляется в результатах поиска, в Яндекс.Браузере и другом ПО.

Кроме того, мы выявляем сайты, на которых установлен код, запускающий показ объявлений злоумышленников. Наличие такого кода снижает качество сайтов, поэтому в результатах поиска они будут показываться ниже, чем более качественные ресурсы.

Сегодня я хочу рассказать о том, почему и как мы пришли к использованию препроцессора Stylus в разработке Яндекс.Почты, а также описать используемый нами метод работы со стилями для IE. Он очень легко реализуется именно с помощью препроцессоров и делает поддержку IE простой и удобной. Мы разработали для этого специальную библиотеку, которой тоже поделимся — if-ie.styl.

Это только первая статья из серии статей об использовании препроцессора Stylus в Яндекс.Почте, которые мы готовим к публикации.

Различные реализации игры «Жизнь» описывались на Хабре уже неоднократно. В этой статье, в качестве продолжения этой темы, рассматривается ещё один её вариант: в качестве игрового поля используется регулярная решётка на плоскости Лобаческого. Описываются общие методы использования плоскости Лобачевского в программах и необходимые для этого математические приёмы.
Как возникла плоскость Лобачевского, достаточно известно. В позапрошлом веке господа Гаусс, Лобачевский и Бойяи, проживавшие примерно в одно время в разных странах тогдашней Европы, задумались, что будет, если отменить пятый постулат Евклида и заменить его на противоположную аксиому. Оказалось, что не случится ничего плохого, и никаких противоречий не возникнет. Заметная часть последующего изучения неевклидовой геометрии была посвящена выяснению того, кто из них у кого украл идею этой самой геометрии.
Менее известно, что несмотря на «отрицательный» способ определения неевклидовой геометрии (вместо того, чтобы сказать, что через точку проходит ровно одна прямая, не пересекающая данную, мы говорим, что таких прямых может быть сколько угодно), мы, тем не менее, получаем систему теорем и формул, не менее стройную, чем та, что есть в евклидовой геометрии. И одновременно, у нас есть гораздо большее разнообразие геометрических фигур, в том числе, разбиений плоскости на правильные многоугольники.

Разработка интерфейсов — одно из важнейших направлений в Яндексе, сервисами которого пользуются миллионы людей. А ни один российский вуз, к сожалению, не готовит разработчиков интерфейсов. Все знания, которые необходимы современному верстальщику или фронтенд-программисту, приходится черпать из статей в интернете, книг, докладов на конференциях. Но зачастую этого бывает недостаточно. Почти каждого нового разработчика интерфейсов, которого мы принимали на работу, приходилось многому обучать.

За долгое время работы в Яндексе нам удалось систематизировать все наши знания и огромный опыт в создании фронтенда веб-сервисов. Результатом этого осмысления и длительной работы стала первая Школа разработки интерфейсов, занятие которой шли в московском офисе Яндекса. Вся практическая часть обучения проходила в реальных проектах Яндекса. Теоретическая же состояла из лекций, которые читали ведущие разработчики интерфейсов Яндекса: Сергей veged Бережной, Михаил mishanga Трошев, Алексей doochik Андросов, Михаил azproduction Давыдов и другие.



Сегодня мы выкладываем видеозаписи каждой из них. Весь курс систематизирован и поделен на пять блоков: инструменты разработки, технологии в разработке интерфейсов, языки программирования, фреймворки, дизайн.

Картинки — один из самых высоконагруженных сервисов Яндекса. Его ежедневная аудитория приближается к 6 миллионам человек, а количество просмотров изображений составляет почти 120 миллионов. Чтобы сделать его более быстрым и удобным, одновременно с полным редизайном в сентябре мы значительно обновили технологическую составляющую. Обновление интерфейса мы продолжаем и сейчас, для чего постоянно проводим новые эксперименты и тестируем родившиеся идеи.

Про то, как появляются и какой путь проходят идеи перед тем, как попасть в интерфейс массового сервиса, я и хочу рассказать сегодня.



В сентябре мы запустили новый интерфейс Яндекс.Картинок, в котором отказались от просмотра изображения на отдельной странице. Врезку предпросмотра, которая стала «раздвигать» картиночную выдачу, мы внутри команды назвали «распашонкой».

Сегодня Яндекс присоединился к ЦЕРНу. Наше партнёрство с Европейским центром ядерных исследований переходит на новую стадию развития: у ученых из ЦЕРНа появится доступ к технологии машинного обучения Матрикснет от Яндекса, а также новым вычислительным мощностям. А Яндекс становится ассоциированным членом европейского Центра ядерных исследований в рамках проекта CERN openlab. Кроме него членами openlab являются Intel, HP, Oracle, Siemens и Huawei.

Сотрудничество Яндекса с Центром началось в 2011 году, когда мы впервые предоставили ЦЕРНу свои серверные мощности. А в апреле прошлого года наши разработчики создали поиск по событиям эксперимента LHCb. LHCb — один из четырёх основных экспериментов ЦЕРНа и один из примеров того, насколько важными в современной науке стали не только данные опытов, но и их обработка. В ходе опытов LHCb исследуются соударения b-кварка (b от английского beauty, по-русски его называют прелестным). Объём информации об этих событиях только за год достигает тысяч терабайт. Благодаря созданнному нами поисковому индексу у учёных ЦЕРНа появилась возможность мгновенно получать нужную информацию.

В современной фундаментальной науке важную роль стали играть не только технические ресурсы для проведения опытов, но и вычислительные возможности для обработки и понимания их результатов. В наши дни, особенно в ЦЕРНе, данных становится так много, что без применения сложных алгоритмов даже учёному будет сложно делать точные выводы о результатах опытов. Технологии, которые можно применять для таких целей, имеет совсем небольшое количество компаний.



Мы расспросили Андрея Устюжанина, руководителя проекта партнёрства с ЦЕРНом в Яндексе, о подробностях того, для чего именно ЦЕРНу нужна помощь Яндекса и как устроена работа с данными экспериментов. Смотрите видео и читайте более подробную текстовую версию после ката.