Сегодня вышла новая версия Яндекс.Браузера. Теперь в нём есть:

• синхронизация между разными компьютерами с помощью технологий Яндекс.Диска;
• возможность продолжать поиск прямо в омнибоксе — и не только на Яндексе;
• подсказки о страницах сайтов, на которых вы даже ещё не были;
• возможность с помощью API настроить представление своего сайта в Табло и много других важных улучшений.

На Хабре о Яндекс.Браузере мы рассказывали последний раз, когда в нём появился режим Турбо. Мы подсчитали, что сейчас в день им пользуется 10% всей аудитории нашего браузера; экономия трафика составляет 45%. Ежемесячно через Турбо проходит около 1,3 млрд веб-страниц.

На сегодняшний день недельная аудитория Яндекс.Браузера в России достигла 4,8М пользователей, а доля в Рунете — 4,7%. К слову, за время, прошедшее с момента выхода прошлой версии, мы не только развивали возможности своего браузера, но и присоединились к работе над проектом Хромиум.

На днях мы открыли новый набор в Школу анализа данных. Чтобы стать её студентом, нужно ответить на вопросы в тесте, сдать экзамены и пройти собеседование. Занятия, как всегда, будут проходить в офисе Яндекса в Москве, а также в Екатеринбурге, Киеве и Минске. В Питере у ШАД есть отделение в Computer Science Center. Если вы живёте в других городах, то можете учиться у нас заочно: общаться с преподавателями по электронной почте и смотреть видеолекции. Обучение в Школе бесплатное.



В ШАД преподают ведущие российские ученые — и те, кто живет в России, и те, кто работает за рубежом. Например, теорию машинного обучения ведёт Алексей Червоненкис, профессор Лондонского университета и один из создателей отечественной школы анализа данных. Автор курса по анализу данных и научный руководитель ШАД — профессор Rutgers University Илья Мучник, который когда-то был научным руководителем Аркадия Воложа.

В эту субботу в Киеве можно будет из первых уст услышать о том, как мы разрабатываем наши сервисы, что из нашего опыта поможет вам в работе и ещё о многом другом интересном.


В частности, вы в подробностях узнаете:

• как устроено хранилище данных Яндекс.Диска (а это миллиарды файлов и папок, десятки миллионов пользователей, высокие доступность и отказоустойчивость);
• какие API есть у Яндекса и чем они могут быть полезны;
• что такое Яндекс.Предиктор и как вы можете им воспользоваться;
• как использовать в своей работе БЭМ (вы сможете задать любые вопросы его разработчикам).

Приходите обязательно — будет очень интересно.
Регистрация пока открыта, записаться можно здесь.

Сегодня Ростелеком заблокировал Яндекс для своих абонентов — примерно с 14:04 до 14:27 по Москве. Наших пользователей встречала страница-заглушка об ограничении доступа к сайту.



Ростелеком в качестве причины блокировки ссылается на «предписание суда ограничить доступ к сайту, IP которого совпадал с некоторыми ресурсами». Никаких уведомлений по этому поводу в Яндекс не поступало. Мы считаем случившееся недоразумением.

Прошло уже почти полгода с тех пор, как была выпущена Windows 8. И недавно нам стало интересно, насколько она и IE 10 популярны в Рунете. Не менее любопытно было понять, какая доля пользователей Windows 8 запускает браузер в интерфейсе, ранее известном как Metro.



Оказалось, что посчитать это не так просто, плюс по дороге выяснился ряд интересных фактов. Читайте под катом скандалы, интриги, расследования.

Несмотря на то, что HTML5 всё ещё находится в процессе разработки, он уже появляется в веб-интерфейсах. Одним из основных нововведений этой версии HTML стал элемент Canvas, который используется для отрисовки двухмерной графики. Например, всё, что вы видите и с чем взаимодействуете в игре MMORPG от компании Mozilla или старом-добром Command and Conquer, отрисовывается и обрабатывается с помощью Canvas. Самые изощрённые умы даже реализуют полноценные формы на Canvas. Или интерактивную модель солнечной системы.

Фреймворки для работы с этим элементом растут как грибы после дождя; про то, как начать программировать, используя Canvas, написано огромное количество статей. Но есть один пункт, о котором, по-видимому, из-за узкой специфики говорят редко и мало. Речь идёт о тестировании приложений на Canvas. В каком-то смысле оно становится проблемой для инженера по тестированию, который привык обращаться к элементам на странице по их css или xpath селекторам, а затем выполнять с объектом какие-то действия. С Canvas такой подход не работает, ведь DOM элемент один, а объектов в нём — много.



Под катом на примере автоматизации тестирования API Яндекс.Карт я расскажу вам о том, как мы решили эту проблему в Яндексе.

Скорость работы веб-интерфейса — очень важная вещь, и мы в Яндексе особенно хорошо понимаем это. От ощущения лёгкости и того, с какой скоростью у пользователя загрузятся важные ему элементы, может зависеть и то, каким сервисом он в итоге будет пользоваться.

Мы в Яндекс.Почте много работаем над ускорением клиентской части. Только на Хабре мы рассказывали о том, как оптимизируем верстку, отказались от XSL и перешли на новый шаблонизатор.

Но добиться увеличения скорости работы можно не только за счет оптимизации фронтенда. Сегодня мы хотим рассказать о переезде статических файлов Яндекс.Почты на специальный CDN Яндекса для статики и о том, как это ускорило её работу, особенно в регионах.



Подробности о том, куда переехали, как устроен новый хостинг, почему он устроен именно так, и как мы измеряли, насколько стало быстрее, — читайте дальше.

На прошлой неделе Яндекс.Диску исполнился год, и за этот год сервисом успели воспользоваться уже больше 8 000 000 пользователей.

А сейчас мы продолжаем рассказывать о том, сколько усилий понадобилось, чтобы всё это стало возможным. Недавно мы писали о том, как и почему команда Яндекс.Диска выбрала WebDAV для синхронизации десктоп-клиентов с сервером и начала работу над прототипом клиента Яндекс.Диска. Сегодня, как и обещали, — о том, как всё работает с серверной стороны.



Для правильной синхронизации нужно не только уметь заливать файлы, но и реанимировать заливку в случае прерванного соединения, а также научить клиент учитывать изменения в файлах.

Сегодня мы завершаем серию публикаций о фреймворке FML, в которых рассказываем о том, как и для чего автоматизировали в Яндексе применение технологий машинного обучения. В сегодняшнем посте мы расскажем:

• почему нужно следить за качеством факторов и как мы это делаем;
• как FML помогает в задачах распределённых вычислений над поисковым индексом;
• каким образом и для чего наши технологии машинного обучения уже применяются и могут быть применены как в Яндексе, так и вне его;
• какую литературу можно посоветовать для более глубокого погружения в затронутую проблематику.

Яндекс.Почта очень быстро развивается: за последние два года её аудитория выросла почти в полтора раза — до более чем 18М человек в месяц. Чтобы такой рост был возможным, техническое развитие тоже должно идти очень быстро — каждую неделю мы выкатываем по два релиза с улучшениями и изменениями.

Но для того чтобы сделать хороший сервис, недостаточно работы с технической стороной — нужно наладить и организационную часть. В том числе быструю и эффективную службу поддержки.

В течение всего последнего года мы реализовывали проект по её реорганизации. О том, как мы его задумывали, какие метрики ставили и что получилось, мы и хотим сейчас рассказать.

На прошлой неделе в Москве при поддержке Яндекса прошла одна из двух самых авторитетных мировых конференций по информационному поиску — ECIR 2013 (European Conference on Information Retrieval).

Специально для Хабрахабра Илья Сегалович (iseg), технический директор Яндекса, коротко рассказал, чем она важна; почему то, что она прошла у нас, имеет большое значение и каких усилий нам и нашим соорганизаторам из Высшей школы экономики стоило провести ECIR в Москве.



Также мы взяли несколько интервью у авторов наиболее интересных статей и выступлений, а председателя жюри Best Paper Awards комитета попросили рассказать, о чём были лучшие статьи и почему предметы именно этих исследований сейчас важнее всего для науки и индустрии. Под катом томограммы мозга и другое интересное.

Яшар Мошфеги, University of Glasgow

Начнём с одного из авторов несколько необычной для ECIR статьи — Understanding Relevance: An fMRI Study. Учёные из Университета Глазго с помощью магнито-резонансной томографии изучили, какие части мозга активируются в момент, когда он решает, является ли та или иная информация релевантной.

Мы продолжаем серию публикаций о нашем фреймворке FML, который автоматизировал работу с машинным обучением и позволил разработчикам Яндекса использовать его в своих задачах проще и чаще. Предыдущий пост рассказывал о том, что такое функция ранжирования и как мы научились строить её, имея на входе лишь достаточно большое число оценок от асессоров и достаточно разнообразный набор признаков (факторов) документов по большому количеству запросов.

Из этого поста вы узнаете:

1. Почему нам нужно подбирать новую формулу ранжирования очень часто, и как именно нам в этом помогает FML;
2. Как мы разрабатываем новые факторы и оцениваем их эффективность.

На Хабрахабре часто поднималась тема не вполне добросовестных способов распространения программ и изменений настроек браузеров без явного согласия пользователей. Сегодня мы выпускаем новый продукт, задача которого — предотвращать это.

Его название — Менеджер браузеров — хорошо описывает то, какую задачу он призван решать: управлять настройками обозревателей и не давать изменить их без вашего ведома. Хотим подчеркнуть, что сам он при этом абсолютно нейтрален: не навязывает и даже не предлагает никаких настроек по умолчанию или чего-либо подобного и защищает тот поиск, дефолтную страницу и опции, которые выбрали вы.



Мы внимательно следили за тем, чтобы Менеджер браузеров только помогал пользователям сохранять их собственные настройки. Честно признаемся, что отчасти эта программа стала для нас и работой над собственными ошибками.

Сегодня мы начинаем публиковать серию постов о машинном обучении и его месте в Яндексе, а также инструментах, которые избавили разработчиков поисковой системы от рутинных действий и помогли сфокусироваться на главном — изобретении новых подходов к улучшению поиска. Основное внимание мы уделим применению этих средств для улучшения формулы релевантности, и более широко — для качества ранжирования.

Без качественного тестирования невозможно разрабатывать и поддерживать крупный веб-сервис. На ранних этапах его развития часто можно обходиться только ручным тестированием по заданному тест-плану, но с появлением новых фич и увеличением количества тест-кейсов довольствоваться только им становится все сложнее и сложнее. В этой статье мы расскажем о том, как автоматизируем функциональное тестирование веб-интерфейса Яндекс.Почты с помощью Selenium WebDriver и Node.js.

Уже в момент запуска Яндекс.Диск дал многим разработчиками возможность использовать его в своих приложениях и программах. И обеспечивает это то, что протоколом для десктопных клиентов Диска мы выбрали WebDAV.

Так как именно протокол определяет то, как общаются между собой программы и сервер, от его выбора зависит примерно всё. И то, как будут устроены клиенты, и то, какие возможности работы с файлами у них будут.



Сегодня мы хотим рассказать о причинах, которые остановили наш выбор именно на WebDAV и сделали его протоколом для клиентов Яндекс.Диска.

В Яндекс.Почте совсем недавно появилась новая возможность — письма в смс. Мы сделали её не только для тех, кто любит бесплатно отправлять текстовые сообщения, но и для тех, кому нужна быстрая реакция получателя. Теперь из веб-интерфейса почты вместе с письмом вы можете оправлять смс-сообщение со ссылкой на копию самого письма.

Ссылка откроется в специальном мобильном интерфейсе, не требующем авторизации. Там же можно прочитать письмо и ответить на него. При этом совершенно не важно, на каком сервисе находится электронная почта получателя. Сегодня мы раскроем несколько секретов о технических деталях реализации.

Уведомить получателя об отправленном письме можно было и раньше, но с небольшими ограничениями. Например, если письмо было отправлено не на Яндекс.Почту, смс выглядело вот так:

Последнее время пользователи жалуются нам на объявления, в которых им якобы от имени Яндекса предлагают деньги в подарок. При этом человека просят ввести номер мобильного, а затем — код активации из полученного смс-сообщения. Если пользователь так и поступает, то, сам того не ведая, подключает платную смс-подписку. Ему начинают присылать смс, например, с прогнозом погоды, и каждый день списывают за это деньги с его мобильного счета.



Мы не имеем отношения к подобным объявлениям, даже если они появляются на фоне Яндекса. И, со своей стороны, стараемся оградить вас от действий злоумышленников. Сейчас Яндекс активно выявляет страницы, созданные с целью выманить номер телефона. Предупреждение о том, что на эти страницы лучше не заходить, появляется в результатах поиска, в Яндекс.Браузере и другом ПО.

Кроме того, мы выявляем сайты, на которых установлен код, запускающий показ объявлений злоумышленников. Наличие такого кода снижает качество сайтов, поэтому в результатах поиска они будут показываться ниже, чем более качественные ресурсы.

Команда дизайнеров и разработчиков Яндекс.Денег на основе открытых API Twitter и Яндекс.Денег сделала и запустила проект Twym: мгновенные переводы между пользователями Яндекс.Денег в твиттере — по хэштегу #twym.

Как это работает?

1. Вы идёте на twym.ru и привязываете свой твиттер-аккаунт;
2. Разрешаете Twym доступ к своему счёту в Яндекс.Деньгах и указываете лимиты дневных переводов (для спокойствия);
3. Пишете твит, в котором есть одновременно @имя получателя, сумма и хэштег #twym;
4. Робот Твимими видит запись и отправляет перевод — или просит вашего получателя подключиться к Twym, если тот ещё этого не сделал.

Деньги моментально списываются со счёта; получатель узнаёт об этом по твиту или из письма, если он подписан на уведомления. Отправить твит можно из любого твиттер-клиента или на сайте Twym.ru в форме быстротвита (чтобы выучить формулу).

Этой весной в Москве пройдёт ECIR — одна из самых значимых в мире научных конференций по информационному поиску. Её организаторами выступают Яндекс и Высшая школа экономики. Этот ECIR будет уже 35-м по счёту, но в России конференция пройдёт впервые.



С 24 по 27 марта о своих исследованиях расскажут учёные из Беркли, Лондонского университета королевы Марии, Университета китайской Академии Наук, Школы компьютерных наук Университета Глазго и других ведущих научных школ Европы, США, Южной Америки и Азии. В нашем офисе и в Digital October проведут воркшопы и прочитают доклады исследователи из таких компаний и индустриальных лабораторий, как Twitter, Yahoo! Labs, Microsoft Research, Ebay, IBM Research.