В конце августа Яндекс вступил в World Wide Web Consortium. Тогда, в том числе в посте на Хабре, нам задали много вопросов о том, зачем нам W3C, и что мы там собираемся делать.

Нашим представителем в W3C стал Чарльз МакКэтиНевил, и я воспользовался его приездом на YaC 2012, чтобы задать часть этих вопросы вживую.

Чарльз занимается стандартами Веба в W3C почти 14 лет. Раньше он был директором по веб-стандартам в Opera Software, а с июля 2012 года работает в Яндексе, учит русский язык и даже ведёт по-русски свой русскоязычный твиттер.

Кстати — если у вас есть вопросы к Чарльзу, которые мы ещё не задали, — смело задавайте их в комментариях. Обещаю получить у него ответы на стоящие и добавить их в интервью и/или ответить в комментариях же.

Каждый большой продукт включает в себя много сложных и интересных технологий, над созданием которых работали люди, зачастую посвятившие им целую жизнь. И в браузере Yandex реализованы многие разработки наших коллег, которые могут остаться не замеченными неспециалистами и казаться незначимыми деталями. Например, одной из облачных технологий Яндекса, которые интегрированы в Браузер, стал наш собственный переводчик.

Сам Яндекс.Перевод вышел из беты несколько месяцев назад. От других немногочисленных подобных сервисов его отличает автословарь, уникальная технология которого разработана командой лингвистов и программистов Яндекса. Во время его разработки удалось объединить современные статистические подходы машинного перевода и традиционные лингвистические инструменты.



Чтобы понять, насколько значимым шагом в развитии машинного перевода является появление автословаря, стоит вспомнить, что 20 лет назад были распространены синтаксические переводчики, для которых таблицы соответствия фраз на разных языках составляли вручную. Процесс их создания стал меняться только в конце 1990-х, когда появились первые статистические переводчики. Для обучения их моделям переводов стали использовать параллельные тексты. Документы, в которых одно и то же написано на разных языках, извлекали, например, из дипломатической документации. Большой базой параллельных текстов стали документы ООН. Но на подобной лексике создать общелексический переводчик не получилось, потому что даже неформальные тексты он переводил сухим дипломатическим языком.

Яндекс запускает Trinity — новый интерфейс почты, позволяющий экономить время в деловой переписке.



В новом интерфейсе все письма открываются на одной странице, они сразу сгруппированы по теме. Например, если в переписке с темой «Подготовка к презентации» уже много писем и участников, всю дискуссию легко прочитать в виде ленты на одной странице. Такой интерфейс позволяет сосредоточиться на главном — быстром чтении писем и работе с ними.

Мы стремимся к тому, чтобы все части Яндекс.Почты одинаково хорошо работали у всех пользователей. Сегодня мы расскажем вам о том, как и зачем полностью переписали блок добавления аттачей. В этой статье — про отказ от флеша, поддержку возможностей современных браузеров и, как результат, увеличение скорости и надёжности загрузки файлов.

Проблема

Раньше всю аудиторию Яндекс.Почты мы разделяли на пользователей с флешем и без.

С первыми всё было просто: пользователи с установленным флешем прикрепляли файлы к письму через флеш-загрузчик. Он позволял загрузить сразу несколько файлов, определял их размер и контролировал процесс загрузки.

А вот с пользователями без флеша (8-10% от дневной аудитории) было сложнее. Мы предлагали им загружать файлы через обычную форму с />. Файлы из неё отправлялись через iframe вместе с содержимым самого письма, и это занимало много времени. Нажав кнопку «Отправить», пользователь долго ждал, пока загрузятся файлы.

Информация о пробках появилась на Яндексе в 2006 году. Начинали мы с необходимого — научились строить схему загруженности городских улиц и учитывать текущую ситуацию при прокладывании маршрутов. Автомобилисты, ориентируясь перед выездом на эту информацию, уже могли сэкономить время в пути:


Затем, чтобы помогать водителям непосредственно во время движения, мы добавили в мобильные Яндекс.Карты (и, как следствие, в Яндекс.Навигатор) автоматическое перестроение маршрута. Приложения научились адаптировать маршрут при каждом заметном изменении ситуации в городе.

Собрав на десктопе и в мобильном информацию про «сейчас», мы перешли к решению вопроса «а как будет потом?»:


Первым шагом стала статистическая карта пробок — на ней можно посмотреть, как в среднем стоит и едет город в конкретный час конкретного дня недели. Мы предполагали, что у карты «обычных» пробок может быть полезный побочный эффект — возможность по ним спрогнозировать заторы на ближайшее время. Но практика показала, что усреднённая картина помогает примерно спланировать только, например, завтрашнюю поездку в аэропорт — но не помогает выезжающим сейчас избежать новых пробок. По нашим измерениям, даже в конце часового маршрута картина пробок на момент выезда обычно ближе к фактической, чем усреднение:



Неделю назад на Яндекс.Картах появилась возможность посмотреть изменения пробок в ближайший час — следующий наш шаг в решении вопроса про будущее. Для тех, кто в этом году не смог приехать на Yet another Conference, мы сегодня расскажем, что у нашего прогноза внутри, и как оно там оказалось.

Сегодня был представлен новый браузер Yandex — первый, который мы не просто собрали из готовых составных частей, а спроектировали его внешний вид фактически с нуля, проработав каждую возможную деталь. Теперь можно рассказать о том, почему и как мы это делали.



Над браузером работала команда из нескольких десятков человек, которая тщательно взвешивала все плюсы и минусы каждого решения. Мы должны были понимать, какие из существующих технологий и почему должны быть в браузере от Яндекса. А самой главной задачей было найти и реализовать такие решения, которые бы делали Yandex действительно новым продуктом на высококонкурентном рынке подобных программ.

23 сентября 1997 года — официальный день рождения поисковой системы Yandex.Ru. В этот день она была анонсирована на выставке Softool в Москве. Яндекс образца 1997 года учитывал морфологию русского языка, расстояние между словами и умел ранжировать документы в соответствии с их релевантностью заданному запросу.

15 лет назад главная страница Яндекса выглядела именно так:


И для многих эта страница — уже часть далёкой истории.

С места – в карьер: в этом году слушателей Yet another Conference ждет чрезвычайно насыщенная программа, состоящая из 4 потоков и 7 секций.

Вместе с нами о технологиях, тенденциях в мире разработки и практическом опыте будут рассказывать специалисты из Microsoft Research, Cloud9 IDE, Adobe, Opera Software, Cisco Systems, Google, Spanfish, Nimbula и других компаний.
Откроют конференцию Аркадий Волож и Илья Сегалович.

Мы подготовили краткий обзор секций, чтобы вам было легче определиться, какие доклады вы хотите послушать.

Интернет-математика будет представлена в этом году докладами от Яндекса и Microsoft Research. Также приедет уже полюбившийся слушателям Дмитрий Мольков (exFacebook) с докладом про MapReduce. Мы поговорим про передовые алгоритмы доказательства теорем, математические модели, которые помогли Яндекс.Пробкам и многое другое.

В прошлом году все сетовали на отсутствие «облачной» секции, поэтому мы приготовили для вас несколько докладов по этой теме: про облачные вычисления и хранилища данных, особенности создания подобных платформ и технологии, которые разрабатываются внутри Яндекса. В фойе будут работать стенды партнеров – компании Nimbula из Кремниевой долины и стенд Яндекса – «Opensource Stack», где вы сможете познакомиться с Elliptics, Grape, Сocaine и Fastcgi-daemon.

Некоторое время назад мы писали, что в Яндекс.Почте появился новый интерфейс, в котором используется шаблонизация данных в браузере. Немногие крупные сервисы отваживались на это, но мы и сейчас считаем такое решение наиболее удачным. Оно не только ускорило работу интерфейса, но и позволяет экономить трафик пользователя и эффективнее расходовать процессорное время серверов.

Тогда в качестве шаблонизатора мы использовали XSL, а данные передавали в формате XML. Переведя проект на новый интерфейс, мы начали искать другие способы ускорения работы интерфейса Яндекс.Почты.

Недавно мы перевели всю Почту на JS-шаблонизатор и JSON-данные.

При выполнении расчетов в системах распределенных вычислений, в том числе с архитектурой MapReduce, часто возникают задачи, которые выполняются медленно или с опозданием на отдельно взятом узле (stragglers). Причиной появления таких задач может стать неоднородность кластера, hardware или software проблемы. Из-за таких запозданий падает быстродействие всей системы в целом. Создатели Hadoop стараются бороться с этим, дублируя запуски медленных задач на других узлах кластера (speculative execution), однако этот подход не позволяет определять медленные задачи своевременно.

20 сентября в московском офисе Яндекса пройдет научно-технический семинар, на котором выступит Эдуард Бортников, главный инженер исследовательского центра Yahoo!.. В первой половине своего доклада он расскажет, как решать проблему «узких мест» систем MapReduce с помощью машинного обучения. Этот метод, в отличие от технологии Hadoop, позволяет предсказывать замедление выполнения задач на конкретном узле. Предсказатель можно интегрировать с существующей системой MapReduce, таким образом увеличив эффективность системы.

Вторая часть доклада будет посвящена Sailfish – новой реализации модели MapReduce от Yahoo!.. В основе новинки лежит принцип объединения промежуточных данных и пакетная обработка операций дискового ввода-вывода. Система Sailfish блестяще прошла эксперимент на реальных данных и задачах в Yahoo!, показав поистине чемпионские результаты – эффективность выполнения задач увеличилась до 400% по сравнению с Hadoop. Кроме того, Sailfish позволяет делать автоматическую настройку параметров задачи при изменении объемов или распределения данных. Система Sailfish проще в использовании, чем Hadoop, где каждый запуск требует кропотливой, ручной настройки параметров.
Семинар пройдет на русском языке, начало в 19:00.

Для участия в семинаре необходима регистрация.

Для тех, кто не сможет прийти на семинар, будет организована видеотрансляция.

Вы слышали про новые условия использования Яндекс.Денег? Как многие уже знают, новые правила – это не прихоть Яндекс.Денег, все перемены напрямую связаны с требованиями закона «О национальной платежной системе».

Мы публикуем ответы на самые распространенные вопросы: с ними последние три недели к нам приходили наши пользователи, блогеры, журналисты и партнеры.

Сегодня Яндекс вступил в World Wide Web Consortium. W3C разрабатывает и внедряет самые важные и основополагающие стандарты веба, включая такие, как HTML5 или новые версии CSS. Мы в рамках консорциума будем участвовать в обсуждениях и разработке тех из них, которые кажутся нам наиболее важными и влияющими на то, каким будет не только Рунет, но и интернет в целом. Представителем Яндекса в W3C будет Charles McCathie Nevile.

31 августа в московском офисе Яндекса пройдёт научно-технический семинар на тему «Методы анализа поведения пользователей и их применение в веб-поиске и для рекомендаций контента».

Докладчик – Арис Гионис, старший научный сотрудник барселонского отдела исследований Yahoo!, получивший степень доктора наук Computer Science в Стэндфорде. Он занимается изучением алгоритмов анализа данных и веб-приложений.

Арис Гионис расскажет о различных задачах, решаемых с помощью анализа поведения пользователя на сайтах и в социальных медиа. В центре внимания – решение задач, связанных с поиском по интернету и рекомендацией контента.

Докладчиком будет затронута тема поисковых подсказок, в особенности для редких запросов. Новый подход основан на том, чтобы выделить шаблоны запросов, для которых нужно сделать подсказку, и сгенерировать подсказки путем установления смысловых связей между этими шаблонами, а не самими запросами.

Вы узнаете о проблеме извлечения полезных советов из сервиса Yahoo! Answers и их выдачи в ответ на соответствующие поисковые запросы. Наконец, Арис расскажет о системе рекомендации новостей на основе информации о пользователях из различных сервисов микроблогов, таких как Твиттер.

Семинар пройдет на английском языке, начало в 19:00. Для участия в семинаре необходима регистрация.

Для тех, кто не сможет прийти на семинар, будет организована видеотрансляция.

8 сентября 2012 года в Москве пройдет первый этой осенью Я.Субботник.

Он будет посвящен БЭМ-экосистеме, которая появилась и развивается в Яндексе.

Сотрудники московского и симферопольского офисов Яндекса подробно расскажут про существующие компоненты и поделятся своим видением будущего БЭМ.

Приходите, слушайте, задавайте вопросы и общайтесь на профессиональные темы за чашкой кофе.

На нашем Я.Cубботнике вы узнаете про:

• историю создания БЭМ;
• шаблонизаторы вообще и BEMHTML в частности;
• внедрение БЭМ в существующие системы;
• миксы;
• I-bem.js и зачем он нужен;
• тестирование блоков;
• автоматическую сборку и bem-tools.

Кроме того, вас будут ждать интерактивные стенды, о которых мы расскажем дополнительно.

Программа и тезисы Я.Субботника

Участие, как всегда, бесплатное, но зарегистрироваться необходимо.

Регистрация на мероприятие заканчивается 7 сентября в 18:00 по московскому времени.

Количество мест ограничено.

Для тех, кто не попадёт в число участников или не сможет лично присутствовать на Я.Субботнике, будет организована онлайн-трансляция.

Яндекс.Events, делимся знаниями

Страница результатов поиска — одна из самых популярных страниц Яндекса. Её загружают около 130 миллионов раз в день. Это при среднем размере страницы в 25КБ дает нам 3ТБ трафика в сутки.

Несмотря на кажущуюся простоту, за тем, из чего состоит эта страница, — огромная работа большого количества людей и много сложных технологий.

Развивая интерфейсы, обычно мы идём по эволюционному пути, меняем страницу поэтапно. Проверяем наши решения, внедряя их на небольшой процент пользователей, — проводим эксперименты. Нас уже не устраивают небольшие изменения: хотим развивать продукт, построив новую технологическую платформу, на которой в будущем будем реализовывать свои проекты.



Сегодня мы начинаем эксперимент с новой страницей результатов поиска. И для этого мы выбрали нашу площадку для тестирования поиска по мировому интернету — yandex.com.

Некоторое время назад мы открыли API Яндекс.Диска. Сегодня документация пополнилась двумя новыми методами: публикация файлов, размещённых на Диске, и получение оповещений об изменениях.
На базе доступной документации теперь можно создавать программы и приложения не только для хранения и синхронизации данных, но и для их публикации. С помощью API можно сгенерировать публичную ссылку на любой файл, загруженный на Яндекс.Диск, или вернуть ему статус личного.

В последнее время вебмастера используют семантическую микроразметку все чаще: по нашим данным, сейчас 10% страниц рунета размечены, и это число постоянно растет. А вслед за популярностью микроразметки растет и потребность вебмастеров в дополнительных ее видах. И не только тех, которые поддерживает Яндекс. Именно поэтому мы решили сделать валидатор микроразметки в Яндекс.Вебмастере универсальным. Для начала мы научили его проверять корректность всех типов разметки Schema.org и microdata.

Пример валидации разметки Product (Schema.org):

28 июля 2012 года в Москве пройдет очередной Я.Субботник.

Сотрудники московского офиса Яндекса расскажут о технологиях, решениях и полезных практиках, которые могут быть интересны разработчикам.

Приходите, слушайте, задавайте вопросы и общайтесь на профессиональные темы за чашкой кофе.
На нашем Я.Cубботнике вы узнаете про:

• новый Яндекс.Танк;
• архитектуру и API Яндекс.Фоток и Яндекс.Диска;
• кластеризатор в JS API Яндекс.Карт;
• разные способы создания клиентских js-компонентов.

Кроме того, вас ждут два мастер-класса:

• по прототипированию на живом проекте;
• по MapKit для WP7.

Программа и тезисы Я.Субботника

Участие, как всегда, бесплатное, но зарегистрироваться необходимо.

Регистрация на мероприятие заканчивается 27 июля в 18:00 по московскому времени.

Количество мест ограничено.

28 июля, в субботу, с 10 утра ждём участников по адресу: Москва, ул. Льва Толстого 16, офис Яндекса, зал Экстрополис.

Для тех, кто не попадёт в число участников или не сможет лично присутствовать на Я.Субботнике, будет организована онлайн-трансляция.

Ранее мы писали о плагинах-пингерах для популярных CMS, позволяющих индексировать сайт по запросу.

Плагин, установленный в CMS, отслеживает изменения на сайте и генерирует запросы на индексацию при создании или изменении документов. Это позволяет сделать результаты поиска на сайте более “свежими”, то есть оперативно индексировать новые документы. Напоминаем, что индексирование по запросу в рамках сервиса Яндекс.Поиск для сайта улучшает только поиск на сайте и не влияет на индексацию сайта основным роботом Яндекса.

Сегодня список дополнил плагин для системы управления TYPO3. Всего дополнения существуют для 5-ти популярных CMS: Wordpress, Joomla!, Drupal, ModX, TYPO3.
Скачать плагины и ознакомиться с инструкциями можно на этой странице, но теперь это не единственный способ.

30 июня 2012 года в Санкт-Петербурге пройдет очередной Я.Субботник.

Сотрудники петербургского, московского и симферопольского офисов Яндекса расскажут о технологиях, решениях и полезных практиках, которые могут быть интересны разработчикам.

Приходите, слушайте, задавайте вопросы и общайтесь на профессиональные темы за чашкой кофе.

На нашем Я.Cубботнике вы узнаете про:

• Драматическую историю одной промостранички;
• CSS-препроцессоры;
• Git;
• Отказоустойчивость сервисов;
• Интранет и синхронизацию;
• Автоматизированное тестирование безопасности конфигурации промышленных веб-серверов;
• Качество кода автотестов;
• Разработку на Node.js;
• Жизнь одного проекта: от идеи до воплощения.

Программа Я.Субботника.

Тезисы Я.Субботника.

Участие, как всегда, бесплатное, но зарегистрироваться необходимо.