Только что на YaC 2013 Яндекс анонсировал новую платформу «Атом». Она использует множество технологий, которые были созданы для разных задач, чтобы решить одну большую — изменить интернет так, чтобы каждый из нас перестал быть для него абстракцией, а стал человеком со своим характером и интересами.



Постепенно все пришли к пониманию, что интернет определятся не документами, а людьми. Он связан с реальностью и состоит из потребностей, предпочтений и задач людей — как мир из атомов. Программа «Атом» — о человеке, она выдвигает и проверяет гипотезы о том, чего он хочет, что ему интересно, что ему нужно на конкретном сайте.

Сегодня открывается бета-версия Островов Яндекса. Это платформа с новым интерфейсом и интерактивными ответами, которые призваны упростить людям решение их задач.

Доступ к бете мы будем открывать постепенно: сегодня свои инвайты начнут получать все, кто запросил к ней доступ после объявление платформы в мае.

По этому поводу, специально для Хабра, мы взяли интервью у руководителя проекта «Острова» Тараса Шарова. Он рассказал о принципах и истории платформы, а также о том, зачем Яндекс затеял такое серьёзное обновление вида результатов поиска.

Внесённый в Госдуму проект Федерального закона № 292521-6 «О внесении изменений в законодательные акты Российской Федерации по вопросам защиты интеллектуальных прав в информационно-телекоммуникационных сетях», о котором мы писали в пятницу, был в самые кратчайшие сроки одобрен соответствующими комитетами Государственной думы РФ и рекомендован к принятию в первом чтении, которое состоится уже в эту пятницу, 14 июня.

К сожалению, скорость рассмотрения проекта и отсутствие реакции законодателей на общественное и экспертное обсуждение говорят о том, что он, по всей видимости, очень скоро станет законом. Делая выбор между очень плохим и плохим, мы предлагаем концепцию поправок в этот законопроект, которые могут снизить ущерб для развития интернета в России (при этом еще раз отмечаем необходимость разработки альтернативной концепции регулирования защиты авторских прав). 

Понимая важность защиты авторских и смежных прав в интернете, мы также считаем, что столь сложный общественный организм, как интернет, требует адекватных механизмов регулирования, которые не подрывают основ его функционирования, не влекут непоправимый ущерб инфраструктуре и не решают коммерческие проблемы одних участников оборота за счет других добросовестных участников оборота и интересов всего общества в целом. 

Наши комментарии по проекту и предложения по минимально необходимым правкам, которые мы постараемся довести до сведения Госдумы и всех иных заинтересованных лиц, следующие.

Вчера в Госдуму был внесён очередной законопроект о регулировании интернета — «О внесении изменений в законодательные акты Российской Федерации по вопросам защиты интеллектуальных прав в информационно-телекоммуникационных сетях». Если вкратце, он предусматривает создание ещё одного чёрного списка — аналогичного реестру запрещённых сайтов, и блокировку сайтов, внесённых в этот список.

У интернет-компаний снова не было возможности участвовать в создании законопроекта — как и в прошлый раз, он подготовлен без обсуждения с общественностью и отраслью. Мы полностью поддерживаем защиту авторских прав и развиваем сервисы с легальным контентом вместе с правообладателями. При этом мы уверены, что регулирующие меры не должны ставить под угрозу развитие интернета в России.

Законопроект открывает много возможностей для злоупотреблений. Вот пример одного из них. Злоумышленник, заинтересованный в закрытии сайта N, насвистывает на диктофон мелодию собственного сочинения, тем самым становясь её правообладателем. Затем он размещает фонограмму своего художественного свиста на сайте N. После этого — со скриншотом сайта N, на котором видно размещение фонограммы, — новоиспечённый правообладатель обращается в Московский городской суд. Суть обращения — на сайте N нелегально размещён объект, на который ему принадлежат права.

С сегодняшнего дня поиск Яндекса персонализирует ответ не только на основе истории ваших интересов — он будет учитывать и то, что вы делаете на поиске прямо сейчас. Это важное изменение для пользователей: от того, чем мы занимаемся сейчас, зависит то, что мы ожидаем получить в ответ. Поиск Яндекса становится адаптивным. Чтобы это стало возможным, нам пришлось реализовать новую технологию доставки данных в реальном времени.



Чтобы понять, что хочет пользователь, нужен контекст. Когда-то всем контекстом, который был доступен Яндексу, был текст поискового запроса. Со временем мы научились учитывать, из какого региона его задают.

Важным этапом стала персонализация ответа для разных пользователей — мы стали использовать знания о конкретном человеке, чтобы дать ему более точный ответ. Для этого мы использовали данные, посчитанные на истории запросов и кликов пользователя. Причём они были посчитаны как по истории за длинный период, так и по недавней. Мы рассказывали на Хабре об этом этапе.

Каждый раз дополнение пользовательского контекста влечёт за собой изменение качества работы системы, а иногда и пользовательского поведения.

Сегодня вышло долгожданное приложение Яндекс.Музыки для смартфонов на Android

 

Теперь можно собрать вместе музыку из разных источников, объединив в плейлист треки из памяти телефона, с Яндекс.Диска и, конечно, из каталога сервиса. Любой доступный на Яндекс.Музыке альбом или трек можно сохранить в приложении и слушать без подключения к интернету, например, в метро, на природе или в самолёте.

Треки аудиопотоков в разделе «Радио» тоже доступны для сохранения, а количество сохраняемых композиций ограничено только памятью вашего телефона.

Сегодня стало известно, что ICANN — международная некоммерческая организация, которая регулирует вопросы, связанные с доменными именами в интернете, — предварительно одобрила заявку Яндекса на доменную зону первого уровня .yandex.

Специально для Хабра, мы задали самые основные вопросы о .yandex руководителю NOC Яндекса Владимиру ivlad Иванову и заместителю руководителя департамента эксплуатации Татьяне tvt Бахаревской.

Сегодня на конференции YaC/m мы объявили о том, что Яндекс планирует радикальное обновление вида результатов поиска. Во-первых, они меняются идеологически: теперь пользователь будет не просто находить ответы на свои запросы, но и сможет прямо на странице с выдачей решать свои задачи. А во-вторых, поисковые результаты обновятся визуально — дизайн станет частью нашего нового подхода в поиске. 


Текст ниже написал Данила Ковчий, один из авторов платформы «Острова», о которой пойдёт речь дальше. Прямо сейчас он находится на сцене и не может запостить его сам. Дальше повествование пойдёт от его имени.



Я Данила Ковчий, числюсь дизайнером в Яндексе, а сейчас буду выступать посредником между вами и последними событиями в компании.

К делу

Яндекс меняется. Меняется и его основной продукт — поиск. Здесь я буду рассказывать в основном про него, что, как и почему нам пришлось переделать, какие были причины и немножко о последствиях.

Изменения в поиске делятся на два направления:
— блочная выдача;
— контекстно-зависимый интерфейс.

Сегодня Ростелеком заблокировал Яндекс для своих абонентов — примерно с 14:04 до 14:27 по Москве. Наших пользователей встречала страница-заглушка об ограничении доступа к сайту.



Ростелеком в качестве причины блокировки ссылается на «предписание суда ограничить доступ к сайту, IP которого совпадал с некоторыми ресурсами». Никаких уведомлений по этому поводу в Яндекс не поступало. Мы считаем случившееся недоразумением.

Сегодня Яндекс присоединился к ЦЕРНу. Наше партнёрство с Европейским центром ядерных исследований переходит на новую стадию развития: у ученых из ЦЕРНа появится доступ к технологии машинного обучения Матрикснет от Яндекса, а также новым вычислительным мощностям. А Яндекс становится ассоциированным членом европейского Центра ядерных исследований в рамках проекта CERN openlab. Кроме него членами openlab являются Intel, HP, Oracle, Siemens и Huawei.

Сотрудничество Яндекса с Центром началось в 2011 году, когда мы впервые предоставили ЦЕРНу свои серверные мощности. А в апреле прошлого года наши разработчики создали поиск по событиям эксперимента LHCb. LHCb — один из четырёх основных экспериментов ЦЕРНа и один из примеров того, насколько важными в современной науке стали не только данные опытов, но и их обработка. В ходе опытов LHCb исследуются соударения b-кварка (b от английского beauty, по-русски его называют прелестным). Объём информации об этих событиях только за год достигает тысяч терабайт. Благодаря созданнному нами поисковому индексу у учёных ЦЕРНа появилась возможность мгновенно получать нужную информацию.

В современной фундаментальной науке важную роль стали играть не только технические ресурсы для проведения опытов, но и вычислительные возможности для обработки и понимания их результатов. В наши дни, особенно в ЦЕРНе, данных становится так много, что без применения сложных алгоритмов даже учёному будет сложно делать точные выводы о результатах опытов. Технологии, которые можно применять для таких целей, имеет совсем небольшое количество компаний.



Мы расспросили Андрея Устюжанина, руководителя проекта партнёрства с ЦЕРНом в Яндексе, о подробностях того, для чего именно ЦЕРНу нужна помощь Яндекса и как устроена работа с данными экспериментов. Смотрите видео и читайте более подробную текстовую версию после ката.

Одним из самых ярких событий уходящего года для нас стала Yet another Conference 2012. В числе её участников был и Александр Песляк, более известный как Solar Designer.

Как многие знают, он — основатель проекта Openwall, автор свободного программного обеспечения (в том числе популярной программы для аудита безопасности паролей John the Ripper). Solar Designer был техническим рецензентом книги о компьютерной безопасности Silence on the Wire Михала Залевского и написал для нее предисловие.

С докладами о компьютерной безопасности Александр участвовал во многих международных конференциях — HAL2001, NordU, FOSDEM, CanSecWest, PHDays. На YaC 2012 он рассказывал «Как защитить миллионы паролей». Перед выступлением мы взяли у него небольшое интервью. Solar Designer рассказал, как стал специалистом по компьютерной безопасности и поделился своим взглядом на её современное состояние.

Сегодня мы объявляем о важных изменениях в поиске Яндекса. Теперь результаты поиска и поисковые подсказки будут персонализированными и могут отличаться для каждого пользователя, который задаёт запрос и получает на него ответ от Яндекса.

Специально для Хабрахабра мы взяли интервью у людей, которые занимались этим проектом, и спросили у них о том, для чего он нужен, как устроен, какие факторы мы учитываем, а также о том, как измеряем пользу от него.



Когда-то давно для того чтобы показать человеку результаты поиска, поисковым системам было достаточно пользовательского запроса и собственного индекса. Две эти сущности легко себе представить. Но со временем стало понятно, что есть ещё одна очень важная штука — контекст запроса. Кто, откуда и когда его задаёт.

Три года назад при формировании результатов поиска мы начали учитывать регион пользователя.

В конце августа Яндекс вступил в World Wide Web Consortium. Тогда, в том числе в посте на Хабре, нам задали много вопросов о том, зачем нам W3C, и что мы там собираемся делать.

Нашим представителем в W3C стал Чарльз МакКэтиНевил, и я воспользовался его приездом на YaC 2012, чтобы задать часть этих вопросы вживую.

Чарльз занимается стандартами Веба в W3C почти 14 лет. Раньше он был директором по веб-стандартам в Opera Software, а с июля 2012 года работает в Яндексе, учит русский язык и даже ведёт по-русски свой русскоязычный твиттер.

Кстати — если у вас есть вопросы к Чарльзу, которые мы ещё не задали, — смело задавайте их в комментариях. Обещаю получить у него ответы на стоящие и добавить их в интервью и/или ответить в комментариях же.

Каждый большой продукт включает в себя много сложных и интересных технологий, над созданием которых работали люди, зачастую посвятившие им целую жизнь. И в браузере Yandex реализованы многие разработки наших коллег, которые могут остаться не замеченными неспециалистами и казаться незначимыми деталями. Например, одной из облачных технологий Яндекса, которые интегрированы в Браузер, стал наш собственный переводчик.

Сам Яндекс.Перевод вышел из беты несколько месяцев назад. От других немногочисленных подобных сервисов его отличает автословарь, уникальная технология которого разработана командой лингвистов и программистов Яндекса. Во время его разработки удалось объединить современные статистические подходы машинного перевода и традиционные лингвистические инструменты.



Чтобы понять, насколько значимым шагом в развитии машинного перевода является появление автословаря, стоит вспомнить, что 20 лет назад были распространены синтаксические переводчики, для которых таблицы соответствия фраз на разных языках составляли вручную. Процесс их создания стал меняться только в конце 1990-х, когда появились первые статистические переводчики. Для обучения их моделям переводов стали использовать параллельные тексты. Документы, в которых одно и то же написано на разных языках, извлекали, например, из дипломатической документации. Большой базой параллельных текстов стали документы ООН. Но на подобной лексике создать общелексический переводчик не получилось, потому что даже неформальные тексты он переводил сухим дипломатическим языком.

Яндекс запускает Trinity — новый интерфейс почты, позволяющий экономить время в деловой переписке.



В новом интерфейсе все письма открываются на одной странице, они сразу сгруппированы по теме. Например, если в переписке с темой «Подготовка к презентации» уже много писем и участников, всю дискуссию легко прочитать в виде ленты на одной странице. Такой интерфейс позволяет сосредоточиться на главном — быстром чтении писем и работе с ними.

Сегодня был представлен новый браузер Yandex — первый, который мы не просто собрали из готовых составных частей, а спроектировали его внешний вид фактически с нуля, проработав каждую возможную деталь. Теперь можно рассказать о том, почему и как мы это делали.



Над браузером работала команда из нескольких десятков человек, которая тщательно взвешивала все плюсы и минусы каждого решения. Мы должны были понимать, какие из существующих технологий и почему должны быть в браузере от Яндекса. А самой главной задачей было найти и реализовать такие решения, которые бы делали Yandex действительно новым продуктом на высококонкурентном рынке подобных программ.

Сегодня Яндекс вступил в World Wide Web Consortium. W3C разрабатывает и внедряет самые важные и основополагающие стандарты веба, включая такие, как HTML5 или новые версии CSS. Мы в рамках консорциума будем участвовать в обсуждениях и разработке тех из них, которые кажутся нам наиболее важными и влияющими на то, каким будет не только Рунет, но и интернет в целом. Представителем Яндекса в W3C будет Charles McCathie Nevile.