Pull to refresh

Берём не только крутых математиков. Новый способ поступить в ШАД с опытом в IT

Яндекс corporate blog Algorithms *Mathematics *Machine learning *Studying in IT
До 2020 года в Школу анализа данных могли попасть только те, кто очень глубоко и творчески владеет высшей математикой. Но этим качеством обладают не все способные люди, интересующиеся data science и инфраструктурой больших данных. Нередко разработчики, аналитики и молодые исследователи не помнят математику 1-2 курса вуза настолько хорошо, чтобы преодолеть наши вступительные экзамены. В этом году мы хотим дать таким людям возможность всё-таки попасть в ШАД. Мы организовали для них специальный трек поступления, о котором я расскажу ниже.

Но мало в ШАД попасть. Матанализ, линейная алгебра и теория вероятностей будут нужны дальше: без них не удастся разобраться с байесовскими методами, корректно оценить асимптотику сложности быстрой сортировки, написать хитрый метод многомерной оптимизации. Поэтому мы создаём принципиально новый адаптационный курс по математике. Все, кто поступят в ШАД по новым правилам, должны будут пройти этот курс.


Читать дальше →
Total votes 14: ↑14 and ↓0 +14
Views 20K
Comments 13

Как мы делаем новый учебник ШАДа по машинному обучению

Яндекс corporate blog Mathematics *Machine learning *Studying in IT Reading room
Привет! Это снова Стас Федотов, я руковожу Школой анализа данных и несколькими университетскими проектами Яндекса в Москве. Совсем недавно на YaC on Education мы запустили учебник по машинному обучению от ШАДа и открыли первые несколько глав. Я бы хотел рассказать, что нас к этому подтолкнуло и каких принципов мы придерживаемся в написании учебника.

Читать дальше →
Total votes 13: ↑13 and ↓0 +13
Views 4K
Comments 0

CS Center. Впечатления

Studying in IT
Доброго времени суток, уважаемые хабравчане.
Сегодня вам предоставляется возможность прочитать впечатления студента Computer Science Center-а по итогам первого года обучения.

Bio: маленькое отступление

Я студент 3-его курса СПбГУ НИУ ИТМО, учусь на кафедре «Высшей математики». Туда я поступал, так как мне была интересна математика, информатика и все, что с ними связано. Но, как это часто бывает в системе образования в России, я был несколько разочарован в своих ожиданиях: я думал, что поступлю туда, где мне расскажут много теории и научат применять ее на практике для решения конкретных задач. Теорию преподают очень хорошо: преподаватели действительно специалисты в своих областях и отлично владеют не только материалом, но и техникой его преподавания; но есть ряд предметов, которые, как мне кажется, должны были быть «по выбору», но явились обязательным, что несколько снижало общий настрой к обучению. А вот с применением на практике оказался облом: практически никаких интересных проектов, которые бы включали в себе актуальные на практике вопросы, обнаружено не было. И, если честно, до недавнего времени, я не совсем понимал что же я буду делать по выходу из института: быть «чистым» программистом не хотелось, а заниматься математикой я вообще не понимал как.

Поступление


Первый и самый главный вопрос на который нужно ответить, перед тем как начать обучение чему-либо где-либо, это вопрос: «Для чего мне это нужно?».

А вот для чего
Total votes 29: ↑23 and ↓6 +17
Views 8.6K
Comments 4

Стартует новый набор в Школу анализа данных Яндекса

Яндекс corporate blog
Сегодня, 10 апреля, стартовал очередной, уже шестой, набор в Школу анализа данных Яндекса. В этом году и сроки, и правила поступления в Школу немного поменялись, и обо всех изменениях мы хотим рассказать подробнее.



1. Отделения «Анализ данных» и «Computer science» в Москве
В предыдущие годы поступление на эти отделения было двухэтапным: заочное онлайн-тестирование и очное собеседование с преподавателями Школы.

Изначально заочный тест был несложным – так, в прошлом году тест не прошло всего 15% кандидатов и к собеседованию было допущено более 600 человек! Понятно, что администрации Школы все тяжелее уделить каждому кандидату несколько часов.

В этом году для допуска к собеседованию необходимо хорошо решить задачи очного письменного экзамена. И тестирование, и экзамен, и собеседование проводятся в рамках нашей программы по математике и программированию.

Заполнить анкету и пройти онлайн-тест все желающие могут уже сейчас у нас на сайте, заочный этап будет проходить до 20 мая включительно.

Читать дальше →
Total votes 33: ↑28 and ↓5 +23
Views 14K
Comments 17

Пять лет Школе анализа данных

Яндекс corporate blog
Ровно пять лет назад Яндекс объявил об открытии Школы анализа данных (ШАД). Для нас это был серьезный, хотя и рискованный шаг. Сегодня можно смело сказать, что всё получилось. Нам удалось создать сильную магистерскую программу, которая ценится в профессиональном сообществе. Сейчас конкурс в ШАД составляет пять-шесть человек на место, как в престижном вузе. В день рождения Школы мы хотим вспомнить о том, как все начиналось.

В середине 2000-х стало понятно, что на рынке почти нет специалистов, которые нам нужны. Многие представители советской школы анализа данных, которая была сильна в 60-70 годы, уехали из страны. Даже ВМиК или мехмат МГУ не давали достаточных знаний для решения задач, связанных с обработкой данных (текстов, изображений, музыки, голоса). Необходимо было возрождать научную среду и выращивать новое поколение программистов. А талантливые ребята в России были всегда, сколько бы отсюда ни уезжали.

Поначалу мы верили, что рядом с нами кипит жизнь, что где-то есть студенты и аспиранты, которые занимаются анализом данных — их нужно только поискать. Мы провели несколько конкурсов по анализу интернет-данных, но среди их участников студентов и аспирантов почти не было. Тогда мы попробовали договориться с вузами о создании курсов, которые готовили бы специалистов для Яндекса. Однако вузы предлагали свои программы и не были готовы разрабатывать новые. Так постепенно мы пришли к мысли, что нужно создавать свою школу. Огромную роль в ее создании сыграли Илья Мучник, Григорий Кондаков, Елена Бунина, Максим Бабенко.

Читать дальше →
Total votes 29: ↑25 and ↓4 +21
Views 9.2K
Comments 0

Открылся новый набор в Школу анализа данных Яндекса

Яндекс corporate blog
На днях мы открыли новый набор в Школу анализа данных. Чтобы стать её студентом, нужно ответить на вопросы в тесте, сдать экзамены и пройти собеседование. Занятия, как всегда, будут проходить в офисе Яндекса в Москве, а также в Екатеринбурге, Киеве и Минске. В Питере у ШАД есть отделение в Computer Science Center. Если вы живёте в других городах, то можете учиться у нас заочно: общаться с преподавателями по электронной почте и смотреть видеолекции. Обучение в Школе бесплатное.

Аудитории Школы анализа данных Яндекса

В ШАД преподают ведущие российские ученые — и те, кто живет в России, и те, кто работает за рубежом. Например, теорию машинного обучения ведёт Алексей Червоненкис, профессор Лондонского университета и один из создателей отечественной школы анализа данных. Автор курса по анализу данных и научный руководитель ШАД — профессор Rutgers University Илья Мучник, который когда-то был научным руководителем Аркадия Воложа.
Подробнее о том, как и чему учат в ШАД, читайте под катом
Total votes 56: ↑50 and ↓6 +44
Views 41K
Comments 25

Компьютерное зрение. Лекция для Малого ШАДа Яндекса

Яндекс corporate blog Image processing *
Область применения компьютерного зрения очень широка: от считывателей штрихкодов в супермаркетах до дополненной реальности. Из этой лекции вы узнаете, где используется и как работает компьютерное зрение, как выглядят изображения в цифрах, какие задачи в этой области решаются относительно легко, какие трудно, и почему.

Лекция рассчитана на старшеклассников – студентов Малого ШАДа, но и взрослые смогут почерпнуть из нее много полезного.



Возможность видеть и распознавать объекты – естественная и привычная возможность для человека. Однако для компьютера пока что – это чрезвычайно сложная задача. Сейчас предпринимаются попытки научить компьютер хотя бы толике того, что человек использует каждый день, даже не замечая того.

Наверное, чаще всего обычный человек встречается с компьютерным зрением на кассе в супермаркете. Конечно, речь идет о считывании штрихкодов. Они были разработаны специально именно таким образом, чтобы максимально упростить компьютеру процесс считывания. Но есть и более сложные задачи: считывание номеров автомобилей, анализ медицинских снимков, дефектоскопия на производстве, распознавание лиц и т.д. Активно развивается применение компьютерного зрения для создания систем дополненной реальности.

Подробный конспект лекции
Total votes 53: ↑50 and ↓3 +47
Views 63K
Comments 11

Архитектура Поиска Яндекса. Лекция для Малого ШАДа

Яндекс corporate blog Search engines *
В этой лекции на примере Яндекса будут рассмотрены базовые компоненты, необходимые для организации интернет-поисковика. Мы поговорим о том, как эти компоненты взаимодействуют и какими особенностями обладают. Вы узнаете также, что такое ранжирование документов и как измеряется качество поиска.

Лекция рассчитана на старшеклассников – студентов Малого ШАДа, но и взрослые могут узнать из нее много нового об устройстве поисковых машин.





Первый компонент нашей поисковой машины – это Паук. Он ходит по интернету и пытается выкачать как можно больше информации. Робот обрабатывает документы таким образом, чтобы по ним было проще искать. По простым html-файлам искать не очень удобно. Они очень большие, там много лишнего. Робот отсекает все лишнее и делает так, чтобы по документам было удобно искать. Ну и непосредственно поиск, который получает запросы и выдает ответы.
Конспект лекции
Total votes 62: ↑59 and ↓3 +56
Views 28K
Comments 9

Машинное обучение и анализ данных. Лекция для Малого ШАДа Яндекса

Яндекс corporate blog Algorithms *
Tutorial
Все чаще и чаще мы сталкиваемся с необходимостью выявлять внутренние закономерности больших объёмов данных. Например, для распознавания спама необходимо уметь находить закономерности в содержании электронных писем, а для прогнозирования стоимости акций — закономерности в финансовых данных. К сожалению, выявить их «вручную» часто невозможно, и тогда на помощь приходят методы машинного обучения. Они позволяют строить алгоритмы, которые помогают находить новые, ещё не описанные закономерности. Мы поговорим о том, что такое машинное обучение, где его стоит применять и какие сложности могут при этом возникнуть. Принципы работы нескольких популярных методов машинного обучения будут рассмотрены на реальных примерах.

Лекция предназначена для старшеклассников — студентов Малого ШАДа, но и взрослые с ее помощью смогут составить представление об основах машинного обучения.

image

Основная идея машинного обучения заключается в том, что имея обучающуюся программу и примеры данных с закономерностями, мы можем построить некоторую модель закономерности и находить закономерности в новых данных.
Видеозапись и конспект лекции
Total votes 68: ↑64 and ↓4 +60
Views 54K
Comments 2

Знания о языке и Яндекс. Зачем нам падежи? Лекция малой школы анализа данных

Яндекс corporate blog Search engines *
Tutorial


По разным оценкам сейчас в мире существует от трех до семи тысяч языков. Между языками могут быть очень значительные различия в графематике, фонетике, грамматике, лексике. Но если посмотреть шире, станет ясно, что все языки очень похожи и подвержены описанию при помощи универсальных категорий.

В этой лекции Елена Грунтова раскрывает студентам Малого ШАДа понятие грамматической категории и подробно рассказывает падежах, их природе, типах, а также способах выражения.

Лекция рассчитана на старшеклассников, но выходит за рамки школьной программы, поэтому может быть интересна и взрослым.
Презентация
Total votes 61: ↑55 and ↓6 +49
Views 20K
Comments 4

Machine Learning. Курс от Яндекса для тех, кто хочет провести новогодние каникулы с пользой

Яндекс corporate blog Big Data *
Tutorial
Новогодние каникулы – хорошее время не только для отдыха, но и для самообразования. Можно отвлечься от повседневных задач и посвятить несколько дней тому, чтобы научиться чему-нибудь новому, что будет помогать вам весь год (а может и не один). Поэтому мы решили в эти выходные опубликовать серию постов с лекциями курсов первого семестра Школы анализа данных.

Сегодня — о самом важном. Современный анализ данных без него представить невозможно. В рамках курса рассматриваются основные задачи обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на глубокое понимание математических основ, взаимосвязей, достоинств и ограничений рассматриваемых методов. Отдельные теоремы приводятся с доказательствами.



Читает курс лекций Константин Вячеславович Воронцов, старший научный сотрудник Вычислительного центра РАН. Заместитель директора по науке ЗАО «Форексис». Заместитель заведующего кафедрой «Интеллектуальные системы» ФУПМ МФТИ. Доцент кафедры «Математические методы прогнозирования» ВМиК МГУ. Эксперт компании «Яндекс». Доктор физико-математических наук.
Содержание и видео всех лекций курса
Total votes 172: ↑166 and ↓6 +160
Views 259K
Comments 47

Алгоритмы о выборе дороги и сетях. Сети Штейнера. Лекция Владимира Протасова в Яндексе

Яндекс corporate blog Algorithms *
Сегодня мы поговорим об одной из первых задач теории больших сетей, которая может быть решена полностью на самом простом базовом уровне, но которая от этого не становится менее интересной. Это задача о кратчайшей системе дорог или задача Штейнера.

Впервые она появилась, когда еще никаких практических надобностей для больших сетей не было: в тридцатые годы XX века. На самом деле Штейнер начал ее изучать еще раньше, в XIX веке. Это была чисто геометрическая задача, практические приложения которой стали известны только несколько десятилетий спустя.

Разговор пойдет о той области математики, которая впоследствии выросла в теорию больших сетей и разбилась на несколько областей. Это прикладная отрасль, которая задействует очень много методов из других математических дисциплин: дискретной математики, теории графов, функционального анализа, теории чисел и т.д. Бурное развитие теории больших сетей пришлось на конец девяностых и начало двухтысячных годов. Связано это конечно, с прикладными задачами: развитием интернета, мобильной связи, транспортных задач для больших городов. Кроме того теория сетей используется в биологии (нейронные сети), при построении больших электронных плат и т.п.



Сама задача формулируется очень просто. Есть несколько точек на плоскости, которые нужно связать системой дорог наименьшей суммарной длины таким образом, чтобы по этим дорогам можно было из каждой точки добраться в любую другую. Число точек конечно.

Начать рассказ стоит с истории о том, как на Малом мехмате двум группам учеников – восьмиклассникам и одиннадцатиклассникам дали решать одну и ту же задачу. Четыре деревни расположены в вершинах квадрата со стороной четыре километра. Существует ли система дорог, которая связывала бы все эти деревни между собой и имела бы суммарную длину не превосходящую 11 километров.
Конспект лекции
Total votes 60: ↑59 and ↓1 +58
Views 33K
Comments 5

Яндекс и Высшая школа экономики открывают факультет Computer Science

Яндекс corporate blog
Компьютерная наука так быстро развивается, что классическое образование за ней просто не успевает. Между тем потребность в специалистах в области Computer Science сейчас огромна. Вместе с Высшей школой экономики мы хотим создать факультет, где люди смогут получить полноценное высшее образование в этой сфере. Он будет готовить специалистов по программам «Теоретическая и прикладная информатика» и «Программная инженерия». Занятия начнутся уже в сентябре этого года.



Новый факультет компьютерных наук — это «большой» факультет. В Высшей школе экономики так называются структурные объединения, отвечающие за целую предметную область. Он объединит отделение программной инженерии, а также отделение прикладной математики и информатики, которые уже существовали в Высшей школе экономики. К ним добавится новый департамент — больших данных и информационного поиска. Он будет создан на основе базовой кафедры Яндекса, которая работает в НИУ ВШЭ с 2008 года. Учебный план факультета создаётся совместно преподавателями университета и специалистами Яндекса. В него войдут курсы по машинному обучению, компьютерному зрению, Big Data и другим направлениям компьютерных наук. Лекции и семинары будут вести преподаватели НИУ ВШЭ, сотрудники Яндекса и преподаватели Школы анализа данных.
Читать дальше →
Total votes 96: ↑90 and ↓6 +84
Views 43K
Comments 50

Новый набор в Школу анализа данных Яндекса и разбор вступительного экзамена

Яндекс corporate blog Mathematics *
16 апреля открылся новый набор в Школу анализа данных Яндекса, который продлится до 15 мая. В этом посте я хочу рассказать вам, как сложилась судьба тех, кто уже закончил ШАД, а также впервые публично разберу все задания нашего письменного вступительного экзамена. Как всегда, желающим надо будет заполнить анкету и выполнить задание на сайте Школы, сдать письменный экзамен и пройти собеседование.

Кстати, если у вас есть знакомые или их дети, которым рано идти в ШАД, но которые подают надежды, расскажите им о факультете Computer Science, который открывается в этом году в Высшей школе экономики при участии Яндекса. Во многом он будет расти из Школы анализа данных, но в неё мы принимаем студентов и выпускников. Поэтому если вы абитуриент, то приходите 27 апреля на презентацию этого факультета, где ректор НИУ ВШЭ Ярослав Кузьминов и сооснователь Яндекса Аркадий Волож расскажут о нём все подробности. Мы всех приглашаем.

Истории: одна о гуглере и одна — о сотруднике Яндекса

С момента создания ШАД её закончили 260 специалистов в области computer science. Мы попросили двух выпускников Школы рассказать о том, что им дало обучение в ней, и дать несколько советов тем, кто решил поступать.

Андрей Петров, разработчик в мюнхенском офисе Google.
imageКогда я был студентом, у меня сложилась иллюзия, что программировать я уже умею, а Computer Science — это просто. Действительно, ведь я создавал сайты с динамическим контентом, писал игры, получал призы на олимпиадах и без проблем сдавал экзамены в университете. Однако это было лишь хобби, а я был любителем. Чтобы начать путь профессионала, я пошёл в школу Яндекса.
Читать дальше →
Total votes 62: ↑55 and ↓7 +48
Views 78K
Comments 34

Важно ли фундаментальное образование в CS и взгляд из Яндекса на профессии в мире информационных технологий

Яндекс corporate blog
Информационные технологии развиваются настолько стремительно, что не оставляют традиционной системе образования шанса на то, чтобы своевременно готовить специалистов под актуальные потребности сферы IT. За несколько лет платформы и инструменты успевают кардинальным образом измениться, в отличие от учебных планов.

В лекции, которую мы представляем в этом посте, Виктор Ашик из Школы анализа данных Яндекса постарался использовать опыт Яндекса, чтобы рассказать старшеклассникам о существующих на данный момент специальностях и знаниях, нужных для работы. А также объяснить, почему фундаментальное образование так важно и необходимо для будущего в этой индустрии.




Конспект лекции
Total votes 82: ↑65 and ↓17 +48
Views 39K
Comments 59

Машинное обучение — микроскоп современного ученого. Зачем ЦЕРНу технологии Яндекса

Яндекс corporate blog
В начале июля в нашем офисе прошел семинар, посвященный взаимодействию Яндекса и ЦЕРН. В понедельник мы опубликовали первую его часть — доклад Андрея Голутвина о новом эксперименте SHiP (Search for Hidden Particles). Вторая часть этого семинара была отведена Андрею Устюжанину о совместных проектах Яндекса и ЦЕРН.



Андрей рассказал о применении технологий Яндекса в физике высоких энергий. В наши дни над экспериментами зачастую работает огроное количество людей из разных стран. Объединенная экосистема для автоматизации экспериментов может сделать работу исследователей более скоординированной и поможет решить множество других проблем. Единый интерфейс, онлайн-доступ к результатам других участников, система версионирования и возможность обмена библиотеками — все это может сильно упростить исследователям жизнь.

Кроме того, в современной физике высоких энергий активно применяется машинное обучение. На основе тестовых выборок обучаются классификаторы, которые в дальнейшем определяют наличие тех или иных событий уже в реальных данных. При этом количество формул, которые может потребоваться обучить для одного анализа, достигает нескольких сотен или даже тысяч. Надо, однако, иметь в виду, что наши разработки применимы не только в этой сфере, но и в других отраслях науки. Этот доклад — скорее про исследования в целом, про процесс экспериментального подтверждения различных теорий, гипотез и моделей. С такими задачами обычно сталкиваются люди из научно-исследовательских организаций, но сейчас все чаще они возникают и в коммерческих компаниях.
Читать дальше →
Total votes 60: ↑54 and ↓6 +48
Views 20K
Comments 2

Дайджест хороших образовательных программ для IT-специалистов и сочувствующих: в Москве и онлайне

#tceh corporate blog Programming *Java *C++ *Development for Android *
image

Позавчера мы ради интереса прошлись по компаниям, сидящим по-соседству — даже в самых стабильных задумываются о сокращении штатных расписаний и урезают бюджеты на обучение сотрудников.

Так что прокачивание своих навыков, будь ты уже знаком с кодом или только думаешь об этом, — теперь, похоже, личное дело каждого. Чтобы было проще сориентироваться, мы собрали курсы и полезные события для начинающих и продолжающих IT-специалистов и их окружения. Дневные и вечерние, оффлайновые и онлайновые.

Не забывай — количество мест на самых привлекательных курсах обычно ограничено и заканчивается стремительно! А некоторые так и просто стартуют совсем скоро — запрыгивай в уходящий поезд!
Читать дальше →
Total votes 46: ↑38 and ↓8 +30
Views 85K
Comments 23

Как решать вступительный экзамен в Школу анализа данных Яндекса

Яндекс corporate blog Entertaining tasks Programming *Algorithms *Mathematics *
Лето — время вступительных экзаменов. Прямо сейчас завершается отбор в Школу анализа данных Яндекса — идут собеседования для тех, кто уже сдал экзамен. В ШАД преподают машинное обучение, компьютерное зрение, анализ текстов на естественном языке и другие направления современной Computer Science. Два года студенты изучают предметы, которые обычно не входят в университетские программы, хотя пользуются огромным спросом как в науке, так и в индустрии. Учиться можно не только в Москве — у Школы открыты филиалы в Екатеринбурге, Минске, Киеве, Новосибирске, Санкт-Петербурге. Есть и заочное отделение, на котором можно обучаться, смотря видеолекции и переписываясь с преподавателями московской Школы по почте.



Но для того, чтобы поступить в ШАД, нужно успешно пройти три этапа — заполнить анкету на сайте, сдать вступительный экзамен и прийти на собеседование. Ежегодно в ШАД поступают старшекурсники, выпускники и аспиранты МГУ, МФТИ, ВШЭ, ИТМО, СПбГУ, УрФУ, НГУ и не все они справляются с нашими испытаниями. В этом году мы получили анкеты от 3500 человек, 1000 из которых была допущена к экзамену, и только 350 сдали его успешно.

Для тех, кто хочет попробовать себя и понять, на что он способен, мы подготовили разбор вступительного экзамена этого года. С вариантом, который мы выбрали для вас, справились 56% решавших его. В этой таблице вы можете увидеть, сколько человек смогли решить каждое из заданий в нём.
Задание 1 2 3 4 5 6 7 8
Решило 57% 68% 40% 35% 29% 12% 20% 6%

Но для начала хотелось бы объяснить, что мы проверяем экзаменом и как подходим к его составлению. В самые первые годы существования ШАД письменного экзамена не было, так как заявок было ещё немного, и со всеми, кто прошёл онлайн-тестирование, получалось поговорить лично. Но зато и собеседования были дольше; некоторые выпускники вспоминают, как с ними беседовали по шесть часов, предлагая много сложных задач. Потом поступающих стало больше – и в 2012 году появился письменный экзамен.
Читать дальше →
Total votes 70: ↑61 and ↓9 +52
Views 186K
Comments 43

Задачи вступительного экзамена в ШАД 2014

Programming *Mathematics *


При поступлении в ШАД проверяются знания в рамках общей программы, включающей базовые разделы высшей алгебры, математического анализа, комбинаторики, теории вероятностей, а также основы программирования. Под катом подробно разобраны задачи вступительного экзамена в ШАД 2014 года. Внимание! Пост довольно объёмный, поэтому устраивайтесь поудобнее, вооружайтесь карандашом, если нужно, доставайте чай с печеньем. Убедитесь, что сделали все дела на вечер! Велика вероятность, что рассматриваемые ниже задачи поглотят ваш разум на несколько часов, а кому-то помешают вовремя лечь спать. Во всяком случае сегодняшний вечер обещает быть интересным. Добро пожаловать под кат
Читать дальше →
Total votes 34: ↑31 and ↓3 +28
Views 59K
Comments 16
1