Search
Write a publication
Pull to refresh
45
0
Павел Велихов @PavelVelikhov

Разработчик СУБД

Send message

Стоимостной оптимизатор: сердце гибридной базы данных YDB

Reading time8 min
Views5.8K

Я занимаюсь разработкой баз данных с 1999 года и сейчас работаю над YDB — базой данных, которую мы в Яндексе недавно выложили в опенсорс. Это моя шестая база данных и четвертая — массивно-параллельная. И каждый раз, когда основные задачи решены, я сажусь разрабатывать оптимизатор запросов. Под катом я кратко расскажу о том, что такое оптимизаторы запросов в базах данных и почему их непросто делать.

Читать далее

Взлет и падение Силиконовой Долины как центра инноваций 21 века, 1995-2024 года

Level of difficultyEasy
Reading time18 min
Views5.4K

Силиконовая Долина в США считается ведущим современным центром инноваций и двигателем цифровой экономики, а также основным конкурентным преимуществом всей экономики США. Действительно, капитализация технологических компаний, большинство которых основаны в Силиконовой долине на сегодня превышает 20 триллионов долларов, и составляет почти половину капитализации всех компаний США.

В этой статье хочется ответить на несколько вопросов. Во-первых насколько действительно новой явилась модель развития долины? Во-вторых, анализируя опыт первого “дот ком” пузыря и наблюдая за началом крушения текущего “everything bubble”, а также действия венчурных компаний долины - разобраться, насколько эффективны были все эти капиталовложения? И в третьих, ответить на вопрос - такое бурное развитие произошло благодаря той социо-экономической системе, которая возникла в долине и потом расширилась глобально, или может быть даже вопреки ей?

Эта статья написана в основном на основе собственного опыта и наблюдений автора. Первый раз я побывал в Силиконовой Долине в 1988 году, делая школьный проект в компании Apple. С 1993-1998 изучал компьютерные науки в Университете Калифорнии, Сан Диего. В 1995 году с друзьями из университета и знакомым бизнесменом открыли старт-ап, как часто в то время случалось, с непонятным родом деятельности, который просуществовал примерно один год. В 1998 поступил в аспирантуру, а 1999 году, почти на пике “дот ком” пузыря, вместе с профессором и практически всей лабораторией открыли старт-ап в области баз данных и B2B решений. Компания сумела пережить крах пузыря в 2000-ом году, и ее удалось продать в 2003-ем. В 2004 я вернулся в Россию, но иногда продолжал работать с американскими старт-апами, в 2008-2013 с SciDB/Paradigm4, в 2021-2023 с компанией TigerGraph.

Читать далее

Сделай сам: MSc Computer Science на уровне топ американских университетов из дома

Reading time12 min
Views164K

Вступление


Давно хотел написать статью про образование в Computer Science, но руки не доходили. Решил все-таки это наконец сделать. Итак, о чем пойдет речь? Речь о том, что из себя представляет диплом MSc Computer Science топовых университетов США (во всех подробностях, включая основные курсы, книги и проекты) и как ему соответствовать.

Почему именно MSc? Это — некая развилка: с одной стороны после MSc — вы уже готовый к жизни инженер (да, речь идет о инженерной подготовке, как мне кажется это самое больное место в нашей системе образования), с другой — можно спокойно идти по пути PhD. Как известно, в PhD программу можно попасть и не особо умея программировать — особенно это касается теоретического Computer Science. С другой стороны найти работу программиста тоже дело не очень сложное, и часто не требует мощного образования. Но достигнув уровня MSc — вы получаете возможность разбираться как во всех новый идеях в Computer Science, так и возможность их воплотить в практику. То есть с одной стороны круто разобраться в каком-нибудь deep learning и сделать в нем что-то новое, а также взять и написать свою операционную систему (кто так сделал?). Причем вы не зажаты в рамки узкой специализации (если конечно продолжаете учиться). То есть вы теперь — универсальный солдат, готовый на все.

Надеюсь что эта статья будет полезна:
1. Студентам, которые хотят соответствовать высоким стандартам топ вузов США, или собирающиеся туда в аспирантуру по Computer Science
2. Профессионалам, которые хотят закрыть «дыры» и пробелы
3. Может кто-то из преподавателей возьмет на заметку для своих курсов.
4. Студентам, аспирантам американских вузов — хотелось бы тоже получить фидбэк, особенно касается последних трендов в образовании

Что же здесь будет написано? Минимум философии и общих мыслей: конкретная программа undergraduate и graduate курсов, конечно из дисциплин наиболее мне близких. Все курсы были лично прочувствованы на собственной шкуре, по этому и пишу. (Я пытался записаться на все интересные курсы, которые были, но мой основной упор — системное программирование, базы данных и искусственный интеллект. Отсюда конечно некий bias, но пытаюсь предложить более-менее универсальную программу).
Читать дальше →

Apache Spark: что там под капотом?

Reading time5 min
Views52K

Вступление


В последнее время проект Apache Spark привлекает к себе огромное внимание, про него написано большое количество маленьких практических статей, он стал частью Hadoop 2.0. Плюс он быстро оброс дополнительными фреймворками, такими, как Spark Streaming, SparkML, Spark SQL, GraphX, а кроме этих «официальных» фреймворков появилось море проектов — различные коннекторы, алгоритмы, библиотеки и так далее. Достаточно быстро и уверенно разобраться в этом зоопарке при отсутсвие серьезной документации, особенно учитывая факт того, что Spark содержит всякие базовые кусочки других проектов Беркли (например BlinkDB) — дело непростое. Поэтому решил написать эту статью, чтобы немножко облегчить жизнь занятым людям.
Читать дальше →

Долой оковы MongoDB

Reading time6 min
Views30K
Многие из нас в свое время бросились с энтузиазмом осваивать MongoDB, действительно красота — удобный JSON формат, гибкая схема (точнее полное ее отсутствие), от установки системы до первого использования проходят буквально минуты. Но через некоторое время, уже когда Mongo надежно «зашита» в наш проект наступает разочарование. Простейшие запросы требуют постоянного тыкания в документацию, чуть более сложные способны убить почти целый день рабочего времени, а уж если понадобится join разных коллекций — то увы…

И вот уже кто-то возвращается к Постгресу с его частичной поддержкой JSON…

Но, к счастью, уже куется, уже спешит к нам полноценная замена Mongo, полноценная полу-структурированная Big Data СУБД AsterixDB. Этот проект возглавляет профессор UCI Michael Carey, ученик легендарного пионера СУБД Майкла Стоунбрейкера.

Проект стартовал просто как исследовательское начинание в области Big Data и изначально ориентировался на создание общего стэка для MapReduce и SQL. Но, буквально несколько лет назад, было принято решение построить Big Data JSON СУБД. По словам Майкла Кери, «AsterixDB is Mongo done right.» В чем же основные фишки AsterixDB?
Читать дальше →

Information

Rating
3,129-th
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity