Как стать автором
Обновить

Как эволюционировала платформа управления данными в Яндекс Go. Доклад Яндекса

Время на прочтение10 мин
Количество просмотров4.2K
Всего голосов 11: ↑10 и ↓1+13
Комментарии7

Комментарии 7

Ребята, ваши представления о минусах HDFS и S3 весьма пещерного века.

В то время пока вы в своих головах вы все еще сравниваетесь с хадупами восьмилетней давности и изобретаете аотетнативные велосипеды, клиенты вашего же яндекс облака поверх вашего с3 внедряют высокоропиозвиодетльные lakehouse решения с real-time интеграцией, транзакционной изоляцией и быстрым sql поверх с3 в кубернетесе.

Конечно это так и есть много крутых инструментов, которые можно использовать поверх s3. Но все наши задачи прекрасно решаются в YTsaurus и мыслей о миграции куда-либо нет.

Хранение в YTsaurus по стоимости хранения не проигрывает (по нашему опыту выигрывает, но у меня нет бенчмарков) s3, есть Spark и ClickHouse over YTsaurus, которые прекрасно работают. YT спроектирован таким образом, чтобы в нем было удобно жить огромной компании целиком, с изоляцией ресурсов, гибкими правами доступа и минимумом затрат на администрирования для пользователей.

По поводу мотивации его разработки есть статья Максима Бабенко от 2016-го года: https://habr.com/ru/companies/yandex/articles/311104/.

Бенчмарков нет, но выигрывает. Ок :)

А с чего вы взяли что все преимущества которые вы описываете в YT доступны только в YT и нигде больше?

в статье ничего не говориться про уникальность преимуществ.

Я вижу преимущество решения в «коробочности», в архитектуре хранилища, которое проектировалось под хранение структурированных и неструтурированных данных, в круто проработанных и долгоживущих ACID транзакциях, в рамках которых можно менять не только данные, но и их схему, а так же структуру файловой системы, гибкости в настройке прав и управлении квотами.

Но это никак не отменяет того, что есть множество других прекрасных решений, особенно для компаний, у которых нет такого обьема данных и их пользователей.

Надеюсь вы больше не будете писать и рассказывать про "недостатки HDFS и S3" где давно уже можно менять и данные и схему и ACID и права доступа с квотами

А можете озвучить таких конкурентов, для расчширения кругозора.

https://www.youtube.com/watch?v=1xKcxvgJq9g

Зарегистрируйтесь на Хабре, чтобы оставить комментарий