Комментарии 7
Ребята, ваши представления о минусах HDFS и S3 весьма пещерного века.
В то время пока вы в своих головах вы все еще сравниваетесь с хадупами восьмилетней давности и изобретаете аотетнативные велосипеды, клиенты вашего же яндекс облака поверх вашего с3 внедряют высокоропиозвиодетльные lakehouse решения с real-time интеграцией, транзакционной изоляцией и быстрым sql поверх с3 в кубернетесе.
Конечно это так и есть много крутых инструментов, которые можно использовать поверх s3. Но все наши задачи прекрасно решаются в YTsaurus и мыслей о миграции куда-либо нет.
Хранение в YTsaurus по стоимости хранения не проигрывает (по нашему опыту выигрывает, но у меня нет бенчмарков) s3, есть Spark и ClickHouse over YTsaurus, которые прекрасно работают. YT спроектирован таким образом, чтобы в нем было удобно жить огромной компании целиком, с изоляцией ресурсов, гибкими правами доступа и минимумом затрат на администрирования для пользователей.
По поводу мотивации его разработки есть статья Максима Бабенко от 2016-го года: https://habr.com/ru/companies/yandex/articles/311104/.
Бенчмарков нет, но выигрывает. Ок :)
А с чего вы взяли что все преимущества которые вы описываете в YT доступны только в YT и нигде больше?
в статье ничего не говориться про уникальность преимуществ.
Я вижу преимущество решения в «коробочности», в архитектуре хранилища, которое проектировалось под хранение структурированных и неструтурированных данных, в круто проработанных и долгоживущих ACID транзакциях, в рамках которых можно менять не только данные, но и их схему, а так же структуру файловой системы, гибкости в настройке прав и управлении квотами.
Но это никак не отменяет того, что есть множество других прекрасных решений, особенно для компаний, у которых нет такого обьема данных и их пользователей.
А можете озвучить таких конкурентов, для расчширения кругозора.
Как эволюционировала платформа управления данными в Яндекс Go. Доклад Яндекса