Направлять трафик выходящий из первого прокси, во второй, и так далее, и только последний прокси в цепочке будет обращаться к целевому ресурсу. Такой себе tor - вручную и на минималках.
Круто, если бы не сидел на 1password family account (который идёт бесплатно к рабочему), то заюзал бы. Хотя наверное всё-таки нет, потому что до 1password был pass, скорее все таки туда бы добавил otp плагин.
А есть документация и нормальное описание что сделали? Сравнение производительности таких таблиц с Clickhouse и Ytsaurus на аналогичном по вычислительной мощности железе?
Средство против python-разработчиков. Нет, не потому что не обратит внимание на "ещё один python" в списке задач. А потому что застрелится когда посмотрит на код.
И не говори, сначала GraphQL свой убогий в M**a придумал и впаривал всему миру, теперь вот выгнали - пошел в мамкины стартаперы впаривать всем как надо данные в пайплайнах правильно ворочать, какой негодяй!
В чем проблема для отладки запустить локально airflow? Не сложнее чем dagster. Суть в том, что dagster лучше приспособлен для написания удобно тестируемых пайплайнов обработки, он для этого предоставляет более правильные абстракции. На airflow тоже можно выстроить все что нужно, просто придется подумать об этом заранее и самостоятельно.
// адепт dagster, который отлаживается коммитами в продакшн :-(
Ни одной чем-то выдающейся CI/CD системы не упомянуто. Только попсовые и встроенные куда-то. Стоило чуть-чуть рассказать про такие системы как Argo, Concourse, Drone. Да хоть про Buildkite.
Технический специалист тратит буквально 2-3 минуты на оценку профиля кандидата и даёт свой ответ HR.
Геральд-скрывающий-боль.jpg. Для не совсем шлака (если нормальный HR - для любого дошедшего до меня резюме), чуть ли не полноценный osint провожу. В среднем уходит от 10 минут до получаса на кандидата :-(.
Для онлайн запросов по Iceberg-данным у меня часто используется Clickhouse, правда у меня объемы данных в таблицах куда ходит Clickhouse - совсем небольшие, витрины с агрегатами, единицы миллионов записей. Пробовали ли поставить Clickhouse (или вообще какую-нибудь Impala/Presto/Trino) как фронтенд для feature-store?
Про Maintainance - речь же в первую очередь должна быть про "Compact data files", должен быть какой-то регулярный процесс, как бэкграунд мержи в clickhouse. А удаление старых файлов метаданных не должно повлиять на выполнение запросов примерно никак.
Не зря технология называется Iceberg, потому что с первого взгляда кажется – простой инструмент, а оказывается что столько всего скрыто, что можно изучать и изучать.
Apache Iceberg является более лучшей версией Hive Meta Store (HMS).
Iceberg неплохо работает с Hive Metastore, и точно не является его "версией". Не могли бы вы уточнить что вы имеете ввиду?
PV над NFS... Ну допустим, хотя применимость весьма ограничена, не знаю что там ваши компоненты делают. Отказоустойчивость NFS через DRBD? Тут уже стоит хорошенько задуматься. DRBD между ДЦ - а вы проверяли как хорошо это работает? Обычно это ужасная идея.
2 зоны для отказоустойчивой системы? Окей, раз переключение вручную. Но если переключение вручную, то может это уже disaster recovery и стоит рассмотреть более простые и надёжные инструменты с чуть худшим RPO? Насколько это критично для CI/CD?
Почему не запустить три копии системы в разных ДЦ, и не реализовать масштабируемость и отказоустойчивость на прикладном уровне, а не на уровне платформы?
Направлять трафик выходящий из первого прокси, во второй, и так далее, и только последний прокси в цепочке будет обращаться к целевому ресурсу. Такой себе tor - вручную и на минималках.
poetry ломалась раза три, и это только после выхода 1.0
Круто, если бы не сидел на 1password family account (который идёт бесплатно к рабочему), то заюзал бы. Хотя наверное всё-таки нет, потому что до 1password был pass, скорее все таки туда бы добавил otp плагин.
А что с блогами на других платформах - твиттер и офф.сайт технологии YDB?
А есть документация и нормальное описание что сделали? Сравнение производительности таких таблиц с Clickhouse и Ytsaurus на аналогичном по вычислительной мощности железе?
Средство против python-разработчиков. Нет, не потому что не обратит внимание на "ещё один python" в списке задач. А потому что застрелится когда посмотрит на код.
И не говори, сначала GraphQL свой убогий в M**a придумал и впаривал всему миру, теперь вот выгнали - пошел в мамкины стартаперы впаривать всем как надо данные в пайплайнах правильно ворочать, какой негодяй!
Перевод не очень, статья сложная и много ошибок в критичных для понимания местах.
В чем проблема для отладки запустить локально airflow? Не сложнее чем dagster. Суть в том, что dagster лучше приспособлен для написания удобно тестируемых пайплайнов обработки, он для этого предоставляет более правильные абстракции. На airflow тоже можно выстроить все что нужно, просто придется подумать об этом заранее и самостоятельно.
// адепт dagster, который отлаживается коммитами в продакшн :-(
Два года как перешёл на Dagster. Airflow можно закапывать.
Радует что хотя бы Jenkins не забыт, но вообще на дворе почти 2025й...
Ни одной чем-то выдающейся CI/CD системы не упомянуто. Только попсовые и встроенные куда-то. Стоило чуть-чуть рассказать про такие системы как Argo, Concourse, Drone. Да хоть про Buildkite.
Для джунов - вполне допустимо.
А так - статья как статья на самом деле норм. Видимо минусуют за Ютуб.
Геральд-скрывающий-боль.jpg. Для не совсем шлака (если нормальный HR - для любого дошедшего до меня резюме), чуть ли не полноценный osint провожу. В среднем уходит от 10 минут до получаса на кандидата :-(.
Ещё стоит спросить яндексоидов не надо ли вам включить эту штуку при работе с их S3 - https://iceberg.apache.org/docs/1.7.0/aws/?h=write.object+storage.enabled#object-store-file-layout.
Для онлайн запросов по Iceberg-данным у меня часто используется Clickhouse, правда у меня объемы данных в таблицах куда ходит Clickhouse - совсем небольшие, витрины с агрегатами, единицы миллионов записей. Пробовали ли поставить Clickhouse (или вообще какую-нибудь Impala/Presto/Trino) как фронтенд для feature-store?
Про Maintainance - речь же в первую очередь должна быть про "Compact data files", должен быть какой-то регулярный процесс, как бэкграунд мержи в clickhouse. А удаление старых файлов метаданных не должно повлиять на выполнение запросов примерно никак.
Iceberg неплохо работает с Hive Metastore, и точно не является его "версией". Не могли бы вы уточнить что вы имеете ввиду?
Вау! Респект что вышли из тени, но работать с Iceberg из Spark 3.1? Да и сам Iceberg кучу родовых травм успел починить по пути к актуальной 1.7.
Пробовали ли
выйти из заморозкиработать на свежей версии?)PV над NFS... Ну допустим, хотя применимость весьма ограничена, не знаю что там ваши компоненты делают. Отказоустойчивость NFS через DRBD? Тут уже стоит хорошенько задуматься. DRBD между ДЦ - а вы проверяли как хорошо это работает? Обычно это ужасная идея.
2 зоны для отказоустойчивой системы? Окей, раз переключение вручную. Но если переключение вручную, то может это уже disaster recovery и стоит рассмотреть более простые и надёжные инструменты с чуть худшим RPO? Насколько это критично для CI/CD?
Почему не запустить три копии системы в разных ДЦ, и не реализовать масштабируемость и отказоустойчивость на прикладном уровне, а не на уровне платформы?
Prophet в сравнении нет?..