Шел 2025 год. Люди сравнивают Iceberg и Hive. Даже не с Delta, а с Hive! Плохие "инженеры данных в команде дата-платформы Циан", если им приходят идеи таких сравнений.
Я бы не вводил читателей в заблуждение описанием "Запуска по обновлению датасета". Вы сами ниже вскользь упоминаете "Граф, выполняющий расчёты, считается поставщиком данных, а любой граф, использующий этот датасет, — потребителем. Планировщик запустит граф-потребитель, как только данные будут обновлены", но почему-то не акцентировуете на этом внимание. Надо крупными буквами и красным цветом выделять это. По факту это просто обычная зависимость между задачами, которая просто настраивается несколько иначе. А запуск по обновлению - это если бы какой то внешний по отношению к Эйрфлоу процесс обновил таблицу, и сам Эйрфлоу это понял и запустил. Менеджеру такое незнание простительно, но не инженеру же!
ПыСы ряд разделов статьи напоминают выжимку из документации, переработаные ЧатомЖПТ. Уж простите...
Ну так это можно и без подключения к интернету делать. Пиши логи на внутренний оффлановый носитель, во время планового ТО скачивай эту информацию (что официал, что неофициал скорее всего все равно использует какое-то фирменное диагностическое ПО). Напоминание о ТО как-то работало десятилетия и без интернета (да и в Европе например большинство более-менее свежих машин и так обслуживается у официалов)... В общем я про то, что ту же задачу можно было бы решить с меньшими рисками без ощутимой потери результата.
Вот создают же проблему на пустом месте (я про автопроизводителей):
зачем вообще авто подключать к интернету? Не подключения к интернету - нет большинства проблем.
ок, захотели порадовать зумеров очередным бесполезным приложением в телефоне. Ну так физически разделите два "контура" упраления в авто: один - оффлайноый (как на всех нормальных авто без доступа в интернет), а второй - для взаимодействия с интернетом. Общение двух "компьютеров" - исключительно по ограниченному и защищенному API и только в рамках дозволенного по принципу "что не разрешено, то запрещено".
Было бы полезно резюмировать в виде сравнительной таблицы PM vs DM vs scrum-master. В куче текста так и не понятна разница. По тдее все написанное относится просо к нормальному PM
K-V таблица - очень распространненный и древний паттерн, существоваший еще "при царе Горохе". Самый частый кейс использования (в DWH) - хранение атрибутов сущностей, которые есть у очень малого числа записей. Так же различные настройки, константы и проч. И как указал предыдущий комментатор, должна быть пошире. Как минимум выделенные колонки для разных типов + даты актуальности.
Я думаю тут ключевое - "удобно". ОЧень часто простые и "правильные" решения обычному обывателю(в т.ч. разработчику) как раз неудобны. Но надо понимать, что "неудобность" - понятие субъективное
Если я правильно вас понял, вы пытаетесь решить задачу каким-то быстрым наколеночным решением. Это не плохо. Часто так приходится делать. Но это не для ПРОДа.
В реальных задачах за свои почти 20 лет опыта никогда не встречал такой дилеммы. Можете привести реальные примеры рабочих задач? Не когда вам надо "для себя" что-либо сделать локально?
... обсуждается сценарий, при котором получение части госуслуг онлайн для граждан, не сдавших биометрию, станет недоступно... Минцифры ищет способ ускорить наполнение ЕБС, двигающееся черепашьими темпами...
Ну и я пару дней переписывался с Т-Банком, чтобы они отключили для меня постоянные настойчивые просьбы сдать биометрию.
Finanzblick - спасибо, гляну. Хотя сама идея, что какое-то строннее приложение имеет доступ к моим всем банкам...
Про справку. Конкретные мои кейсы. Справка об остатках - для визы, справка об операции - для отправки ее получателю (был случай, что платеж не дошел и надо было разбираться)
Ну так выберите себе нормальное мультибанкинг-приложении и пользуйтесь им для всех счетов от всех ваших банков.
Какое посоветуете?
Так тут не банк или приложение виноваты, а платёжные системы и торговцы
Вы, видать не полностью прочитали - я в приложении вижу блокировки, но они не учитываются при расчете доступного остатка. И так не у всех банков. Мерчант тут ни при чем.
Она будет такая, какая это указана в договоре.
Кэп))) Тут про сравнение с РФ, в РФ хотя бы раз в месяц все банки выплачивают.
Куча банковских приложений это умеют
И куча приложений других банков - не умеют, те же упомянутые в первой части статьи Шпаркасса, ING, С24 (построение выписки за производльный период когда мне надо, а не ждать начала след. месяца, пока появится стандартная выписка за месяц)
А что это за справка такая и для чего она нужна?
Если вам она не нужна, то не значит, что другим не нужна.
Шел 2025 год. Люди сравнивают Iceberg и Hive. Даже не с Delta, а с Hive!
Плохие "инженеры данных в команде дата-платформы Циан", если им приходят идеи таких сравнений.
Я бы не вводил читателей в заблуждение описанием "Запуска по обновлению датасета". Вы сами ниже вскользь упоминаете "Граф, выполняющий расчёты, считается поставщиком данных, а любой граф, использующий этот датасет, — потребителем. Планировщик запустит граф-потребитель, как только данные будут обновлены", но почему-то не акцентировуете на этом внимание. Надо крупными буквами и красным цветом выделять это. По факту это просто обычная зависимость между задачами, которая просто настраивается несколько иначе. А запуск по обновлению - это если бы какой то внешний по отношению к Эйрфлоу процесс обновил таблицу, и сам Эйрфлоу это понял и запустил.
Менеджеру такое незнание простительно, но не инженеру же!
ПыСы ряд разделов статьи напоминают выжимку из документации, переработаные ЧатомЖПТ. Уж простите...
Ну про людей - ожидаемо. Но от автопроизводителя такого не ждешь.
Ну так это можно и без подключения к интернету делать. Пиши логи на внутренний оффлановый носитель, во время планового ТО скачивай эту информацию (что официал, что неофициал скорее всего все равно использует какое-то фирменное диагностическое ПО). Напоминание о ТО как-то работало десятилетия и без интернета (да и в Европе например большинство более-менее свежих машин и так обслуживается у официалов)...
В общем я про то, что ту же задачу можно было бы решить с меньшими рисками без ощутимой потери результата.
Вот создают же проблему на пустом месте (я про автопроизводителей):
зачем вообще авто подключать к интернету? Не подключения к интернету - нет большинства проблем.
ок, захотели порадовать зумеров очередным бесполезным приложением в телефоне. Ну так физически разделите два "контура" упраления в авто: один - оффлайноый (как на всех нормальных авто без доступа в интернет), а второй - для взаимодействия с интернетом. Общение двух "компьютеров" - исключительно по ограниченному и защищенному API и только в рамках дозволенного по принципу "что не разрешено, то запрещено".
Зачем в 100501 раз пересказывать, да еще очень плохо, то, что даже на хабре уже 100500 раз написано и отлично поиском ищется?
Было бы полезно резюмировать в виде сравнительной таблицы PM vs DM vs scrum-master. В куче текста так и не понятна разница. По тдее все написанное относится просо к нормальному PM
Очередная статья-реклама на тему "ни о чем" своего телеграм-канала
K-V таблица - очень распространненный и древний паттерн, существоваший еще "при царе Горохе". Самый частый кейс использования (в DWH) - хранение атрибутов сущностей, которые есть у очень малого числа записей. Так же различные настройки, константы и проч. И как указал предыдущий комментатор, должна быть пошире. Как минимум выделенные колонки для разных типов + даты актуальности.
Я думаю тут ключевое - "удобно". ОЧень часто простые и "правильные" решения обычному обывателю(в т.ч. разработчику) как раз неудобны. Но надо понимать, что "неудобность" - понятие субъективное
Если я правильно вас понял, вы пытаетесь решить задачу каким-то быстрым наколеночным решением. Это не плохо. Часто так приходится делать. Но это не для ПРОДа.
В реальных задачах за свои почти 20 лет опыта никогда не встречал такой дилеммы.
Можете привести реальные примеры рабочих задач? Не когда вам надо "для себя" что-либо сделать локально?
Странный выбор для сравнения... Помню тут некоторое время назад кто то Airflow c NiFi сравнивал - из той же оперы....
Я сталкивался с тем что у человека поменяли ИНН (физика). Хотя это в принципе не предусмотрено никакими процедурами, в т.ч. законом
и еще писать ЖПП)))
Повторюсь, я пишу о различиях, а не о нужности того или иного сервиса. У всех кейсы разные.
ING лично мне как раз не нравится. Хотя бы из-за несвоевременных и неинформативных пушей. С24 намного лучше.
Про установку софта и защиту данных. Видать зависит от сферы. У нас много персоналки плюс строгое законодательное регулирование.
Одна из первых ссылок: https://www.banki.ru/news/lenta/?id=10959529
Ну и я пару дней переписывался с Т-Банком, чтобы они отключили для меня постоянные настойчивые просьбы сдать биометрию.
У нас даже знакомиться с соседями не надо - достащик "по умолчанию" осталвяет им или вообще сразу за подъездной дверью внутри)
Finanzblick - спасибо, гляну. Хотя сама идея, что какое-то строннее приложение имеет доступ к моим всем банкам...
Про справку. Конкретные мои кейсы. Справка об остатках - для визы, справка об операции - для отправки ее получателю (был случай, что платеж не дошел и надо было разбираться)
Какое посоветуете?
Вы, видать не полностью прочитали - я в приложении вижу блокировки, но они не учитываются при расчете доступного остатка. И так не у всех банков. Мерчант тут ни при чем.
Кэп))) Тут про сравнение с РФ, в РФ хотя бы раз в месяц все банки выплачивают.
И куча приложений других банков - не умеют, те же упомянутые в первой части статьи Шпаркасса, ING, С24 (построение выписки за производльный период когда мне надо, а не ждать начала след. месяца, пока появится стандартная выписка за месяц)
Если вам она не нужна, то не значит, что другим не нужна.