Сам факт того, что бизнес впустил государство в свою учетную систему говорит о высоком уровне доверия.
Вот тут насмешили)))) Это не доверие, это “предложение от которого нельзя отказаться”. Делал проект по налоговыму мониторингу для крупной (очень крупной) организации когда его ещё пилотировали…
Потому что просторы интернета завалены говно-статьями с пересказом документации и прочих банальностей и нейрослопом от индусов, которые очень активно начали писать в последние несоклько лет. Даже знаю из первых рук зачем - качание собственного бренда, а иногда даже получение визы таланта США (реально знаю несколько кейсов). Ценность этих статей - ноль. Зато шум создают…
Spark — движок для распределённой обработки данных и трансформаций.
dbt — тоже про трансформации данных, только декларативно через SQL.
ClickHouse — аналитическая СУБД, которая сама умеет выполнять довольно тяжёлые трансформации.
В итоге возникает вопрос: где именно должна жить бизнес-логика? Через год никто не понимает, где искать ошибку.
Ну и подерживать такой зоопарк накладно. Все эти компоненты имеют разные модели эксплуатации: зависимости, мониторинг, деплой, права доступа, CI/CD и т.п.
У вас про это в обосновании не написано. Кроме того, обоснование апеллирует к невалидному утверждению.
Ну и вообще, мешать в одном проекте clickhouse, spark и дбт - совсем не тянет на эталонный проект. Явный овер инжениринг. При этом обоснование его необходимости не приведено (но не спорю, что иногда оно может быть)
В целом согласен, но все же поправлю: Bronze это Stage, а ODS - это Operational Data Store - то есть силы для получения операционной отчётности(его в Медальонной Архитектуре вообще не заявлено), а не сырые данные
ПыСы тоже имею зуб на Датабрикс за то, что угоду маркетингу попали ребрендинг и присвоили себе “азбуку”
Вам не кажется, что это оверинжениринг и ваше обоснование неверное? Кликхаус изначально заточен на аналитические нагрузки и может горизонтально масштабироваться. Для Спарка же вам нужна отдельная инфраструктура и этого доп Косты, плюс вы гоняйте данные туда-сюда между двумя системами - в случае больших данных это дополнительные затраты на сеть как минимум (нередко это самая узкое место). Особенно забавно то, что в итоге все равно все ваши преобразования - это обычный SQL.
Вот этот абзац рекомендую самому прочитать и исправить - перечитал три раза и ничего не понял: такое ощущение, что слеплен из двух примеров, но середина потерялась
У вас нет самого главног - отказоустойчивости. А значит это никакой не NAS. Вам на это уже указали в предыдущем комментарии. Нужен RAID и специальные диски, которые могут работать 24/7 на протяжении многих лет. Обычные диски от ноутбука к таким режимам не приспособлены. Согласен с предыдущим комментарием, что куда проще было сделать то же самое на роутере с USB к которому подключён внешний диск. Надёжность такая же, а гемора меньше, и не дороже
И второй вопрос. Разве google play требует юрлицо и т.п. для доступности приложения в других странах? По крайней мере в AppStore ты спокойно можешь опубликовать приложение без каких-либо страновых ограничений вне зависимости от того где ты находишься и какой твой статус. Можете пояснить этот момент?
Есть такое. Причём приложение открыто об этом предупреждает – см предупреждения под кнопкой записи. Это связано с тем, что меняется конфигурация Audio и надо менять устройство для захвата. Этот Функционал пока не реализован. Ситуация известная, находится в бэклоге. Но, буду честен, с достаточно низким приоритетом. Продукт некоммерческий, развивается по мере силы возможностей.
Ну или есть готовые приложения - например это https://ninilich.github.io/boring-meeting/ - нажал пару кнопок в UI и готово. Добавление загрузки внешних видео и получение саммари из коробки - в планах развития приложения.
Ну так как раз цифровой рубль служит прямо противоположной цели - отслеживание всей цепочки. В этом плане это его огромный минус по сравнению с обычным безнолом by design
Вот тут насмешили)))) Это не доверие, это “предложение от которого нельзя отказаться”. Делал проект по налоговыму мониторингу для крупной (очень крупной) организации когда его ещё пилотировали…
ПыСы статья ни о чем, сорри, тема не раскрыта
Потому что просторы интернета завалены говно-статьями с пересказом документации и прочих банальностей и нейрослопом от индусов, которые очень активно начали писать в последние несоклько лет. Даже знаю из первых рук зачем - качание собственного бренда, а иногда даже получение визы таланта США (реально знаю несколько кейсов). Ценность этих статей - ноль. Зато шум создают…
В дополнении в пред комменаторию.
Перекрытие ролей:
Spark — движок для распределённой обработки данных и трансформаций.
dbt — тоже про трансформации данных, только декларативно через SQL.
ClickHouse — аналитическая СУБД, которая сама умеет выполнять довольно тяжёлые трансформации.
В итоге возникает вопрос: где именно должна жить бизнес-логика? Через год никто не понимает, где искать ошибку.
Ну и подерживать такой зоопарк накладно. Все эти компоненты имеют разные модели эксплуатации: зависимости, мониторинг, деплой, права доступа, CI/CD и т.п.
У вас про это в обосновании не написано. Кроме того, обоснование апеллирует к невалидному утверждению.
Ну и вообще, мешать в одном проекте clickhouse, spark и дбт - совсем не тянет на эталонный проект. Явный овер инжениринг. При этом обоснование его необходимости не приведено (но не спорю, что иногда оно может быть)
В целом согласен, но все же поправлю: Bronze это Stage, а ODS - это Operational Data Store - то есть силы для получения операционной отчётности(его в Медальонной Архитектуре вообще не заявлено), а не сырые данные
ПыСы тоже имею зуб на Датабрикс за то, что угоду маркетингу попали ребрендинг и присвоили себе “азбуку”
Вам не кажется, что это оверинжениринг и ваше обоснование неверное? Кликхаус изначально заточен на аналитические нагрузки и может горизонтально масштабироваться. Для Спарка же вам нужна отдельная инфраструктура и этого доп Косты, плюс вы гоняйте данные туда-сюда между двумя системами - в случае больших данных это дополнительные затраты на сеть как минимум (нередко это самая узкое место). Особенно забавно то, что в итоге все равно все ваши преобразования - это обычный SQL.
Вот этот абзац рекомендую самому прочитать и исправить - перечитал три раза и ничего не понял: такое ощущение, что слеплен из двух примеров, но середина потерялась
У вас нет самого главног - отказоустойчивости. А значит это никакой не NAS. Вам на это уже указали в предыдущем комментарии. Нужен RAID и специальные диски, которые могут работать 24/7 на протяжении многих лет. Обычные диски от ноутбука к таким режимам не приспособлены. Согласен с предыдущим комментарием, что куда проще было сделать то же самое на роутере с USB к которому подключён внешний диск. Надёжность такая же, а гемора меньше, и не дороже
Даже если это open source проект без своей инфраструктуры? Не совсем понимаю если честно. Или у вас есть серверная часть, которая не open source?
И второй вопрос. Разве google play требует юрлицо и т.п. для доступности приложения в других странах? По крайней мере в AppStore ты спокойно можешь опубликовать приложение без каких-либо страновых ограничений вне зависимости от того где ты находишься и какой твой статус. Можете пояснить этот момент?
Верно ли я понимаю, что раз он в Rustore - значит выполняет все требования закона яровой и подобное?
Почему для некоторых стран в Гугл Плее приложение недоступно? Это сознательный шаг или …
Есть такое. Причём приложение открыто об этом предупреждает – см предупреждения под кнопкой записи. Это связано с тем, что меняется конфигурация Audio и надо менять устройство для захвата. Этот Функционал пока не реализован. Ситуация известная, находится в бэклоге. Но, буду честен, с достаточно низким приоритетом. Продукт некоммерческий, развивается по мере силы возможностей.
Спасибо! Пользуйтесь на здоровье) Писал для себя, но потом решил выложить для всех. В планах:
локальное саммари
загрузка внешних файлов для транскрибации
полировка и улучшения UI/UX
Ну или есть готовые приложения - например это https://ninilich.github.io/boring-meeting/ - нажал пару кнопок в UI и готово. Добавление загрузки внешних видео и получение саммари из коробки - в планах развития приложения.
То есть вы кормите ЛЛМ на личной подписке корп данными? Вы понимаете последсвия? Любая нормальная компания с адекватным инфосеком вас бы уже уволила
Ну так как раз цифровой рубль служит прямо противоположной цели - отслеживание всей цепочки. В этом плане это его огромный минус по сравнению с обычным безнолом by design
Детский сад.
Прошу прощения, но давайте будем честными - очень сложно представить, как можно допустить такую опечатку.
Агрегация в ядре? Дальше можно не читать?)