CDC вам не «Centers for Disease Control and Prevention» а «Change data capture». В статье рассказано какие есть виды CDC и как реализовать один из CDC при помощи Debezium.
User
Инфраструктура для data engineer Kafka
В этой статье я хочу показать как можно использовать Kafka в дата-инженерии и как её "пощупать".
Рекомендуется всем кто не знает что такое Kafka.
Архитектурные паттерны в распределенных высоконагруженных системах
Всякая сложная инфраструктура, поступательно развивавшаяся на протяжении длительного времени, содержит в себе набор разных архитектурных неоптимальностей, а то и откровенных недостатков. Порой эти недостатки становятся неожиданным препятствием для внедрения новых сервисов. Инфраструктура М.Видео-Эльдорадо в этом отношении не является исключением, в чем мы признаемся без излишней рефлексии. Но что с этим делать? Как сделать систему надежной и пригодной для дальнейшего развития? За ответами мы пришли к Александру Алехину, директору по развитию ИТ архитектуры.
Магия data-driven design
Игры состоят из двух частей: логики и данных. Оживляющих игру при соединении их вместе, но бесполезных по отдельности. Логика определяет основные правила и алгоритмы игрового движка, в то время как данные описывают подробные сведения об игровом содержании и его поведение. Магия в том, что обе эти составляющие отделены друг от друга и могут развиваться отдельно.
Феномен Рунге
Введение
Карл Давид Тольме Рунге (30 августа 1856 - 3 января 1927) - выдающийся немецкий математик, физик и спектроскопист. Обучался в Берлинском университете, где получил степень PhD, являлся профессором математики в Ганноверском университете, а также главой кафедры прикладной математики в Гёттингене. [1]
в 1901 году Карл открыл "Феномен Рунге" - в численном анализе эффект нежелательных колебаний, возникающий при интерполяции полиномами высоких степеней - о котором пойдёт речь в данной статье. [2]
Но прежде, чем мы окунёмся глубже в изучение данного феномена, давайте поговорим об интерполяционном многочлене Лагранжа, на примере которого мы и разберём Феномен Рунге.
Интерполяционный многочлен Лагранжа
Полином Лагранжа - это математическая функция, позволяющая записать полином n-степени, который будет соединять все заданные точки из набора значений, полученных опытным путём или методом случайной выборки. Многочлен в форме Лагранжа в явном виде содержит значения функций в узлах интерполяции, поэтому он удобен, когда значения функций меняются, а узлы интерполяции неизменны. Число арифметических операции, необходимых для построения многочлена Лагранжа, пропорционально и является наименьшим для всех форм записи. [3]
Полином Лагранжа в общем виде выглядит следующим образом:
Как учить языки программирования и создавать базу знаний с помощью метода из прошлого века: опыт четырех инженеров
Недавно в комментариях к тексту про построение личной базы знаний на Хабре читатель отметил, что в таких статьях не хватает примеров работы с техническими данными. Давайте это исправим. Мы спросили у инженеров YADRO и технарей из сообщества «Цеттелькастен и Персональные базы знаний», как и для чего они ведут свои заметки. Герои статьи используют Obsidian и Emacs, а также личные Telegram-каналы, чтобы изучать новые языки программирования, проходить технические собеседования и вести рабочие записи.
Для тех, кто пока не знаком с методом социолога Никласа Лумана, в начале статьи рассказали об истории Цеттелькастена и показали, как выглядело хранилище данных полвека назад. Короб с ящиками и карточками стал прототипом современных систем для ведения заметок, которыми пользуются инженеры.
Скачать (,) нельзя платить или как я делал бэкап данных из облака
Есть какое то количество фото и видео в Google Photos или Yandex Диск и место в облаке постепенно заканчивается, особенно если вы снимаете много контента в 4К, либо активно делаете снимки.
Цель: Автоматизировать процесс скачивания большого количества файлов из вашего облака на ваш локальный диск. Автоматически отсортировать файлы по годам, месяцам и даже дням. Скачать все 4К видео и конвертировать их в 1080p 60к/c без использования видеоредактора.
Звучит как какой то сон? Давайте сделаем это и погрузимся в инструменты ffmpeg и Rclone.
Практическая работа с BPMN
Для эффективной реализации бизнес-логики ее необходимо предварительно корректно описать, а для этого нужно средство, позволяющее выполнить описание логики бизнес-процессов.
Нотация BPMN (Business Process Model and Notation) это система условных обозначений и их описания средствами языка разметки XML для моделирования бизнес-процессов. Разработана Business Process Management Initiative (BPMN.org) и поддерживается Object Management Group, после слияния обеих организаций в 2005 году. Последней версией BPMN на текущий момент является 2.0 (2.0.2).
Книга: «PowerShell: практическая автоматизация»
PowerShell — это язык для написания скриптов, инструмент, позволяющий программно управлять всем центром обработки данных. С его помощью можно создавать высокоэффективные и надежные системы автоматизации, пригодные для многократного использования и значительно повышающие производительность специалистов. Из этой книги вы узнаете, как проектировать, разрабатывать, организовывать и развертывать скрипты для автоматизации задач любого масштаба, от локальных серверов до корпоративных облачных платформ.
Вы узнаете, как создавать скрипты PowerShell для автоматизации локальных и облачных систем. Найдете советы по определению задач, которые стоит автоматизировать, по организации структуры скриптов и управлению ими, а также множество примеров кода с подробными пояснениями. Научитесь адаптировать уже готовые скрипты к новым условиям применения и упрощать работу специалистов не-технического профиля при помощи простых и понятных интерфейсов SharePoint.
Что могут построить дроны
В облаке слов, которое могло бы описать технологии третьего десятилетия XXI века, заметные места займут беспилотные летательные аппараты и 3D-печать. На Хабре им соответствуют хабы «мультикоптеры» и «3D-принтеры». Но не так известно, что эти технологии удивительным образом сочетаются в области бионики: уже созданы аппараты, сочетающие черты 3D-принтера и небольшого дрона. Они действуют примерно по тому же принципу, по которому оса строит гнездо: подлетают к постройке и послойно покрывают её постепенно затвердевающим материалом. О современных проектах таких машин и их роёв — под катом.
Раскочегариваем YouTube без установки софта на конечные устройства
В последнее время для потребителей контента YouTube настали тяжелые времена. Даже самые мелкие местечковые провайдеры уже внедрили то самое замедление видео. В некоторых случаях (как у меня) - это даже не замедление, а просто ограничение функционала. Видео попросту не грузятся.
Оставим в стороне сам факт блокировки - он небезоснователен. Но количество полезной информации, которой было накоплено на сайте за годы его, по сути, монопольного владения данной нишей - колоссальное. Поэтому, как бы там не было, приходится данную блокировку обходить.
Для этого есть несколько путей:
Колоночные СУБД — принцип действия, преимущества и область применения
Начнем с того, что популярные в наше время реляционные СУБД — Oracle, SQL Server, MySQL, DB2, Postgre и др. базируются на архитектуре, отсчитывающей свою историю еще c 1970-х годов, когда радиоприемники были транзисторными, бакенбарды длинными, брюки расклешенными, а в мире СУБД преобладали иерархические и сетевые системы управления данными. Главная задача баз данных тогда заключалась в том, чтобы поддержать начавшийся в 1960-х годах массовый переход от бумажного учета хозяйственной деятельности к компьютерному. Огромное количество информации из бумажных документов переносилось в БД учетных систем, которые должны были надежно хранить все входящие сведения и, при необходимости, быстро находить их. Такие требования обусловили архитектурные особенности реляционных СУБД, оставшиеся до настоящего времени практически неизменными: построчное хранение данных, индексирование записей и журналирование операций.
Микросервисы для тех, кто прикидывается разработчиком. Часть 1
«Скажите, какие основные преимущества микросервисов и почему?». Вероятно, это самых популярный вопрос последних 6–10 лет на любом собеседовании для бэкенд разработчика. Каким-то чудом он даже обогнал: «Назовите три принципа ООП» и «Чем отличается класс от объекта».
Бот поиска заявлений абитуриентов по СНИЛС
Многие из вас когда‑то поступали (или будут поступать) в вузы. Это происходит обычно 1 раз в жизни, поэтому абитуриенты часто не понимают всей специфики работы приёмной комиссии, построения списков, сроков зачисления и т. п. Часто этим просто лень заниматься. Да плюс ещё эти правила приёма меняются каждый год (более того скажу — чаще чем раз в год) и уследить за этим обычному человеку не представляется возможным.
Reverse engineering конкурсных списков поступления на бюджет в вузы России
Сегодня, 3 августа 2024 года, был последний день подачи документов в вузы России на бюджет.
Ситуация нервная: слишком много факторов.
Git, Gitflow и ветка develop. Продолжаем разбираться в основах программирования
Привет, Хабр! В блоге beeline cloud я делюсь личным опытом разработки. Ранее рассказывал, как инжектить в статические поля, как упростить себе жизнь при написании тестов, подсвечивал особенности пагинации. А сегодня продолжу знакомить вас с Git, Gitflow и веткой develop. Если вы пропустили первую статью из цикла — рекомендую прочитать тут.
Мы построили бесконечный винный фонтан своими руками, потратив всего 6000 рублей. Рассказываю, из чего он сделан
Привет! Меня зовут Леша Штанько, я работаю системным администратором, интегратором и пишу автоматизации в Google App Scripts на JS в AGIMA. Но есть у меня и еще одна ипостась — я активный участник нашего винного клуба. Мы с ребятами дегустируем вина, изучаем их специфику и историю, разбираемся во вкусах и ароматах. В общем, эстетствуем. А недавно для корпоративного конкурса собрали своими руками настоящий винный фонтан, который может работать бесконечно.
Рассказываю, как (и зачем) мы его построили, что он собой представляет и как в домашних условиях сделать точно такой же. Спойлер: это намного проще, чем кажется.
Контент-маркетинг — как я пишу по статье в день, что это дает и как не сдуться
Смущает ли меня моя косноязычность? Да. Но я все равно пишу по статье каждый будний день, а в выходные пишу отдельно для Хабра. Статьи — это мой второй университет, мое самообразование. А в качестве стипендии я получаю лиды.
В этой статье я постарался интересно и вдумчиво проанализировать свой опыт ежедневного написания статей. В тексте есть ссылки на публикации разных авторов. Я добавил их для иллюстрации, а не для рекламы.
React: одна любопытная особенность порталов
Привет, друзья!
В этой небольшой заметке я хочу рассказать вам об одной интересной особенности порталов в React, которую я долгое время упускал из виду, но которая на днях привела к любопытному багу. Речь идет о том, что структурно дерево React не всегда соответствует DOM.
Полагаю, статья будет интересна всем разработчикам React, а также тем, кто любит разбираться с тонкостями работы JavaScript и браузерных API.
Предполагается, что вы имеете некоторый опыт работы с React, и вам не надо объяснять, что такое порталы и для чего они нужны.
Information
- Rating
- 830-th
- Location
- Жуковский, Москва и Московская обл., Россия
- Date of birth
- Registered
- Activity