Pull to refresh
-2
6.1
Send message

Инфраструктура для data engineer Kafka

Level of difficultyEasy
Reading time8 min
Views2.8K

В этой статье я хочу показать как можно использовать Kafka в дата-инженерии и как её "пощупать".

Рекомендуется всем кто не знает что такое Kafka.

Читать далее
Total votes 9: ↑5 and ↓4+1
Comments0

Архитектурные паттерны в распределенных высоконагруженных системах

Reading time8 min
Views20K

Всякая сложная инфраструктура, поступательно развивавшаяся на протяжении длительного времени, содержит в себе набор разных архитектурных неоптимальностей, а то и откровенных недостатков. Порой эти недостатки становятся неожиданным препятствием для внедрения новых сервисов. Инфраструктура М.Видео-Эльдорадо в этом отношении не является исключением, в чем мы признаемся без излишней рефлексии. Но что с этим делать? Как сделать систему надежной и пригодной для дальнейшего развития? За ответами мы пришли к Александру Алехину, директору по развитию ИТ архитектуры.

Читать далее
Total votes 46: ↑45 and ↓1+52
Comments7

Магия data-driven design

Reading time8 min
Views28K
Примечание от переводчика
Из-за отсутствия лаконичного перевода некоторых терминов пришедших к нам из английского языка я предпочту оставить их на языке оригинала. Думаю, что у интересующихся данной отраслью это не вызовет раздражения.


Игры состоят из двух частей: логики и данных. Оживляющих игру при соединении их вместе, но бесполезных по отдельности. Логика определяет основные правила и алгоритмы игрового движка, в то время как данные описывают подробные сведения об игровом содержании и его поведение. Магия в том, что обе эти составляющие отделены друг от друга и могут развиваться отдельно.
Подробнее
Total votes 28: ↑24 and ↓4+20
Comments9

Феномен Рунге

Level of difficultyMedium
Reading time4 min
Views11K

Введение

Карл Давид Тольме Рунге (30 августа 1856 - 3 января 1927) - выдающийся немецкий математик, физик и спектроскопист. Обучался в Берлинском университете, где получил степень PhD, являлся профессором математики в Ганноверском университете, а также главой кафедры прикладной математики в Гёттингене. [1]

в 1901 году Карл открыл "Феномен Рунге" - в численном анализе эффект нежелательных колебаний, возникающий при интерполяции полиномами высоких степеней - о котором пойдёт речь в данной статье. [2]

Но прежде, чем мы окунёмся глубже в изучение данного феномена, давайте поговорим об интерполяционном многочлене Лагранжа, на примере которого мы и разберём Феномен Рунге.

Интерполяционный многочлен Лагранжа

Полином Лагранжа - это математическая функция, позволяющая записать полином n-степени, который будет соединять все заданные точки из набора значений, полученных опытным путём или методом случайной выборки. Многочлен в форме Лагранжа в явном виде содержит значения функций в узлах интерполяции, поэтому он удобен, когда значения функций меняются, а узлы интерполяции неизменны. Число арифметических операции, необходимых для построения многочлена Лагранжа, пропорционально и является наименьшим для всех форм записи. [3]

Полином Лагранжа в общем виде выглядит следующим образом:

Читать далее
Total votes 46: ↑44 and ↓2+55
Comments39

Как учить языки программирования и создавать базу знаний с помощью метода из прошлого века: опыт четырех инженеров

Level of difficultyEasy
Reading time10 min
Views46K

Недавно в комментариях к тексту про построение личной базы знаний на Хабре читатель отметил, что в таких статьях не хватает примеров работы с техническими данными. Давайте это исправим. Мы спросили у инженеров YADRO и технарей из сообщества «Цеттелькастен и Персональные базы знаний», как и для чего они ведут свои заметки.  Герои статьи используют Obsidian и Emacs, а также личные Telegram-каналы, чтобы изучать новые языки программирования, проходить технические собеседования и вести рабочие записи.

Для тех, кто пока не знаком с методом социолога Никласа Лумана, в начале статьи рассказали об истории Цеттелькастена и показали, как выглядело хранилище данных полвека назад. Короб с ящиками и карточками стал прототипом современных систем для ведения заметок, которыми пользуются инженеры. 

Читать далее
Total votes 45: ↑42 and ↓3+55
Comments37

Скачать (,) нельзя платить или как я делал бэкап данных из облака

Level of difficultyMedium
Reading time11 min
Views2.4K

Есть какое то количество фото и видео в Google Photos или Yandex Диск и место в облаке постепенно заканчивается, особенно если вы снимаете много контента в 4К, либо активно делаете снимки.

Цель: Автоматизировать процесс скачивания большого количества файлов из вашего облака на ваш локальный диск. Автоматически отсортировать файлы по годам, месяцам и даже дням. Скачать все 4К видео и конвертировать их в 1080p 60к/c без использования видеоредактора.

Звучит как какой то сон? Давайте сделаем это и погрузимся в инструменты ffmpeg и Rclone.

Читать полный гайд
Total votes 4: ↑3 and ↓1+5
Comments15

Практическая работа с BPMN

Reading time5 min
Views2.4K

Для эффективной реализации бизнес-логики ее необходимо предварительно корректно описать, а для этого нужно средство, позволяющее выполнить описание логики бизнес-процессов.

Нотация BPMN (Business Process Model and Notation) это система условных обозначений и их описания средствами языка разметки XML для моделирования бизнес-процессов. Разработана Business Process Management Initiative (BPMN.org) и поддерживается Object Management Group, после слияния обеих организаций в 2005 году. Последней версией BPMN на текущий момент является 2.0 (2.0.2).

Читать далее
Total votes 9: ↑5 and ↓4+4
Comments5

Книга: «PowerShell: практическая автоматизация»

Reading time20 min
Views20K
image Привет, Хаброжители!

PowerShell — это язык для написания скриптов, инструмент, позволяющий программно управлять всем центром обработки данных. С его помощью можно создавать высокоэффективные и надежные системы автоматизации, пригодные для многократного использования и значительно повышающие производительность специалистов. Из этой книги вы узнаете, как проектировать, разрабатывать, организовывать и развертывать скрипты для автоматизации задач любого масштаба, от локальных серверов до корпоративных облачных платформ.

Вы узнаете, как создавать скрипты PowerShell для автоматизации локальных и облачных систем. Найдете советы по определению задач, которые стоит автоматизировать, по организации структуры скриптов и управлению ими, а также множество примеров кода с подробными пояснениями. Научитесь адаптировать уже готовые скрипты к новым условиям применения и упрощать работу специалистов не-технического профиля при помощи простых и понятных интерфейсов SharePoint.
Читать дальше →
Total votes 7: ↑7 and ↓0+9
Comments7

Что могут построить дроны

Reading time7 min
Views3.6K

В облаке слов, которое могло бы описать технологии третьего десятилетия XXI века, заметные места займут беспилотные летательные аппараты и 3D-печать. На Хабре им соответствуют хабы «мультикоптеры» и «3D-принтеры». Но не так известно, что эти технологии удивительным образом сочетаются в области бионики: уже созданы аппараты, сочетающие черты 3D-принтера и небольшого дрона. Они действуют примерно по тому же принципу, по которому оса строит гнездо: подлетают к постройке и послойно покрывают её постепенно затвердевающим материалом. О современных проектах таких машин и их роёв — под катом.

Читать далее
Total votes 9: ↑7 and ↓2+11
Comments4

Раскочегариваем YouTube без установки софта на конечные устройства

Level of difficultyMedium
Reading time3 min
Views200K

В последнее время для потребителей контента YouTube настали тяжелые времена. Даже самые мелкие местечковые провайдеры уже внедрили то самое замедление видео. В некоторых случаях (как у меня) - это даже не замедление, а просто ограничение функционала. Видео попросту не грузятся.

Оставим в стороне сам факт блокировки - он небезоснователен. Но количество полезной информации, которой было накоплено на сайте за годы его, по сути, монопольного владения данной нишей - колоссальное. Поэтому, как бы там не было, приходится данную блокировку обходить.

Для этого есть несколько путей:

Читать далее
Total votes 60: ↑50 and ↓10+53
Comments291

Колоночные СУБД — принцип действия, преимущества и область применения

Reading time5 min
Views116K
Середина 2000-х годов ознаменовалась бурным ростом числа колоночных СУБД. Vertica, ParAccel, Kognito, Infobright, SAND и другие пополнили клуб колоночных СУБД и разбавили гордое одиночество Sybase IQ, основавшей его в 90х годах. В этой статье я расскажу о причинах популярности идеи по-колоночного хранения данных, принцип действия и область использования колоночных СУБД.

Начнем с того, что популярные в наше время реляционные СУБД — Oracle, SQL Server, MySQL, DB2, Postgre и др. базируются на архитектуре, отсчитывающей свою историю еще c 1970-х годов, когда радиоприемники были транзисторными, бакенбарды длинными, брюки расклешенными, а в мире СУБД преобладали иерархические и сетевые системы управления данными. Главная задача баз данных тогда заключалась в том, чтобы поддержать начавшийся в 1960-х годах массовый переход от бумажного учета хозяйственной деятельности к компьютерному. Огромное количество информации из бумажных документов переносилось в БД учетных систем, которые должны были надежно хранить все входящие сведения и, при необходимости, быстро находить их. Такие требования обусловили архитектурные особенности реляционных СУБД, оставшиеся до настоящего времени практически неизменными: построчное хранение данных, индексирование записей и журналирование операций.
Читать дальше →
Total votes 54: ↑53 and ↓1+52
Comments51

Микросервисы для тех, кто прикидывается разработчиком. Часть 1

Level of difficultyEasy
Reading time6 min
Views26K

«Скажите, какие основные преимущества микросервисов и почему?». Вероятно, это самых популярный вопрос последних 6–10 лет на любом собеседовании для бэкенд разработчика. Каким-то чудом он даже обогнал: «Назовите три принципа ООП» и «Чем отличается класс от объекта».

Читать далее
Total votes 21: ↑16 and ↓5+17
Comments16

Бот поиска заявлений абитуриентов по СНИЛС

Level of difficultyMedium
Reading time3 min
Views16K

Многие из вас когда‑то поступали (или будут поступать) в вузы. Это происходит обычно 1 раз в жизни, поэтому абитуриенты часто не понимают всей специфики работы приёмной комиссии, построения списков, сроков зачисления и т. п. Часто этим просто лень заниматься. Да плюс ещё эти правила приёма меняются каждый год (более того скажу — чаще чем раз в год) и уследить за этим обычному человеку не представляется возможным.

Читать далее
Total votes 8: ↑7 and ↓1+9
Comments9

Reverse engineering конкурсных списков поступления на бюджет в вузы России

Level of difficultyEasy
Reading time4 min
Views9.5K

Сегодня, 3 августа 2024 года, был последний день подачи документов в вузы России на бюджет.

Ситуация нервная: слишком много факторов.

Мать-недопрограммист не дождалась приказа
Total votes 36: ↑33 and ↓3+35
Comments47

Git, Gitflow и ветка develop. Продолжаем разбираться в основах программирования

Reading time5 min
Views9.6K

Привет, Хабр! В блоге beeline cloud я делюсь личным опытом разработки. Ранее рассказывал, как инжектить в статические поля, как упростить себе жизнь при написании тестов, подсвечивал особенности пагинации. А сегодня продолжу знакомить вас с Git, Gitflow и веткой develop. Если вы пропустили первую статью из цикла — рекомендую прочитать тут.

Читать далее
Total votes 14: ↑12 and ↓2+16
Comments9

Мы построили бесконечный винный фонтан своими руками, потратив всего 6000 рублей. Рассказываю, из чего он сделан

Level of difficultyMedium
Reading time5 min
Views7.5K

Привет! Меня зовут Леша Штанько, я работаю системным администратором, интегратором и пишу автоматизации в Google App Scripts на JS в AGIMA. Но есть у меня и еще одна ипостась — я активный участник нашего винного клуба. Мы с ребятами дегустируем вина, изучаем их специфику и историю, разбираемся во вкусах и ароматах. В общем, эстетствуем. А недавно для корпоративного конкурса собрали своими руками настоящий винный фонтан, который может работать бесконечно.

Рассказываю, как (и зачем) мы его построили, что он собой представляет и как в домашних условиях сделать точно такой же. Спойлер: это намного проще, чем кажется.

Читать далее
Total votes 21: ↑19 and ↓2+21
Comments12

ТОП ошибок тех. интервьюеров

Level of difficultyEasy
Reading time6 min
Views6.1K

За последние 2 года я провел множество тех. собесов, но после статьи @AlfaTeamдолго думал «‎мне есть что сказать» или лучше помолчать. В итоге таки решил описать типовые ошибки интервьюеров, которые я не замечал «до»‎, но стал замечать «после»‎ этого марафона собесов.

Читать далее
Total votes 11: ↑9 and ↓2+13
Comments14

Контент-маркетинг — как я пишу по статье в день, что это дает и как не сдуться

Reading time9 min
Views6.3K

Смущает ли меня моя косноязычность? Да. Но я все равно пишу по статье каждый будний день, а в выходные пишу отдельно для Хабра. Статьи — это мой второй университет, мое самообразование. А в качестве стипендии я получаю лиды.

В этой статье я постарался интересно и вдумчиво проанализировать свой опыт ежедневного написания статей. В тексте есть ссылки на публикации разных авторов. Я добавил их для иллюстрации, а не для рекламы.

Читать далее
Total votes 31: ↑25 and ↓6+23
Comments22

React: одна любопытная особенность порталов

Level of difficultyMedium
Reading time5 min
Views4.8K



Привет, друзья!


В этой небольшой заметке я хочу рассказать вам об одной интересной особенности порталов в React, которую я долгое время упускал из виду, но которая на днях привела к любопытному багу. Речь идет о том, что структурно дерево React не всегда соответствует DOM.


Полагаю, статья будет интересна всем разработчикам React, а также тем, кто любит разбираться с тонкостями работы JavaScript и браузерных API.


Предполагается, что вы имеете некоторый опыт работы с React, и вам не надо объяснять, что такое порталы и для чего они нужны.

Читать дальше →
Total votes 18: ↑14 and ↓4+19
Comments8

Information

Rating
830-th
Location
Жуковский, Москва и Московская обл., Россия
Date of birth
Registered
Activity