Как стать автором
Обновить
7
0
Николай Ладовский @Ekstrem

Бумажный архитектор

Отправить сообщение

Переход от монолитного Data Lake к распределённой Data Mesh

Время на прочтение25 мин
Количество просмотров41K
Привет, Хабр! Представляю вашему вниманию перевод статьи «How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh» автора Zhamak Dehghani (Жамак Дегани)(все изображения взяты из этой же статьи).

Все крупные компании сейчас пытаются строить огромные централизованные хранилища данных. Или же ещё более огромные кластерные Data Lakes (как правило, на хадупе). Но мне не известно ни одного примера успешного построения такой платформы данных. Везде это боль и страдание как для тех, кто строит платформу данных, так и для пользователей. В статье ниже автор (Жамак Дегани) предлагает совершенно новый подход к построению платформы данных. Это архитектура платформы данных четвертого поколения, которая называется Data Mesh. Оригинальная статья на английском весьма объёмна и откровенно тяжело читается. Перевод так же получился немаленьким и текст не очень прост: длинные предложения, суховатая лексика. Я не стал переформулировать мысли автора, дабы сохранить точность формулировок. Но я крайне рекомендую таки продраться через этот непростой текст и ознакомиться со статьёй. Для тех, кто занимается данными, это будет очень полезно и весьма интересно.

Евгений Черный

Немало компаний инвестируют в следующее поколение Data Lake с надеждой упростить доступ к данным в масштабе всей компании и предоставить бизнесу инсайты и возможность принимать качественные решения автоматически. Но текущие подходы к построению платформ данных имеют схожие проблемы, которые не позволяют достигнуть поставленных целей. Чтобы решить эти проблемы нам необходимо отказаться от парадигмы централизованного Data Lake (или его предшественника – хранилища данных). И перейти к парадигме, основанной на современной распределённой архитектуре: рассматривать бизнес-домены как приоритет первого уровня, применять платформенное мышление для создания инфраструктуры с возможностью самообслуживания и воспринимать данные как продукт.

image
Читать дальше →
Всего голосов 9: ↑7 и ↓2+12
Комментарии18

Честное онлайн-голосование: миф или реальность?

Время на прочтение24 мин
Количество просмотров7.9K

Привет, Хабр! Меня зовут Иван, я разрабатываю сервис онлайн-голосований WE.Vote на основе блокчейн-платформы Waves Enterprise. Сама идея голосований в онлайне уже давным-давно реализована разными компаниями, но в любых кейсах «повышенной ответственности» все равно прибегают к старой доброй бумаге. Давайте посмотрим, как электронное голосование сможет посостязаться с ней в максимально строгих условиях.

Читать далее
Всего голосов 8: ↑7 и ↓1+7
Комментарии72

Пиринговые мессенджеры — враг государства?

Время на прочтение7 мин
Количество просмотров81K


В случае полного отключения интернета одна из главных проблем — общение с товарищами и родственниками. Опыт Гонконга показывает, что для этого хорошо подходят децентрализованные P2P-мессенджеры, которые работают без интернета, используя mesh-сеть по протоколам Wi-Fi Direct, Bluetooth, Apple Multipeer Connectivity Framework, ANT+, LoRa и др.

Для эффективной коммуникации приложение нужно скачать максимальному количеству человек до начала блокады интернета. Иначе придётся искать файлы после блокады. Человек с нужными файлами станет настоящим авторитетом в офисе или в классе (как это было в Беларуси в августе 2020 года — за файлами Psiphon люди реально приезжали из других микрорайонов города).

Вообще, вся история сетей wireless mesh намекает на то, что эта технология крайне не нравится правоохранительным органам.
Всего голосов 86: ↑79 и ↓7+104
Комментарии213

Kafka, Lamoda и непреодолимое желание учиться

Время на прочтение9 мин
Количество просмотров6.8K


Никита Галушко, разработчик подразделения Online Shop Lamoda, в онлайн-гостях у учебного центра Слёрм поделился своими впечатлениями от курса по Kafka, рассказал, как используют эту технологию и какие проблемы решают в отделе R&D (Research and Development).

«Как быстро мы упремся в сетевой канал, который использует Kafka — через года два или раньше?»

Lamoda — один из крупнейших интернет-магазинов в России и СНГ. Чтобы покупатели пользовались сайтом без проблем и радовались быстрой отгрузке и доставке, IT-системами в Lamoda занимаются 340 сотрудников: разработчики, QA-инженеры, аналитики, DevOps-специалисты, продуктовые менеджеры, дизайнеры. Узнаем, как в этой системе крутятся винтики.
Читать дальше →
Всего голосов 13: ↑12 и ↓1+13
Комментарии2

Как построить самовоспроизводящуюся практику

Время на прочтение8 мин
Количество просмотров7K


Сегодня расскажем, как организовать устойчивое развитие команды, которая не подвержена кадровым кризисам. Где руководитель не тонет в оперативке, сотрудники не скучают годами на одинаковых задачах, старшие специалисты не «бронзовеют», а привлечение новых сотрудников не стоит как крыло самолёта. Если не найдёте в тексте ничего нового для себя, поздравляем! А мы наступили на все приведённые грабли. Может быть, кого-то наш опыт убережёт от ошибок. Или подскажет решение.
Читать дальше →
Всего голосов 10: ↑9 и ↓1+12
Комментарии4

Несколько трансформаций одновременно: не по книжкам, а ровно наоборот

Время на прочтение10 мин
Количество просмотров8.4K

Общепринятые мировые практики против проведения нескольких трансформаций в компании одновременно. И все же они возможны, при соответствующей подготовке, привлечении необходимых ресурсов и правильном мониторинге результатов. Плюсами и минусами одновременных трансформаций на конференции DevOps Live 2020 поделился лидер трайба IT4IT в ОТП Банке Максим Ефимов. 

В этой статье вы найдете материалы, которые были полезны при внедрении нескольких трансформаций, детальное описание процесса, а также уроки, которые вынесли для себя в банке: как позитивные, так и негативные.

Читать далее
Всего голосов 11: ↑11 и ↓0+11
Комментарии1

Архитектура архитектуры. Шаг 6: Ежедневный стэндап

Время на прочтение11 мин
Количество просмотров5.6K

Продолжение. К предыдущим постам и карте цикла.

Будни разработчика. Цели определены, направления выбраны, задачи разжеваны. Нужно просто писать код и жевать кашку. Что может скрасить серость и однообразность существования? Конечно же daily standup - шоу, в котором есть место для каждого! Ну вот эти вот неожиданные «я посмотрел архитектуру и там ошибка» или вот «я добавил новый модуль, который нам может пригодиться в будущем» ну и, конечно, «я сделал всё проще и быстрей». Мы ведь именно ради этого делаем все церемонии груминга и планирования. Чтоб как бы подготовить почву и дать всем время посидеть молча и заготовить эти панчлайны на конец спринта. А самое обидное, что, потратив столько усилий, на сам стендап вы обычно не попадаете и панчи вам передаёт ваше начальство.

Шутим дальше
Всего голосов 18: ↑13 и ↓5+14
Комментарии10

Эффективная конструкция агрегатов. Понимание через исследование

Время на прочтение9 мин
Количество просмотров2K

Эта статья является конспектом материала Effective Aggregate Design Part III: Gaining Insight Through Discovery.

Во второй части обсуждали, как агрегаты ссылаются друг на друга и как использовать конечную согласованность для достижения определенных бизнес целей. В третьей части увидим, как соблюдение правил агрегатов влияет на проектирование модели Scrum (тестовый проект из первой части).

Читать далее
Всего голосов 1: ↑1 и ↓0+1
Комментарии2

Доказательная разработка или как data-driven подход добавил смысла работе

Время на прочтение5 мин
Количество просмотров7.7K

На собеседованиях стороны чаще всего хотят понять, подходят ли они друг другу и будет ли им комфортно работать вместе. Я руковожу командой разработки бэкенда, которая за последние два года выросла вдвое, поэтому собеседований было достаточно. Кандидаты чаще всего задают вопросы о процессах и правилах в компании, а я всегда хочу узнать, что им нравится или не нравится в текущей работе, а также — какой они видят идеальную команду для себя.

С этих собеседований вынес интересное наблюдение: в первую тройку «пожеланий» попадает такая трудно формулируемая вещь, как «хочется, чтобы в работе был смысл». Если начать раскручивать этот клубок, то часто приходим к более негативной формулировке «прошлый заказчик/бизнес не знает, чего хочет и постоянно меняет требования».

В такие моменты всегда вспоминаю, как познакомился с data-driven подходом. Для себя больше люблю называть это доказательной разработкой (по аналогии с доказательной медициной) и расскажу на примере. Сейчас этот подход кажется обычным и естественным, но когда-то стал для меня настоящим откровением. И, судя по вопросам кандидатов на собеседованиях, все еще может быть полезен, хотя обсуждается уже давно.

Читать далее
Всего голосов 43: ↑40 и ↓3+46
Комментарии2

Моделирование микросервисов с помощью Event storming

Время на прочтение8 мин
Количество просмотров67K

Event storming — метод, который смещает акцент у событий с технического на организационный и бизнес уровни и помогает создать устойчивую модульную систему. Он нередко используется в контексте моделирования микросервисов. Но как применить его на практике?

При создании системы на микросервисах можно легко получить распределенный монолит. Event Storming не уберегает от этого на 100 %, но позволяет существенно снизить риск этого события. О том, как именно этого добиться, рассказал в своем докладе на конференции TechLead Conf 2020 практикующий консультант по архитектуре, процессам разработки и продуктовым практикам Сергей Баранов.

Читать далее
Всего голосов 14: ↑13 и ↓1+17
Комментарии2

Как я искал работу весной 2021 года

Время на прочтение10 мин
Количество просмотров44K

Всем привет! Давно читаю Хабр и руки чесались тоже написать чего-нибудь. Так получилось, что повод появился только когда я начал искать новую работу. Вдохновил меня на эту статью увлекательный рассказ о собеседованиях в Яндексе. "Хм, а мне ведь тоже есть чего рассказать" - подумал я и загорелся идеей описать свою историю о пройденных собеседованиях.

Небольшая вводная - я архитектор ПО и начиная с февраля месяца неспешно искал новую работу. За эти пару месяцев прошел около 20 собеседований и накопил небольшой опыт, которым хотел бы поделиться. Долго думал стоит ли указывать в данной статье названия компаний, которые особо "отличились" и пришел к выводу что лучше озвучить. Надеюсь, представители этих компаний не воспримут мои отзывы как попытку их очернить. Я бы хотел чтобы это воспринималось как конструктивная критика, которая поможет им понять что не так в существующих процессах найма сотрудников и исправить ошибки.

Итак, поехали! Что мы имеем - весна 2021 года и по моим (и не только моим) ощущениям рынок IT-специалистов сильно перегрет.  Рекрутеры в прямом смысле заваливают разными предложениями, причем высокие зарплатные ожидания мало кого пугают. На мой взгляд, одна из причин этого всего в том, что банки вдруг резко захотели в финтех. Очень много предложений от самых разных банков, но еще больше - от интеграторов, которым перепало от 15 млрд, которые ВТБ год назад решил вложить в развитие своего банковского ПО. Кроме банков и интеграторов удалось также пообщаться и с другими крупными и не очень IT-компаниями. О некоторых особо запомнившихся моментах в общении с рекрутерами хотел бы рассказать подробнее:

Читать далее
Всего голосов 84: ↑79 и ↓5+97
Комментарии76

SCRUM: Понимание и применение фреймворка

Время на прочтение14 мин
Количество просмотров10K

После заморозки стартапа, компания заинтересовалась возможностью трансформации существующего производства включающего 400 сотрудников, работающих в 6 продуктовых направлениях. Данной публикацией, я запускаю цикл статей, в которых попытаюсь предложить формализованный подход для оценки степени зрелости аспектов разработки в части внедрения SCRUM.

Читать далее
Всего голосов 8: ↑4 и ↓4+4
Комментарии8

Удаленка по новым правилам: 13 вопросов и ответов

Время на прочтение6 мин
Количество просмотров5.8K

Как изменилась «удаленка» в 2021 году, после поправок в Трудовом кодексе – делимся нашим опытом. Как и многие в отрасли, мы остаемся на удаленке – для этого адаптировали к онлайну все процессы и взаимодействия в команде из 1000+ специалистов. Параллельно перестраиваем IT-офисы, вносим много изменений для будущей совместной работы. Рассмотрим правовой аспект и ответим на частые вопросы в статье, подготовленной нашей юридической службой.

Читать далее
Всего голосов 3: ↑3 и ↓0+3
Комментарии0

Архитектура архитектуры. Шаг 5: один за всех и все на одного

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров5.8K

Продолжение. К предыдущим постам и карте цикла.

В жизни каждого проекта наступает тот самый волнительный и незабываемый момент, когда от архитектора требуется только архитектура. Волнительный он по вполне понятным причинам. К этому моменту вы уже столько раз повторяли и уточняли дизайн, что и сами стали верить в эту сказку. А теперь вот раз и надо архитектуру. Не концепции и технологии, а вот прям весь хребет слона, которого будут растить пару лет в инкубаторе, а потом лет 10 на пастбищах по всему миру, пока из резервации он не попадёт в консервацию. Ну а памятным это событие делает тот факт, что все последующие годы вам будут припоминать всё мелкие недочёты, которые почему-то вы не смогли предвидеть. Ведь вам дали неделю, а может даже и целых две на то, чтоб определить направление и основные вехи разработки всех команд на годы вперёд.

Read more
Всего голосов 6: ↑6 и ↓0+6
Комментарии6

Serverless-архитектура сегодня: как бессерверные решения меняют разработку

Время на прочтение7 мин
Количество просмотров22K

Привет, Хабр! В комментариях к статьям из нашего хаба часто спорят: полезна ли Serverless. Хочу поднять флаг миротворца — и сказать, что бессерверная технология меняет весь рабочий процесс и взгляд на разработку. Для этого есть несколько причин.

Serverless смещает оплату в сторону подхода pay-as-you-go: вы платите столько, сколько израсходовано процессорного времени (плюс-минус 100 мс). Вы не ждёте запуска сервера, не распределяете нагрузку и не заморачиваетесь с техобслуживанием. Задача написана — задача исполнена. С другой стороны, возникают проблемы холодного старта, а многим проектам не подходит отсутствие чёткого контроля контейнера. В этой статье я расскажу, в каких именно случаях может пригодиться Serverless и когда к ней надо присмотреться.

Читать далее
Всего голосов 14: ↑10 и ↓4+14
Комментарии13

Автоматизация бизнес-процессов. Часть 2. Adaptive BPM

Время на прочтение3 мин
Количество просмотров11K

image Итак, в первой части было рассмотрено, какие бывают бизнес-процессы по степени их устойчивости к изменениям, технические концепции для реализации конкретного типа БП, а также пример логики добавления/удаления таска из адаптивной модели БП.
В этой части статьи собираюсь подробней описать, чем же adaptive BPM (aBPM) отличаются от normative BPM (nBPM) и от Adaptive Case Management (ACM), затем представить архитектуру получившейся aBPM системы.


Читать дальше →
Всего голосов 20: ↑16 и ↓4+12
Комментарии8

Керамические вкладки: это пломбы v2.0 (но дороже)

Время на прочтение6 мин
Количество просмотров16K
image
Полимеризация пломбы с помощью компактного источника света (длина волны — 400–500 нм).

Пломбы из различных материалов хороши всем, когда применяются по показаниям. А показания пломб ограничены объёмом дефекта не более чем в 40 % от твёрдой ткани зуба. На практике это означает примерно средний кариес: обычно повреждение зуба амфоровидное, то есть в виде полости с узким горлышком. Снаружи пациенту очень сложно оценить истинный объём потерянной ткани. Есть стереотип, что можно просто положить сверху пломбу, и это нормально. Стоматологи не особо спешат развеивать эти мысли и уже по своим причинам нередко расширяют показания для пломб. Например, из-за консерватизма или потому, что лучше уж закрыть эту полость чем-то, чем не трогать вовсе или выполнять более сложные операции, на которые пациент может и не пойти из-за их стоимости.

Коротко: большие пломбы были времянкой до появления более надёжных способов закрыть полость в зубе. Ставить их нельзя, но их всё ещё ставят.

Что не так с большой пломбой с расширением показаний? Очень просто: её материал (чаще всего полимер) усаживается при затвердевании на 2–6 % по объёму. Это означает, что она неплотно прилегает к тканям зуба. При передаче нагрузки на зуб в правильной ситуации она распределяется по оси равномерно как на пломбу, так и на оставшуюся твёрдую ткань, а затем — на корень зуба. В случае крупной пломбы нагрузка падает на твёрдые ткани (а их осталось менее 60 % по расширению показаний). На практике это означает сломанный зуб через пять–восемь лет после пломбирования. Повезёт, если он сломан выше уровня десны: восстановим коронкой. Не повезёт, если ниже: потребуются удаление, скорее всего, аугментация кости, и уже затем — дорогая имплантация.
Всего голосов 29: ↑28 и ↓1+37
Комментарии33

Просветительская деятельность как профилактика синдрома самозванца

Время на прочтение6 мин
Количество просмотров6K

Недавно мои две сферы увлечений, психология и айти сошлись в интересной комбинации. Я стал делиться знаниями, используя это, как борьбу с профессиональными синдромами выгорания и самозванца. Казалось бы, какая связь между выступлениями на конференциях и выгоранием?

Давайте разберемся
Всего голосов 4: ↑3 и ↓1+3
Комментарии7

Архитектор — лучший друг продакта

Время на прочтение5 мин
Количество просмотров3.6K

Суть статьи очень простая - архитектор представитель бизнеса в разработке. Его амбассадор. Проводник мысли продакт-менеджера во все укромные уголки проекта. Продакту нужно дружить с архитектором. Быть с ним на одной волне. Только так он сможет получить ожидаемый результат.

Ой, да ладно...
Всего голосов 10: ↑5 и ↓5+3
Комментарии5

Как работают IT-архитекторы – наши примеры и задачи

Время на прочтение6 мин
Количество просмотров40K
Архитектор – незаменимый специалист при создании или аудите сложных IT-решений. Его задачи – заложить фундамент проекта, обеспечить гибкость и снизить риски, а в конечном итоге – обеспечить бизнесу быструю разработку и независимость в дальнейшем выборе подрядчиков.

Архитекторы особенно нужны в крупных IT-компаниях, которые ведут много проектов и для каждого выбирают оптимальный технологический стек, с учетом долгосрочной перспективы развития, плюсов и минусов каждого варианта.

Мы в SimbirSoft развиваем собственный архитектурный комитет – в нем уже 54 опытных разработчика. Делимся опытом, чем у нас занимаются архитекторы и на каких проектах они нужны.

Читать дальше →
Всего голосов 10: ↑4 и ↓6-1
Комментарии10

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Зарегистрирован
Активность