Обновить
-6
Алексей@java3000

Администратор windows умеющий в программирование

Отправить сообщение

Использование kafka-rest для построения интеграционных API

Уровень сложностиПростой
Время на прочтение12 мин
Охват и читатели17K

Есть простая, можно сказать, типовая – задача, передать данные из системы «А» в систему «Б». А – классическая legacy-трехзвенка из 00х с IIS-MSSQL, «Б» - новая-нулевая-микросервисная с внутренней шиной на apache kafka и собственным ETL на Apache NiFi, развернута в k8s. Направление передачи – из «А» в «Б», по расписанию , в общем ничего сложного – «Работенка на 5 минут»: идем в NiFi делаем QueryDatabaseTable->PublishKafkaRecord и продолжаем спать – но тут начинаются «Нюансы»(ТМ) в виде ИБ, которая говорит, что прямая интеграция корпоративных систем – харам, архитектуры которой (дикие люди!) не нравится хождение в чужую БД (Подержи моё пиво! Я сто раз так делал!) и прочих скучных регламентов, требующих «наличия аутентификации», «направления установления соединения совпадающего с направлением передачи» и тому подобных глупостей.

И вот тут на сцену выходит корпоративная интеграционная шина – (low|no)-code решение, которое умеет в расписания, подключение к ИС по различным протоколам (в том числе и *dbc), передачу данных с помощью REST\SOAP, аутентификацию, обработку ошибок, алертинг и кучу других вещей. Оооок, шина по расписанию будет ходить в БэДэ (Или не БэДэ – там уже видно будет), забирать данные и передавать… А куда, собственно, передавать?

Первый вариант – «в kafka’у!» хорош примерно всем – кроме реализации. Собственно, бинарный протокол kafka’и шина не умеет, ИБ не умеет в инспекцию этого самого протокола, ingress-nginx контроллер не умеет (Нормально – не умеет, ssl-passthrough в данном случае не очень-то «нормально») в публикацию kafka’и, а согласовывать с ИБ публикацию брокеров через LB – удачи, пацаны. Плюс нормальная аутентификация\авторизация на kafka’е – тот еще геморрой между нами говоря. Отметаем.

Читать далее

Приложение от проекта до релиза: этапы реализации

Уровень сложностиСредний
Время на прочтение18 мин
Охват и читатели14K

С чего начинать писать новое приложение? Когда приложение должно заработать? Когда оно должно быть покрыто тестами? Зачем использовать интерфейсы? Что важнее - бизнес-сущность или табличка в базе данных?

Очень часто, приходя в команду, я вижу, как уважаемые коллеги путают этапы реализации: некоторые этапы пропускают, некоторые выполняют раньше положенного. Приложение обрастает связями, становится менее гибким и начинает задыхаться от архитектурных проблем, заложенных на старте, от которых не может избавиться до самого последнего дня эксплуатации.

Такое приложение можно сравнить с атлетом, который бежит марафон со сбитым дыханием - его преждевременная остановка задолго до конца маршрута является делом времени.

Меня зовут Вячеслав, я разработчик в Сбере. До Сбера я работал в стартапе, потом в хорошей компании средней руки, потом на галере и в IT-дочке госкорпорации. Поэтому предложенный ниже рецепт я могу подкрепить самым разнообразным личным опытом.

В статье ниже мы разберём основные этапы разработки приложения, их детали и особенности.

Перейти к сути

LlamaIndex: создаем чат-бота без боли и страданий. Часть 3

Время на прочтение7 мин
Охват и читатели7.3K

Завершаем исследование фреймворка llamaIndex. В этой части разбираемся с ретриверами, которые обеспечивают различные способы извлечения релевантного контекста из индексов документов.

Читать далее

Сегодня утопия, а завтра? Инновации в строительстве и проектировании

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели19K

Привет, Хабр! Нейросети, строительные материалы из мицелия грибов и цифровая метасреда: архитектура будущего может претерпеть сильные изменения. Меня зовут Юлия Слободяник, я BIM-разработчик в IBS. И сегодня я расскажу вам об инновациях сферы проектирования и строительства по мере возможности их реализации: от имеющихся у специалистов наработок до почти фантазийных технологий.

Читать далее

Как сэкономить силы и время аналитиков: наш алгоритм выявления аномалии данных

Время на прочтение9 мин
Охват и читатели5.9K

Привет! Меня зовут Юлия Зиновьева, я старший продуктовый аналитик в СберМаркете. В этой статье расскажу о простом и эффективном методе выявления аномалии данных, который разработала наша команда. Мы автоматизировали мониторинг событий в кликстриме и настроили алерты для аналитиков о возникающих аномалиях. Такой способ значительно сэкономит время и силы команды, а также будет понятен даже тем, у кого базовый уровень знания статистики.

Для удобства я собрала лайфхаки. Они помогут уточнить алгоритм поиска проблем в событиях и преодолеть психологический страх перед мониторингом. Поверьте, это вовсе не такая необъятная задача, как может показаться.

Думаю, наш опыт будет полезен тем, кто работает с бизнес-данными, занимается их анализом и хранением – словом, всем, кто активно вовлечен в проект или может на него влиять, принимая важные решения в опоре на данные. Поехали!

Читать далее

Головоломка ассасина

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели16K

В 2014 году профессор математики Стэнфордского университета Марьям Мирзахани в одной из своих лекций упомянула интересную математическую головоломку, но не стала давать её решение. Спустя годы появились различные вариации задачи. Однако сначала речь пойдёт о первоисточнике.

Головоломка относится к классу так называемых «бильярдных задач», изучаемых в области динамических систем. Решение текущей задачи принадлежит профессору математики университета Джонса Хопкинса Эмили Рил.

Рассмотрим квадратную комнату в плоскости XY, и пусть A («ассасин») и T («цель») — две произвольные, но фиксированные точки внутри комнаты. Предположим, что комната схожа по физическим характеристикам с бильярдным столом, так что любой «выстрел» А рикошетит от стен, причём угол падения равен углу отражения. Можно ли заблокировать любой возможный «выстрел» А в Т, разместив конечное количество аналогичных по свойствам точек («телохранителей») в комнате?

Читать далее

Когда бизнесу нужна разработка мобильного приложения? Раскладываем по полочкам. Помогаем определиться с подходами

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели2K
Июльский отчет Data Reportal показал, что число пользователей мобильных телефонов за 2023 год увеличилось аж на 168 (!) миллионов. Значит ли, что из-за такого прироста нужно выделять бюджет на разработку МП? Да, но не всем. Рассказываем, в каких случаях можно обойтись без приложения, а в каких без него никуда. Подскажем, когда лучше выбирать кроссплатформенную разработку МП, а когда — нативную.

image
Читать дальше →

Уэбб случайно нашёл более 20 коричневых карликов

Время на прочтение6 мин
Охват и читатели3.2K

Когда вы запускаете самый мощный телескоп человечества, вы вправе ожидать интересных результатов. Уэбб показал отличные результаты, обнаружив древние галактики, определив химические вещества в атмосферах экзопланет и заглянув в звездообразующие области с большей детальностью и чёткостью, чем любой другой телескоп.

Но каждый раз, когда новый телескоп вступает в строй, астрономы говорят нам, что их волнуют не только ожидаемые, но и неожиданные результаты. Как и другие телескопы, Уэбб также преподнёс несколько сюрпризов. В ходе своей работы Уэбб обнаружил 21 коричневый карлик.

Коричневые карлики - это "промежуточные" объекты. Иногда их называют "несостоявшимися звёздами". Они более массивны, чем газовые гиганты, но менее массивны, чем звёзды. Они никогда не становились достаточно массивными, чтобы запустить синтез водорода - отличительный признак звезды главной последовательности.

Читать далее

Основы цифровой электроники: дешифраторы и демультиплексоры

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели30K

Привет, Хабр! Что, если мы имеем цифровой сигнал в одном формате, а нам он нужен в другом?

Например, требуется преобразовать номер нажатой кнопки в двоичное число или наоборот, двоичное число в срабатывание механизма с нужным номером. Или отобразить число в виде цифр на семисегментном индикаторе.

Сегодня мы познакомимся с микросхемами, разработанными как раз на такой случай.
Читать дальше →

Секрет успеха Nvidia в области искусственного интеллекта

Время на прочтение4 мин
Охват и читатели7.2K

За последние 10 лет Nvidia удалось увеличить производительность своих чипов в задачах искусственного интеллекта в тысячу раз. По слухам, сейчас очень сложно достать H100 — новейший графический процессор для генеративного ИИ. На симпозиуме Hot Chips 2023 в Кремниевой долине главный научный советник NVIDIA Билл Далли рассказывает о четырех ключевых компонентах, которые привели корпорацию к такому успеху.

Читать далее

Делаем свою простейшую систему сборки для Java

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели29K

Довелось мне обучать одного знакомого, желающего войти в ИТ (привет, Саша!). Человек он упорный, прошел разные курсы, стажировки, упорно продолжает идти вперед и уже вполне тянет на уровень джуна и решает прикладные задачи. Но иногда внезапно задает такие вопросы, из которых я понимаю, что у него огромные дыры в базовых знаниях и представлениях. На курсах этому, видимо, не учат.

Один из последних вопросов был про устройство сборки, непонимание того как исходный код собирается в исполняемый и запускается. Начинающим обычно говорят в духе «вот создаешь Gradle‑проект, в IDE жмешь кнопочку запуска и все работает». Но как только возникает необходимость что‑то в этом простом процессе усложнить, или понять — начинаются проблемы.

Gradle/Maven при этом представляются таким черным ящиком, в котором есть кнопка сборки и запуска, а внутри — магия, превращающая исходный код в запущенную программу.

В этой статье я пробегусь по основам того, как в Java работает компиляция, а также покажу, как по шагам прийти от компиляции отдельных файлов вручную к идее необходимости системы сборки, и как написать свою простенькую систему. Ведь лучший способ понять, как что‑то устроено внутри — сделать это самому.

Читать далее

Что же беспокоит разработчиков в связи с Unity Runtime Fee? (TL;DR)

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели11K
Дисклеймер: эта статья не претендует на стопроцентную правдивость и/или объективность, в ней перечислены краткие выводы, к которым я пришел после прочтения определенной части соответствующего треда на форуме.

На днях представитель Unity Technologies (далее — Unity) сообщил, что с января 2024 года Unity начнет взимать дополнительную плату с разработчиков за установки игр, созданных на основе игрового движка Unity Engine.

Это изменение также коснется уже выпущенных игр, однако установки не будут считаться ретроактивно, то есть разработчиков НЕ заставят платить за установки до 2024 года.

Если кратко, то суть нововведения заключается в том, что, после преодоления определенного уровня дохода с игры и пользовательских установок, с разработчика будет взиматься дополнительная плата за каждую последующую копию, установленную пользователями.

В зависимости от изначального тарифа, как сами эти пороги (по доходу и установкам), так и цена за установки сверх порога, различаются: чем выше изначальный тариф, тем меньше придется платить за дополнительные установки. Также представитель заявил, что это нововведение никак не повлияет на 90% разработчиков, использующих Unity.

Заявление вызвало бурное негодование разработчиков не только на форуме Unity, но и во всех популярных медиа. Вот список основных претензий разработчиков:
Читать дальше →

Архитектура высоконагруженных телеграм-ботов на Python

Уровень сложностиСредний
Время на прочтение22 мин
Охват и читатели55K


Приветствую всех читателей Otus! Телеграм-боты стали незаменимым инструментом для автоматизации коммуникации, обработки данных и предоставления пользовательских услуг. Они не только сокращают нагрузку на живых операторов и повышают эффективность бизнес-процессов, но и дарят удивительные возможности для создания уникальных интерактивных продуктов.

Мессенджеры стали нашими неотъемлемыми спутниками, а их потенциал не ограничивается простым обменом сообщениями. Боты обеспечивают автоматические решения задач, которые ранее требовали участия человека. Они работают как виртуальные ассистенты, способные отвечать на вопросы, предоставлять информацию, обрабатывать заказы, делать рекомендации и многое другое.
Читать дальше →

Любой достаточно продвинутый деинсталлятор неотличим от зловреда

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели4.5K

У нас возник резкий рост количества вылетов Explorer из-за того, что указатель команд оказывался в пустоте.

0:000> r eax=00000001 ebx=008bf8aa ecx=77231cf3 edx=00000000 esi=008bf680 edi=008bf8a8 eip=7077c100 esp=008bf664 ebp=008bf678 iopl=0 nv up ei pl zr na pe nc cs=0023 ss=002b ds=002b es=002b fs=0053 gs=002b efl=00010246 7077c100 ?? ???

Возможно, нам о чём-то скажет адрес возврата.

0:000> u poi esp 008bf6d4 test eax,eax 008bf6d6 je 008bf6b9 008bf6d8 xor edi,edi 008bf6da cmp dword ptr [esi+430h],edi

Странно, что мы исполняем код из какого-то места, не имеющего имени. Если приглядеться, то можно увидеть, что мы исполняем код из стека: esp — это  008bf664, то есть вызывающий проблемы код находится в стеке.

Кто исполняет код из стека?

Конечно, зловреды.

Давайте посмотрим, что пытается сделать это зловредное ПО.

Читать далее

Кратко о построении музыкальной сцены в наушниках

Уровень сложностиСредний
Время на прочтение2 мин
Охват и читатели7.1K

Решил выложить ко всеобщему ознакомлению некий «секрет Полишинеля» по поводу «формирования музыкальной сцены», так как регулярно сталкиваюсь с подобными утверждениями:

Утверждение:

Читать далее

Как мы создали нейросеть, которая составила рейтинг компаний, занимающихся ИИ в России

Время на прочтение8 мин
Охват и читатели3.3K

Всем привет! Меня зовут Саша, я тимлид в DS-команде дирекции по искусственному интеллекту и цифровым продуктам билайн бизнес, и хочу рассказать вам, как мы создали рейтинг компаний, которые занимаются искусственным интеллектом. Публикация рейтинга не преследует какие-либо коммерческие цели и не направлена на продвижение каких-либо компаний или услуг.

Идея проекта

Откуда вообще может появиться идея? Иногда она просто витает в воздухе и ждёт, пока её кто-нибудь подхватит. Честно говоря, мне бы никогда в голову не пришло отранжировать компании по их влиянию в сфере ИИ. Но ребята из нашего PR-отдела оказались более прозорливыми и пришли к нам с запросом о создании такого рейтинга. Забегая вперед, можно подчеркнуть, что весь проект сам по себе стал прецедентом с точки зрения взаимодействия представителей PR и специалистов по машинному обучению и анализу данных.

Читать далее

Зачем нам нужны колонии за пределами Земли

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели8.4K


В последнее время занимаюсь все больше языковыми моделями и тем, что сейчас принято называть искусственным интеллектом. Ощущаю себя на передовом крае технологии. И часто задумываюсь о том, что нас, людей, движет вперед? Поэтому, сегодня захотелось поговорить на отвлеченную тему, а именно об освоении космоса. Хочу заранее предупредить, что не являюсь специалистом в данной области. Многое из того, что будет сказано в статье, не более, чем гипотезы. Так что, не судите строго. Со своей стороны могу гарантировать, что в статье будет несколько небанальных моментов, о которых вы возможно не слышали. Надеюсь, вам будет интересно.
Читать дальше →

Искусство ETL. Пишем собственный движок SQL на Spark [часть 3 из 5]

Уровень сложностиСложный
Время на прочтение20 мин
Охват и читатели2.4K

04_assets_residents.tdl


В данной серии статей я подробно рассказываю о том, как написать на Java собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных.

Краткое содержание предыдущей серии, последней, посвящённой проектированию спецификации языка:
Операторы жизненного цикла наборов данных (продолжение)
Операторы контроля потока выполнения
Операторы управления контекстом исполнения
Операторы выражений


В данном эпизоде мы наконец-то перейдём к самому интересному — имплементации. Хорошо, когда есть развёрнутая постановка задачи, можно просто брать спеку, и писать код согласно плану.


Предупреждение о рейтинге «M for Mature»

Уровень сложности данной серии статей — высокий. Базовые понятия по ходу текста вообще не объясняются, да и продвинутые далеко не все. Поэтому, если вы не разработчик, уже знакомый с терминологией из области бигдаты и жаргоном из дата инжиниринга, данные статьи будут сложно читаться, и ещё хуже пониматься. Я предупредил.

Читать дальше →

Истории из жизни вредоносов: инъекция кода в Windows

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели7.4K

Технологии внедрения своего кода в чужие процессы уже много лет используются различными вредоносными приложениями. В Windows это стало довольно распространенным явлением. Вредонос инжектирует фрагменты своего собственного кода в другой запущенный процесс, чтобы затем его выполнить. Инъекция кода бывают нескольких видов, в этой статье мы рассмотрим обычную инъекцию кода, а в следующих статьях подробно поговорим про инъекции DLL и отраженные инъекции DLL.

Итак, инъекции кода получили широкую популярность, причем не только у разработчиков вредоносного кода, но и у создателей различных “таблеток” для пиратского софта. Также можно вспомнить разнообразные “читы” для прохождения игр.

Но мы в рамках данных статей будем инжектировать процесс удаленного доступа к машине жертвы, для того, чтобы продемонстрировать всю опасность данного вида атак.

Читать далее

Циркуль и линейка. Часть 1

Уровень сложностиПростой
Время на прочтение22 мин
Охват и читатели13K

Всем привет!

Как-то раз мне захотелось сделать анимацию построения фигуры циркулем и линейкой. Погуглив достаточное время, обнаружил, что на английском compass это ещё и циркуль, и что подходящего готового решения нет.

Всё дальнейшей вылилось в эту статью.

Читать далее

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность

Специализация

Десктоп разработчик, Администратор серверов
Младший
От 110 000 ₽
Java
Java Spring Framework
RESTful WebServices.
PostgreSQL
SQL
Hibernate
Linux
Базы данных
Microsoft SQL Server
Разработка программного обеспечения