Обновить
-6
Алексей@java3000

Администратор windows умеющий в программирование

Отправить сообщение

Продюсеры и консьюмеры с Apache Kafka в Python

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели47K

Салют, Хабр!

Apache Kafka — это распределенная платформа потоковой обработки, предназначенная для построения систем обработки данных. Kafka позволяет публиковать, подписываться, хранить и обрабатывать потоки данных в реальном времени. Все это дает нам очень высокую пропускную способность и масштабируемость.

Основные фигуры в кафке это продюсеры и консюмеры. Продюсеры — это компоненты, которые производят и отправляют данные в Kafka. Они могут быть чем угодно: от простых скриптов до сложных систем. Консюмеры — это те, кто подписывается на данные и обрабатывает их. Они могут быть реализованы в различных формах, например, для анализа данных или мониторинга.

В статье мы и поговорим именно про продюсерах и консюмерах в экосистеме Kafka в коннекте с Python.

Читать далее

Интеграция приложения на QML с веб-ресурсами

Время на прочтение14 мин
Охват и читатели31K
Здравствуй, дорогой хабражитель! Я хочу рассказать, как интегрировать программу на новомодном языке QML с веб-ресурсами.

Сам по себе, QML — это декларативный JavaScript-подобный язык программирования, который входит в фреймворк Qt. Разработчики Qt настроены серьезно и продвигают его как основной инструмент создания интерфейсов. Более того, достаточно много вещей можно сделать не прибегая вообще к C++, в том числе и возможность работы с веб-серверами.

Веб-технологии все сильнее проникают в нашу жизнь, мы часто пользуемся различными веб-ресурсами. Не всегда удобно для этого запускать браузер, иногда отдельное приложение-клиент гораздо удобнее, о чем красноречиво говорит, например, количество клиентов для различных социальных сетей, особенно на мобильных платформах.

Учитывая, что в Qt 5.1, альфа версия которой вышла на прошлой неделе, включена начальная поддержка Android и iOS, эта тема может быть особенно интересна тем, кто присматривается к Qt или активно ее осваивает. В этой статье я расскажу, как можно организовать работу с веб-ресурсами из приложения на QML на примере API ВКонтакте.

На всякий случай отмечу, что я рассматриваю последнюю стабильную версию Qt 5.0.2. В более ранних версиях каких-то возможностей может не быть.
Читать дальше →

Тиньков поясняет за российские технологические стартапы Не удержался, надеюсь, вас повеселит перед НГ. Если тема...

Время на прочтение1 мин
Охват и читатели4.4K

Тиньков поясняет за российские технологические стартапы

Читать дальше →

Машинное обучение в разработке игр

Время на прочтение5 мин
Охват и читатели6.2K

В последние годы мы наблюдаем взрывной рост популярности многопользовательских онлайн-игр, которые покоряют сердца миллионов игроков во всем мире. В результате этого многократно растут требования к гейм-дизайнерам, потому что игроки хотят видеть продуманную механику и баланс. Ведь нет никакого интереса, если одна стратегия заметно превосходит все остальные.

При разработке игрового процесса баланс обычно настраивается по следующей схеме:

Проводятся тысячи игровых партий с участием тестировщиков.

Собираются отзывы и на их основании в игру вносятся корректировки.

Шаги 1 и 2 повторяются, пока результат не устроит и тестировщиков, и гейм-дизайнеров.

Этот процесс не только времязатратный, но и несовершенный. Чем сложнее игра, тем вероятнее, что незначительные недостатки останутся незамеченными. Когда в играх много разных ролей с десятками взаимосвязанных навыков, добиться правильного баланса оказывается очень сложно.

Сегодня мы представляем механизм на базе машинного обучения, который помогает адаптировать игровой баланс за счет обучения моделей, выступающих в роли тестировщиков. Мы продемонстрируем подход на примере экспериментальной компьютерной карточной игры Chimera. Мы уже показывали ее в качестве опытной системы для графики, сгенерированной алгоритмом машинного обучения. При таком тестировании обученные программные агенты проводят между собой миллионы партий. Из их результатов собирается статистика, которая помогает гейм-дизайнерам улучшать баланс, совершенствовать игру и приближать ее к первоначальному замыслу.

Читать далее

Модельный риск: как увеличить эффективность работы ML моделей в большой компании

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели4.1K

Привет, Хабр! В этой статье мы – Святослав Орешин и Александр Сахнов – попытались  разобрать достаточно специфичную для классического Data Science и критически важную для бизнеса тему – модельный риск или risk management для машинного обучения. 

Под катом говорим о том, как можно сделать машинное обучение в компании более эффективным, какие бывают риски у ML моделей и как на них реагировать, а также делимся своим опытом, как мы построили систему по модельному риску в X5 Tech – компании с сотнями ML моделей в production.

В современных компаниях машинное обучение используется повсеместно – начиная от предсказания ключевых для бизнеса показателей, до голосовых помощников на основе языковых моделей. При разработке и обучении новой модели обычно основное внимание уделяется данным, метриками, архитектуре и решаемой задачи, и только в редких случаях команда задумывается о поддержке и управлении моделями в будущем.

Читать далее

Дайджест научпоп-новостей за неделю, о которых мы ничего не писали

Время на прочтение6 мин
Охват и читатели3.7K

• ИИ нашёл молекулу для получения кислорода на Марсе, перебрав миллионы вариантов

• В США упала ожидаемая продолжительность жизни мужчин

• ИИ научился предсказывать риск сердечного приступа на 10 лет в будущее

• Сидячее положение признали худшим из времяпрепровождений

• 14-часовое голодание улучшает чувство голода, настроение и сон

• Космический взрыв рекордной мощности заставил колебаться атмосферу Земли

Читать далее

Бизнес в одном окне. Повышаем прибыль с помощью грамотной визуализации данных

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели3.8K

Изменения сегодня происходят гораздо быстрее, чем это было буквально несколько лет назад. До 2020 года много ли было сервисов, доставляющих что-то кроме пиццы или роллов за час? А сегодня за час могут доставить штангу с блинами или велосипед. Если на конец 2019 года в Ozon было 6,5 тысяч продавцов, то сейчас их число перевалило за 200 000. А есть ещё и другие маркетплейсы – Wildberries, Яндекс.Маркет, СберМаркет. Есть обособленные онлайн-магазины, которые активно рекламируют себя через социальные сети, развлекательные площадки и другие сайты. И социальные сети, которые тоже активно осваивают рынок электронной коммерции. 

Приходится использовать сразу множество площадок и бежать быстрее других, чтобы продавать и зарабатывать. Без анализа статистики это невозможно, но часто для каждой площадки – свои инструменты. Данные бизнеса в одном месте с одним интерфейсом всегда проще и эффективней, чем множество разных приложений. Необходима грамотная визуализация. Только так можно ясно увидеть многогранную “картина бизнеса”.

Ну, или вам придётся иметь шесть-восемь рук, три экрана перед глазами со всей открытой статистикой и пару голов… 

Бонус: рассказываем, как мы открыли интернет-магазин для эксперимента и потратили 160 тысяч рублей на CRM, хотя лучших результатов в итоге достигли с помощью нашей платформы. 

Читать далее

Ren'Py: разбираемся с атрибутами изображений

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели11K

Лень каждый раз прописывать изображения для спрайта? layeredimage не удовлетворяет вашим потребностям? Тогда эта статья для вас.

Читать далее

Поисковик хрущёвок и районов в Москве где их нет

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели4.5K

Когда я ищу квартиру, для меня важно знать не типовой ли это дом "панелька" 60-90х. Одно время пожив в однокомнатной квартире в "Башне Вулыха" я проникся уважением к этим сериям домов советской эпохи по сравнению панельками. Затем пожил в монолитной новостройке с потолками 3.2м, но со слышимостью как в обычном панельном доме 70х.

Интересно было бы посмотреть на карте на застройку столицы определенной серией домов. Сказано - сделано! Добавил в данные карты на GitHub Pages тип проекта здания, чтобы поиск теперь работал и для типовых домов.

Читать далее

Kotlin под капотом: нюансы использования аннотаций

Уровень сложностиПростой
Время на прочтение3 мин
Охват и читатели8.7K

Котлин очень лаконичный язык, но когда его код компилируется в Java bytecode, то изящные  конструкции kotlin распадаются на развесистые и монструозные конструкции Java. При этом применение аннотаций может сыграть с вами злую шутку.  

Читать далее

Встроенные системы: с какими сложностями сталкиваются разработчики

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели5.4K

Проектирование встроенных систем подразумевает создание аппаратного обеспечения (печатной платы) и встроенного ПО. На каждом из этих направлений разработчики сталкиваются с неочевидными трудностями – неочевидными прежде всего для заказчиков. Здесь я хотел бы перечислить самые частые сложности, с которыми мне и моей команде приходится иметь дело при разработке встроенной электроники.

Для ускорения проектирования аппаратное и программное обеспечение разрабатываются параллельно. Но чтобы никого не запутать, я буду рассматривать их и связанные с ними трудности отдельно.

Читать далее

Пишем прошивку для старого пин-пада

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели8.2K
Приветствую всех!

Многие из нас уже знают, что POS-terminal'ы и пин-пады обычно собираются на базе заказных чипов, даташиты на которые не найти. Но, понятное дело, так было далеко не всегда. И мне стало интересно: а что, если попробовать найти такой древний терминал, отреверсить его схему и написать что-то под него, не имея ни SDK, ни документации?



Итак, в сегодняшней статье разберём и разберёмся, как запустить раритетный пин-пад из начала двухтысячных годов. Попутно разберёмся с прошивкой старых защищённых микроконтроллеров и узнаем, как они работали. Традиционно будет много интересного.
Читать дальше →

Релиз Unity 2023.2 Tech Stream

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели6.5K

В свежей версии 2023.2 TS появилось несколько кроссплатформенных улучшений. Поработали над производительностью (в особенности — над тормозами освещения на мобилках). Нарисовали более красивые атмосферные эффекты для HDRP. Продумали использование VFX Graph. Проапгрейдили UI Toolit, починили баги для VR. Вернулись к понятной схеме названия версий: Не Unity 1234.5 XYZ, а просто Unity 6.

Всё вместе, это позволит поднять реализм и удобство на новый уровень, и заставит разработчиков рвать на себе рубашку за Unity в патриотическом экстазе... или такова легенда. Давайте разберемся.

Волшебно. Читать далее

Загрузка прошивки в дисплеи Nextion без использования IDE. Протокол v 1.1. Добавлена ссылка на 1.2 и внесены исправления

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели5.3K

Загрузка прошивки в дисплей  Nextion без использования IDE. Это перевод официальной инструкции. Протокол версии 1.1 Актуален на конец 2023. Внесены исправления.

Читать далее

Kandinsky Video — первая российская модель генерации видео по тексту

Уровень сложностиСложный
Время на прочтение8 мин
Охват и читатели24K

Если несколько предметов, постоянно меняющих форму и положение, будут последовательно возникать перед глазами через очень короткие промежутки времени и на маленьком расстоянии друг от друга, то изображения, которые они вызывают на сетчатке, сольются, не смешиваясь, и человеку покажется, что он видел предмет, постоянно меняющий форму и положение.

Жозеф Плато, август 1833 года

В недавней статье мы рассказали о возможности создания анимированных видеороликов на основе комбинации синтеза изображений и различных способов преобразования этих изображений (сдвиги в стороны, масштабирование и т. д.). Сегодня же речь пойдёт про нашу новую технологию синтеза полноценного видео по текстовому описанию, которую мы назвали Kandinsky Video (для затравки пара примеров приведена на рисунке 1).

Читать далее

PyTelegramBotAPI на примере проекта сбора обратной связи #3. Клавиатура

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели69K

Это третья статья из серии. В ней мы разберём два типа клавиатур, обсудим фильтрацию сообщений в телеграм ботах.

Эта статья направлена именно на новичков, в ней я постараюсь объяснить тему ботов на примере сбора обратной связи.

Читать далее

Не спеши, Маша! Разбор примеров из книги Хэррис Д.М., Хэррис С.Л. Цифровая схемотехника и архитектура компьютера

Уровень сложностиСредний
Время на прочтение12 мин
Охват и читатели19K

И вот, скачав бесплатную версию книги, я в который раз убедился, что как оно было этак 40-50 лет тому назад, так оно фактически и осталось. Но больше убило другое. В научном плане стало даже хуже. Теорию, судя по содержанию книги, нынче пролетают "по диагонали", что влечет за собой элементарные ошибки, характерные больше для студентов техникума, чем "вышки", на которых, судя по рекламе, эта книга рассчитана.

Нижеследующий разбор примеров из книги, надеюсь, это подтвердит. Но, если в чем-то я не прав, то, как говаривали когда-то, старшие товарищи меня поправят.

Итак, начнем...

Читать далее

API vs ABI: разницу видят не только лишь все

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели11K

Привет, дорогой читатель! Думаю, ты точно знаешь, что такое API и как сделать, чтобы твои изменения были API-совместимыми. На самом деле я сам никогда не задумывался, что существует ABI-совместимость, до момента, пока не столкнулся с разработкой библиотеки.

У нас в компании есть библиотеки, которые используются несколькими проектами. При разработке этих библиотек мы всегда думали об API-совместимости, но не задумывались о вопросе ABI-совместимости, а это довольно важный вопрос. В статье расскажу, почему этот тема стоит вашего внимания.

Читать далее

Графика древности: палитры, часть 1/2

Уровень сложностиПростой
Время на прочтение21 мин
Охват и читатели22K

Хотя пиксельная графика прошлых лет полна нюансов, несомненно, одной из её главнейших характеристик, наряду с разрешением, является палитра — ограниченный набор цветов, которым нарисовано пиксельное изображение. Уникальное сочетание цветов, доступное на отдельно взятом старом компьютере или игровой приставке, часто позволяет даже беглым взглядом отличить графику для одной платформы от другой. Техники работы с палитрами и подбор оттенков также являются визитной карточкой многих пиксельных художников прошлого и современности. Но палитра — это не просто случайный набор цветов. Это результат технических ограничений и инженерных решений, в результате которых родились необычные техники рисования, анимационные спецэффекты, и особая визуальная эстетика.
Читать дальше →

Возвращаемся на Гроув-Стрит. Анализ движка Grand Theft Auto: San Andreas на Unity

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели13K

Серия Grand Theft Auto стала культовой в игровой индустрии, а San Andreas — одной из самых запоминающихся частей для многих игроков. Время проходит, но фанаты всё так же преданы игре. Кто-то достаёт старый и пыльный диск с ностальгией, а некоторые заходят ещё дальше. Сегодня проверим фанатский перенос GTA: San Andreas на движок Unity с помощью статического анализатора PVS-Studio!

Начать миссию →

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность

Специализация

Десктоп разработчик, Администратор серверов
Младший
От 110 000 ₽
Java
Java Spring Framework
RESTful WebServices.
PostgreSQL
SQL
Hibernate
Linux
Базы данных
Microsoft SQL Server
Разработка программного обеспечения