Pull to refresh
-6
Алексей@java3000

Администратор windows умеющий в программирование

Send message

Создаем чат-бот для распознавания изображений на основе нейронной сети MobileNetV2

Level of difficultyEasy
Reading time9 min
Reach and readers10K

Всем привет! Сегодня рассмотрим решение задачи многоклассовой класификации на основе датасета овощей и фруктов с помощью сверточной нейронной сети архитектуры MobileNetV2. А после этого еще создадим чат-бота, который будет классифицировать эти изображения.

Сегодня уже никого не удивишь чат-ботами, которые могут вести диалоги на естественном языке. В наши дни уже даже школьников учат создавать своих чат ботов. А почему бы тогда не создать бота, который может видеть. Рассмотрим процесс создания пока самого простого  бота, который будет в качестве сообщения принимать фото и отвечать, что на нем изображено. 

Читать далее

Микросервисы сына маминой подруги. Пишем правильные микросервисные приложения на Java

Level of difficultyMedium
Reading time12 min
Reach and readers25K

Всем привет! Сегодня я решил написать статейку про всеми любимые микросервисы. Если вы давно хотели изучить тему микросервисных приложении и актуальных технологии, которые используются для их построения, то данная статья должна вам помочь в этом.

Читать далее

Свое мобильное приложение: от идеи до разработки, продвижения и развития

Reading time20 min
Reach and readers55K

В этой статье я объединил все свои знания и опыт, охватил все этапы разработки мобильных приложений. В статье не будет кода, она будет полезной не только для Android, iOS и Flutter-разработчиков, но также тем, у кого нет опыта в программировании.

Я пройдусь по основным этапам разработки мобильного приложения:

• Проработка идеи
• Проектирование UX/UI
• Разработка
• Аналитика
• Продвижение
• Дальнейшее развитие приложения

Расскажу о том, как создать свое приложение, которое будет интересно не только вам.

Читать далее

Подборка полезных ссылок для разработчиков игр #2

Level of difficultyEasy
Reading time7 min
Reach and readers4.6K

100 новых ссылок по всем специальностям из геймдева для ваших закладок. Книги, статьи, полезные сервисы, материалы и Telegram каналы для всех, кто делает игры.

Читать далее...

Частотный vs байесовский подходы: оцениваем True Positive Rate при неполной разметке данных

Level of difficultyHard
Reading time21 min
Reach and readers5.6K

Привет, Хабр! Меня зовут Алан Савушкин (@naive_bayes), я — дата-сайентист в команде Data Science & Big Data «Лаборатории Касперского», и мы отвечаем в том числе за фильтрацию нерелевантных алертов при телеметрии киберугроз в проекте Kaspersky Managed Detection and Response (MDR). 

В данной статье хочу с вами поделиться, как мы решали задачу построения оценки TPR (True Positive Rate) в условиях неполной разметки данных. Может возникнуть вопрос: а что там оценивать? TPR по своей сути всего лишь доля, а построить доверительный интервал на долю легче простого.

Спорить не буду, но добавлю, что из статьи вы узнаете:

— Что даже в использовании такого интервала есть свои условия.

— Как на основе серии проверки гипотез получить доверительный интервал, используя под капотом гипергеометрическое распределение. А можно ли использовать биномиальное? Спойлер: можно, но тогда важно понимать, на какой вопрос вы отвечаете, пользуясь такой оценкой. Здесь мы рассмотрим задачу с частотной точки зрения.

— Что будет, если скрестить биномиальное распределение с бета‑распределением, и как этот гибрид используется в качестве сопряженного априорного распределения для гипергеометрического распределения. А здесь мы рассмотрим задачу с байесовской точки зрения.

— И, собственно, в чем прикол этой неполной разметки данных, и как мы докатились до всего перечисленного выше.

Тизер получился обширным, и если вам стало интересно — что ж, тогда давайте разбираться.

Читать далее

Apache Sedona — как быстро работать с геоданными

Reading time16 min
Reach and readers6.5K

Привет! В рамках своей работы в beeline tech мы часто взаимодействуем с геоданными. Для решения проблем, связанных с хранением, обработкой и анализом большого объема распределенных пространственных данных, мы используем Apache Sedona (бывший Geospark). Мы — Денис Афанасьев, аналитик больших данных, и Женя Рыбалкин, инженер больших данных, под катом расскажем, почему выбрали именно этот инструмент и что он умеет. А чтобы показать, зачем вообще работать с геоданными, давайте возьмем пример расчета посещаемости хоккейных матчей в Москве, как-никак плей-офф в разгаре.

Давайте по порядку. Почти любой доступный смартфон, умные часы, фитнес-браслеты, оборудование для IoT — всё это может получать и передавать данные о собственном местоположении. Кроме потребительского железа серьезную эволюцию прошёл и интернет вещей в целом, причем как классический IoT для умного дома и других полезностей, так и индустриальный IIoT, заточенный под мониторинг сложных технологических систем, сельское хозяйство, мониторинг окружающей среды и многое другое.

Следствием такого развития, как в количественном, так и в качественном плане, стал ощутимый рост того объёма данных, который все эти устройства генерируют. Ну и что нам с ними делать? Давайте разберемся на примере геоданных!

Зачем вообще кому-то нужны геоданные?

Читать далее

Разбор бинарных форматов. Часть 1

Level of difficultyEasy
Reading time4 min
Reach and readers25K

Одна из самых сложных и интересных задач, с которыми сталкивается реверс инженер — это анализ бинарных файлов. Зачастую это может быть просто уже известный формат, и интерес с точки зрения анализа здесь появляется в тот момент, когда нужно написать свой просмотрщик и/или сделать более наглядной структуру файла. В данной статье попробуем проанализировать несколько бинарных файлов.

Читать далее

Фортран: пишем параллельные программы для суперкомпьютера

Level of difficultyMedium
Reading time10 min
Reach and readers4.5K

В первой части статьи мы рассмотрели написание на современном Фортране простой программы, реализующей клеточный автомат "Жизнь", в виде классического последовательного кода (SISD), матричных операций (SIMD) и параллельных конструкций SMP (SIMD с частью функций MIMD). Сейчас мы будем рассматривать использование конструкций Фортрана для программирования массивно-параллельных архитектур (MPP), к которым, в частности, относятся современные суперкомпьютеры. Такие архитектуры реализуют классическую схему MIMD.

Читать далее

Градиентный спуск простыми словами

Level of difficultyEasy
Reading time4 min
Reach and readers99K

Машинное обучение произвело революцию в том, как мы обрабатываем и анализируем данные, затронув отрасли от финансов до здравоохранения. Благодаря своей способности выявлять закономерности, которые в противном случае остались бы незамеченными, он стал краеугольным камнем современных технологий. Но по мере того, как эта область продолжает расти и расширяться, растет и потребность в глубоком понимании ее возможностей и ограничений.

Для меня это первая статья и посвятить ее захотелось основам машинного обучения, а в частности градиентному спуску.

Читать далее

Инструменты OSINT для самых маленьких и не опытных

Level of difficultyEasy
Reading time3 min
Reach and readers58K

Доброго дня коллеги, давайте поговорим про OSINT. Сколько скрытого смысла в данной аббревиатуре, это то направление которое поможет более эффективно получить информацию о объекте исследования в ограниченный отрезок времени. И возможно поможет точно получить необходимую информацию.

Для тех кто не знает что это такое цитирую википедию

Разве́дка по откры́тым исто́чникам (англ. Open source intelligence, OSINT) — разведывательная дисциплина, включающая в себя поиск, выбор и сбор разведывательной информации из общедоступных источников, а также её анализ. В разведывательном сообществе термин «открытый источник разведывательных данных» (англ. open information source), который указывает на общедоступность источника (в отличие от секретных источников и источников с ограниченным использованием), но он не связан с понятиями «просто источник информации» (англ. open source information; OSIF), означающий любую находящуюся в пространстве СМИ информаци. Это понятие не тождественно «публичной разведке» (англ. public intelligence). Также его не стоит путать с понятием «открытое программное обеспечение» (англ. open-source software).

Я не буду Вас учить методам поиска информации, к каждой  задачи требуется подходить индивидуально, это как кулинария у каждого повара свой рецепт. По данной причине я Вам покажу часть инструментов которые помогут понять в какую сторону вам требуется двигаться для достижения результата и какие инструменты в этом могут помочь.

Если данная тема Вам покажется интересной, будьте добры напишите об этом. Тогда я напишу еще ряд статей по данной тематике. Прошу учитывать данная статья для начинающих и неопытных специалистов

Читать далее

Исследование состава веществ с помощью радиоизлучения: ядерный магнитный резонанс

Level of difficultyMedium
Reading time7 min
Reach and readers7.1K
Картинка Pikisuperstar, Freepik

Уже к середине XX века химия превратилась в одно из существенных направлений науки, обеспечивая прогресс в медицине, лёгкой промышленности, фармацевтике и других областях. Был разработан внушительный список методов для синтезирования миллионов химических соединений с использованием реакций между органическими и неорганическими веществами.

Тем не менее, в то же время появилась проблема, которая заключалась в том, что наблюдался недостаток надёжных методов анализа строения синтезированных веществ.

На тот момент, в середине XX века, с целью исследования структуры химических веществ использовались методы классического химического анализа, что существенно замедляло работу химиков из-за необходимости проводить множество длительных экспериментов. К тому же, непосредственно сам анализ структуры молекул зачастую занимал больше времени, чем их синтезирование.

Наиболее передовой метод в то время представлял собой использование инфракрасных спектрометров, которые хотя и позволяли анализировать молекулы, но не могли различить молекулы, близкие друг другу по своей химической природе.

Из-за подобных проблем постоянно шёл поиск методов, позволяющих решить их, и настоящим скачком стало открытие метода ядерного магнитного резонанса.
Читать дальше →

Что Java-разработчикам расскажут на JPoint 2023?

Reading time16 min
Reach and readers3.1K

Недавно Java дошла до юбилейной 20-й версии, а у нашей Java-конференции JPoint своя круглая дата: впервые она прошла 10 лет назад. Каких именно докладов о языке-юбиляре ожидать на конференции-юбиляре в апреле?

Как водится, в программе есть разные тематические блоки:
— и об инструментах («Как познавать Spring Boot 3 с помощью TDD»),
— и о производительности (тут научат пользоваться профайлером perf для JVM-задач),
— а также об архитектуре, тестировании, «реактивщине», работе с данными.

А полный список докладов с описаниями — далее в посте.

Читать далее

Многомодульный BDSM. Бутылочные горлышки среди модулей

Level of difficultyMedium
Reading time15 min
Reach and readers3K

Часто бывает, что после разбиения проекта на модули скорость его сборки сильно ниже ожидаемой. Причины могут быть разные, от кривых настроек Gradle до неподходящего железа. Сегодня я хочу разобрать одну из причин — бутылочные горлышки среди модулей, и как с ними бороться.

Читать далее

Роботизированная автоматизация бизнес-процессов в государственных органах власти: как это устроено в Татарстане

Reading time4 min
Reach and readers1.1K

Под RPA в данной статье будем понимать роботизированную автоматизацию бизнес-процессов. Роботизация применяется для автоматизации рутинных задач, выполняемых по четкой инструкции. Центр информационных технологий Республики Татарстан в статье рассказывает, как это работает в республике – в какие госучреждения внедрили роботов, сколько часов это экономит, какие объемы информации уже обработаны и перенесены. 

Читать далее

Проверяй и доверяй: упрощаем функциональное API-тестирование в облаке

Reading time7 min
Reach and readers2.5K


Все больше компаний переводят свои продукты в облака — и сталкиваются со всеми сложностями тестирования в облаке. Это непростой процесс: каждое облако состоит из множества сложных вторичных сервисов с широкой функциональностью, они тесно связаны друг с другом. Нужно думать, как написать тесты так, чтобы они были универсальными, хорошо переносимыми и поставлялись в разные окружения.
Читать дальше →

Дуалистическая природа Param Miner. Часть 1. Поиск скрытых параметров и заголовков

Level of difficultyEasy
Reading time9 min
Reach and readers5.3K

Продолжаем серию статей про полезные расширения Burp Suite.

Одной из задач начального этапа black‑box пентеста веб‑приложения является определение как можно большего количества точек взаимодействия, в том числе и скрытых. Как правило, поиск файлов/директорий/эндпоинтов приложения является базовым знанием для начинающего пентестера и не представляет трудностей в освоении. Другое дело обстоит с поиском параметров. С одной стороны, концептуально он ничем не отличается от перебора директорий в веб‑приложении, с другой — для выполнения этой задачи существует не так много инструментов.

Речь в данной статье пойдет о Param Miner — расширении для Burp Suite. Как и многие расширения (например, Turbo Intruder) под авторством Джеймса Кеттла, Param Miner не имеет документации или подробного туториала от автора. Правда, существует документация от Никиты Ступина @nikitastupin, раскрывающая назначения многих настроек. Я же в данной статье попробую углубиться в Param Miner чуть более подробно.

Читать далее

Потоковый обмен в распределённых системах и использование реактивных потоков в нереактивных приложениях: опыт «Магнита»

Reading time13 min
Reach and readers4.3K

Привет, Хабр! На связи Андрей Зяблин, Java разработчик компании «Магнит». В статье я расскажу про три решения, которые позволяют реализовать потоковый обмен данными из БД между распределёнными приложениями.

Читать далее

Как упростить анализ данных? Запуск и сценарии использования готовой виртуальной машины для аналитики

Level of difficultyEasy
Reading time6 min
Reach and readers4.1K

Походы — вещь непредсказуемая. Обычно полезная нагрузка распределяется между всеми участниками, но всегда вмешивается элемент случайности или забывчивости. В таких ситуациях выручает швейцарский нож, который гарантирует, что минимальные потребности группы будут удовлетворены. С помощью такого ножа можно и консервы открыть, и бинт разрезать, но главное — он экономит место в рюкзаке.

Небольшой команде, которая работает с ML-моделями и анализом данных, тоже хочется иметь готовое решение базовых задач. Собирать его самостоятельно из отдельных компонентов не всегда удобно, а еще это бывает дорого. Вот бы существовало какое-то компактное решение, в котором сразу был бы весь набор инструментов и настроек. Что ж, усаживайтесь у костра поудобнее, пришло время рассказать про Data Analytics Virtual Machine (DAVM).
Читать дальше →

Стохастический язык программирования на основе алгоритмов Маркова

Reading time13 min
Reach and readers29K

MarkovJunior — это вероятностный язык программирования, в котором программы являются сочетаниями правил перезаписи, а инференс выполняется при помощи распространения ограничений. MarkovJunior назван в честь математика Андрея Андреевича Маркова, придумавшего и исследовавшего то, что сейчас называется алгоритмами Маркова.
Читать дальше →

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity

Specialization

Десктоп разработчик, Администратор серверов
Младший
From 110,000 ₽
Java
Java Spring Framework
RESTful WebServices.
PostgreSQL
SQL
Hibernate
Linux
Базы данных
Microsoft SQL Server
Разработка программного обеспечения