Как стать автором
Обновить
26
Карма
0
Рейтинг
Кретов Михаил @coolmiha

Пользователь

Работаем с XML как с массивом, версия 2

Время прочтения 9 мин
Просмотры 3.2K
PHP *XML *
Кейс
Recovery mode

Всем привет.

Хочу поделиться с вами опытом в парсинге XML файлов размером до четырёх гигабайт. Что бы это происходило быстро, мы читаем файл последовательно, частями, парсим только нужные нам элементы.

В двух словах для быстрого парсинга файлов надо пользоваться XMLReader в связке с yield.

О моей реализации этой связки читайте ниже.

Читать далее
Всего голосов 13: ↑12 и ↓1 +11
Комментарии 27

OpenSSL + ГИС ЖКХ

Время прочтения 5 мин
Просмотры 2.5K
Разработка веб-сайтов *Криптография *Open source *PHP *API *
Туториал
Из песочницы

Это ода данному посту и его законное продолжение.

Реализация описана для PHP, но подходит для всех.

Конфиги

Начнём с контейнера, из которого будем общаться с ГИС ЖКХ. Тут приведён конфиг контейнера с продакшена, поэтому есть лишние (для вас) пакеты.

Пока просто посмотрим, пояснения будут после кода.

Читать далее
Всего голосов 13: ↑12 и ↓1 +11
Комментарии 6

Алиса, Яндекс.Станция и Nigthscout

Время прочтения 4 мин
Просмотры 2.3K
Python *API *Яндекс API *Облачные сервисы *
Кейс

Родители детей с диабетом знают, как сложно убедить ребенка постоянно следить за уровнем глюкозы. Поэтому любой дополнительный интерфейс "лишним" не будет: виджет на телефоне, смарт-часы, уведомления в мобильном приложении.

Сервис Nightscout, представляющий собой веб-приложение с базой данных об уровне глюкозы и событиях терапии, позволяет обращаться к себе по API с запросом информации. А всем известная голосовая помощница и колонка с ней - позволяет разрабатывать для себя индивидуальные варианты диалогов "запрос" - "ответ".

Например, "скажи, какой уровень глюкозы у ... ?". а в ответ: "уровень такой-то, снижение/рост на столько-то, за последние Х минут снижение/рост умеренный/сильный на Y ммоль на литр." (немного легкой аналитики и выводов).

Итак, по шагам.

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 0

Слезаем с облачной иглы Aqara и подключаем устройства к контроллеру Wiren Board

Время прочтения 9 мин
Просмотры 6.8K
Блог компании Wiren Board Облачные сервисы *Умный дом Интернет вещей Инженерные системы *
Туториал

В первой статье «Облачный умный дом: что нужно знать, чтобы избежать проблем» я рассмотрел преимущества и недостатки облачных решений, а также проблемы, с которыми за последние месяцы пришлось столкнуться пользователям разных облаков. Но довольно теории, переходим к практике.

Я купил несколько устройств Aqara, которые помогут мне сделать несколько типичных сценариев умного дома. Сперва я подключу устройства к родному облаку Aqara: проверю удобство, создание сценариев и работу без интернета.

Затем я откажусь от облака Aqara и перейду на локальное решение Wiren Board 7 с модулем расширенияSprut.stick ZigBee WBE2R-R-ZIGBEE-SH, оболочкой Sprut.hub и Алисой. Сравню результат и процесс с родным облаком.

Читать далее
Всего голосов 22: ↑21 и ↓1 +20
Комментарии 32

Гистограммы и графики распределения в Python

Время прочтения 11 мин
Просмотры 8.9K
Блог компании SkillFactory Python *Программирование *Визуализация данных *
Туториал
Перевод

Визуализация одномерных данных в Python



Построение графика одной переменной кажется простой задачей. Но насколько это просто в действительности — эффективно отобразить данные со всего одним измерением? Долгое время я обходился стандартной гистограммой, которая показывает расположение значений, разброс и форму распределения данных (нормальное, скошенное, двухпиковое и др). Но недавно я столкнулся со случаем, когда гистограмма не помогла. И тогда понял, что настало время узнать больше о построении графиков. Я нашёл в сети отличную бесплатную книгу о визуализации данных и попробовал некоторые методы. Я решил, что (и мне, и другим людям) будет полезно, если я поделюсь этими знаниями и составлю руководство по построению на Python гистограмм и их крайне полезной альтернативы — графиков распределения плотности (density plots). Подробности — к старту нашего курса по анализу данных.

Читать дальше →
Всего голосов 10: ↑8 и ↓2 +6
Комментарии 4

Укрепление Nginx с помощью Fail2ban: тестируем и оцениваем «профит»

Время прочтения 10 мин
Просмотры 9.9K
Блог компании Selectel Информационная безопасность *Разработка веб-сайтов *Системное администрирование *Nginx *
✏️ Технотекст 2022

«Только запустил Nginx-приложение, а в access.log уже десятки записей с непонятными запросами, переборами паролей и другого» — типичная ситуация для незащищенного сервера. Это следствие работы «ботов» для сканирования белых сетей, поиска открытых портов, сбора информации о версиях запущенных служб и подбора паролей к сервисам.

В статье расскажу, как с помощью open source-инструмента Fail2ban укрепить Nginx и защитить сервисы от взлома. А также продемонстрирую способы блокирования DDoS-атак. Подробности под катом.
Читать дальше →
Всего голосов 53: ↑51 и ↓2 +49
Комментарии 46

Настройка WireGuard на Mikrotik

Время прочтения 5 мин
Просмотры 22K
Сетевые технологии *Сетевое оборудование
Из песочницы

Если не касаться wiki и официального сайта, и объяснять как можно проще, то это VPN туннелирование через UDP.

Это возможность быстро, максимально просто и надёжно, с хорошим уровнем безопасности соединить две точки между собой.

Хотите узнать как?
Всего голосов 21: ↑21 и ↓0 +21
Комментарии 26

Интернет-радио на базе ESP32 и ЦАП UDA1334A

Время прочтения 4 мин
Просмотры 9.9K
*nix *DIY или Сделай сам Электроника для начинающих
Из песочницы

Всем привет! Делюсь своим опытом и проектом по созданию проигрывателя интернет-радио на базе ESP32 и ЦАП UDA1334A. Сам проект выложен на github.

Питание по micro-usb, выход mini-jack позволяет подключить колонки или наушники и наслаждаться любимыми радиостанциями :)

Читать далее
Всего голосов 24: ↑23 и ↓1 +22
Комментарии 29

Откуда что берется: интеграция с ЕСИА на языке PHP

Время прочтения 9 мин
Просмотры 4.2K
Блог компании УБРиР PHP *

Как мы в банке внедряли интеграцию с Единой системой идентификации и аутентификации (ЕСИА) на PHP и какие проблемы пришлось решать.

Читать далее
Всего голосов 16: ↑15 и ↓1 +14
Комментарии 9

Мониторинг NGINX с помощью NGINX Amplify и Zabbix

Время прочтения 13 мин
Просмотры 3.6K
Блог компании FirstVDS Системное администрирование *IT-инфраструктура *Серверная оптимизация *
Туториал

Правильная настройка NGINX влияет на работоспособность и производительность использующих его сайтов. Из нашей статьи вы узнаете, как установить NGINX в ОС Debian и настроить мониторинг этой программы с помощью SAAS-сервиса NGINX Amplify, а также с помощью Zabbix.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 1

Разбор задачи «Распознавание дорожных знаков на кадрах с автомобильного видеорегистратора», Цифровой Прорыв

Время прочтения 10 мин
Просмотры 3.7K
Хакатоны Машинное обучение *Искусственный интеллект
Туториал
✏️ Технотекст 2022

Привет, Хабр!

Этой статьей я открываю цикл материалов по разбору задач Всероссийского чемпионата "Цифровой Прорыв", связанных с Computer Vision. Решение, предлагаемое в статье, позволяет получить место в топ-5 лидерборда. Особенность данного подхода в том, что мы не будем использовать данные для обучения, предлагаемые организаторами соревнования. В конце даются советы по улучшения решения, а также идеи, которые могут привести к первому месту.

Читать далее
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 5

Парсим ГАР БД ФИАС в удобный формат в питоне. Бесплатно, без регистрации и СМС

Время прочтения 8 мин
Просмотры 18K
OpenStreetMap *Геоинформационные сервисы *Big Data *Открытые данные *Data Engineering *
Туториал

20160419_182146


Если вам зачем-то понадобилась полная адресная база России, то самый простой и дешевый способ ее заполучить — это скачать на сайте налоговой. Да, вот так вот просто все. Ну почти.


Да, это полная официальная адресная база России, просто в открытом доступе, никто ничего не спрашивает, просто раздают. Сделали на наши налоги, и честно всем, как скамейку в парке, отдают в пользование. Прекрасно? Да!


"В чем же подвох?", — спросите вы, прищурившись.


Кратко: формат ужасен, документация очень плоха и должного единообразия данных не наблюдается, чем успешно пользуются коммерческие компании, перепродающие бесплатные данные (иногда пылесосят имейлы). Но такую несправедливость можно исправить.

Читать дальше →
Всего голосов 29: ↑19 и ↓10 +9
Комментарии 25

Открытый курс машинного обучения. Тема 1. Первичный анализ данных с Pandas

Время прочтения 15 мин
Просмотры 911K
Блог компании Open Data Science Python *Data Mining *Визуализация данных *Машинное обучение *


Открытый курс машинного обучения mlcourse.ai сообщества OpenDataScience – это сбалансированный по теории и практике курс, дающий как знания, так и навыки (необходимые, но не достаточные) машинного обучения уровня Junior Data Scientist. Нечасто встретите и подробное описание математики, стоящей за используемыми алгоритмами, и соревнования Kaggle Inclass, и примеры бизнес-применения машинного обучения в одном курсе. С 2017 по 2019 годы Юрий Кашницкий yorko и большая команда ODS проводили живые запуски курса дважды в год – с домашними заданиями, соревнованиями и общим рейтингом учаcтников (имена героев запечатлены тут).

Читать дальше →
Всего голосов 44: ↑43 и ↓1 +42
Комментарии 61

Хостеры с оплатой российскими картами и серверами за границей

Время прочтения 3 мин
Просмотры 29K
Хостинг Системное администрирование *Платежные системы *Виртуализация *Финансы в IT

Всем привет! Меня зовут Леонид, я владелец сервиса Поиск VPS. Весной я уже опубликовал две статьи по оплате услуг иностранных хостеров при помощи SWIFT и криптовалют. К сожалению, карты, выпущенные российскими банками, все еще не работают в большинстве стран мира, да и не у всех есть желание и возможность оплачивать услуги указанными выше способами, поэтому сегодня я хочу предложить выборку хостеров, принимающих оплату российскими картами и предоставляющих виртуальные серверы не в России.

При составлении списка я ориентировался на количество стран, в которых возможно заказать наиболее универсальную услугу, а именно виртуальные серверы, а также минимальную цену не выше 300 рублей, 5 долларов или 5 евро в месяц. У большинства хостеров возможен заказ услуг в России, а там, где это возможно, приведена ссылка на точки Looking Glass.

Читать далее
Всего голосов 37: ↑35 и ↓2 +33
Комментарии 107

Туториал по настройке почты exim4 в облаке Yandex

Время прочтения 6 мин
Просмотры 2.7K
Блог компании Nixys Системное администрирование *IT-инфраструктура *Облачные сервисы *
Туториал

Эта статья представляет собой материал, который предназначен для экономии времени системных администраторов, столкнувшихся с проблемой работы почты в облаке yandex. В этом материале мы рассмотрим настройку почты с использованием exim4 и 360.yandex.

Читать далее
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 5

О проблемах информационной безопасности и IT образования на примере HTML Academy

Время прочтения 17 мин
Просмотры 21K
Информационная безопасность *Разработка веб-сайтов *PHP *Учебный процесс в IT Карьера в IT-индустрии

image


Меня всегда очень интересовала довольно грустная ситуация с языком РНР. Из неказистого шаблонного движка для веб-страничек, к середине 2010-х он вырос в мощный, современный и аккуратный язык программирования… в то время как практически все обучающие материалы в сети выставляют его всё тем же неуклюжим уродцем, который с огромным трудом, не соблюдая никаких стандартов, позволяет разве что сделать примитивную веб-страничку с кучей уязвимостей. Что, разумеется, уже давно совершенно не так. Поэтому когда на форуме РНР клуба появился пост о наборе "наставников" на курс по РНР в HTML Academy, я не раздумывая подал заявку. Чтобы посмотреть как с обстоит с этим дело на платных курсах, а так же по возможности поделиться своим опытом в этой области.


Что вам сказать? "Если хотите, чтобы вам и дальше нравилась колбаса, не берите экскурсию на мясокомбинат"

Читать дальше →
Всего голосов 67: ↑59 и ↓8 +51
Комментарии 154

Как правильно использовать mysqli

Время прочтения 10 мин
Просмотры 6.5K
PHP *
Туториал
Перевод

image


Небольшой дисклеймер от переводчика: в РНР сложилась парадоксальная ситуация. Сам язык ушёл далеко вперёд, но изучают его по жутко устаревшим материалам. Собственно, постоянный кринж от кода на Тостере (как в вопросах, так и в ответах) и побудил к переводу данной статьи.


Кроме того, переводчик, также как и вы, считает, что PDO является более продвинутым API для работы с БД, чем mysqli. Но поскольку новички в подавляющем большинстве всё равно начинают с mysqli, то нужен хотя бы один нормальный материал по этому расширению. Не можешь противостоять — возглавь!


Не говоря уже о том, что в последнее время mysqli была сильно улучшена, и из совершенно неюзабельной превратилась в довольно сносную библиотеку, в которой из принципиальных отличий от PDO осталось разве что отсутствие именованных плейсхолдеров. Так что даже (особенно) если вы учили РНР 20 лет назад и всё знаете вдоль и поперёк, то всё равно сможете найти для себя что-то новое.

Читать дальше →
Всего голосов 14: ↑13 и ↓1 +12
Комментарии 27

VPN L2TP Mikrotik+Radius (Windows NPS)

Время прочтения 5 мин
Просмотры 10K
Сетевые технологии *
Из песочницы

Сегодня расскажу как настроил L2TP на Микротике с авторизацией через Active Directory (AD). Расскажу про 2 схемы реализации доступа к сетям( чуть-чуть про безопасность).

Конечно вы скажите что таких статей куча( пример, пример2), но я сделал небольшую автоматизацию для пользователей, читайте далее....

Начнём с описания схемы

Пользователи подключаются к Mikrotik, лучше конечно Mikrotik с аппаратной поддержкой IPsec, это такие модели, как RB730Gr3 или RB4011 или CCR1009, авторизовываясь через AD, для этого нам и потребуется RAIDUS, а далее пользователь должен попадать в сеть для доступа в терминальный сервер( в нашем случаем только в сеть 192.168.10.0/24 vlan 20).

Пользователю запрещено подключаться к нам в сеть и сеть серверов( см. самый последний скриншот).

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 7

Mikrotik VRF+NAT — Управляем с одного хоста устройствами с одинаковыми IP-адресами

Время прочтения 4 мин
Просмотры 44K
Системное администрирование *IT-инфраструктура *Сетевые технологии *
Недавно знакомый попросил помощи с настройкой микротика. Просьба была не совсем простая. Идея в том, что нужно было одновременно управлять с одного хоста четырьмя устройствами с неуправляемым TCP/IP стеком. На всех этих устройствах были одинаковые настройки IP, причем просто IP-адрес и маска, ни шлюз, ни DNS не указаны. Странная, но, как оказалось, весьма реальная ситуация. Не будем вдаваться в подробности причин невозможности перенастройки адресации на этих устройствах, а просто примем этот факт за аксиому. Задача поставлена так, как есть, и ее нужно решить.
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 16

Простая аутентификация на PHP

Время прочтения 7 мин
Просмотры 27K
PHP *
Туториал

Многие новички до сих пор попадают в тупик при написании простейшей аутентификации в PHP. На Тостере с завидной регулярностью попадаются вопросы о том, как сравнить сохраненный пароль с паролем полученным из формы логина. Здесь будет краткая статья-туториал на эту тему.

Disclaimer: статья рассчитана на совершенных новичков. Умудрённые опытом разработчики ничего нового здесь не найдут, но могут указать на возможные недочёты =).

Читать далее
Всего голосов 28: ↑23 и ↓5 +18
Комментарии 114

Информация

В рейтинге
Не участвует
Откуда
Бийск, Алтайский край, Россия
Дата рождения
Зарегистрирован
Активность