В продолжение моей предыдущей статьи о MTA Log Parser хотелось бы поделится результатами работы над теми хотелками, которые появились после ее публикации. Появился первый feedback, который в итоге принес следующие нововведения:
Администрирование
Устраняем ошибки, связанные с SIGSEGV: ошибка сегментирования в контейнерах Linux (код возврата 139)

Сигнал SIGSEGV, применяемый в Linux, означает нарушение сегментирования в рамках работающего процесса. Ошибки сегментирования возникают из-за того, что программа пытается обратиться к участку памяти, который пока не выделен. Это может произойти из-за бага, случайно вкравшегося в код, либо из-за того, что внутри системы происходит некая вредоносная активность.
Сигналы SIGSEGV возникают на уровне операционной системы, но столкнуться с ними также вполне можно и в контексте контейнерных технологий, например, Docker и Kubernetes. Когда контейнер завершает работу, выдав код возврата 139, дело именно в том, что он получил сигнал SIGSEGV. Операционная система завершает процесс контейнера, чтобы предохраниться от нарушения целостности памяти.
Если ваши контейнеры то и дело завершают работу с кодом возврата, то важно исследовать, что именно вызывает ошибки сегментирования. Часто следы ведут к программным ошибкам в языках, открывающих вам прямой доступ к памяти. Если такая ошибка возникает в том контейнере, где выполняется сторонний образ, то виной тому может быть баг в стороннем софте или несовместимость образа со средой.
В этой статье будет объяснено, что представляют собой сигналы SIGSEGV, как они влияют на работу ваших контейнеров с Linux в Kubernetes. Также я подскажу, как отлаживать ошибки сегментации в вашем приложении, а если они возникают – как с ними справляться.
Приложения алгебры кортежей. Часть 2. Математическая модель вопроса

В предыдущей части рассматривалась новая система счисления, в обосновании которой использовались некоторые соотношения алгебры кортежей.
Об алгебре кортежей (АК) и ее использовании для логико-семантического анализа было рассказано в моей статье в Хабре. В комментариях к статье предлагалось обратить внимание на функцию SELECT в языке SQL, которая соответствует операции Selection (Выборка) в реляционной алгебре. Эта операцию можно рассматривать как один из вариантов математической модели вопроса.
Вихревая трубка на эффекте Ранка-Хилша. Какими законами физики объясняется выработка холода на ней?

После очередного запроса Яндексу про холодильную технику в подборке вывалилась ссылка на статью с Хабра про вихревую трубку на эффекте Ранка-Хилша. При этом самым интересным было то, что непонятно как она работает, генерируя холодный воздух из сжатого воздуха от компрессора.
https://habr.com/ru/companies/ruvds/articles/558356/
Статья меня зацепила, и я решил разобраться с эффектом Ранка-Хилша с позиций полученных мною ранее данных об истечении сверхзвуковой струи в атмосферу из малых отверстий ресивера под давлением 2-6 атм. (см. мою статью на Хабр). https://habr.com/ru/articles/699564/
В первые о вихревых трубах и их странной работе я услышал 20 лет назад в 2003 году, но тогда ещё не было так хорошо развитого интернета, чтобы легко и быстро получить нужную информацию. Всё что удалось узнать, так это то, что с 1931 года эффект известен, но толком до сих пор не объяснён.
Тем не менее сам эффект и построенные на нём устройства используются в промышленности для целей локального охлаждения чего- либо, например: охлаждение режущего инструмента (резцы, свёрла и т.д.) в случаях невозможности применения смазочно-охлаждающей жидкости (СОЖ). А само охлаждающее устройство называется «Вихревая трубка Ранка-Хилша».
Далее в тексте статьи вихревые трубки на эффекте Ранка-Хилша будем сокращённо называть ВТР.
Истории
Производительность блочного хранилища на основе софт рейдов (mdadm, LVM и ZFS) при использовании iSER и NVMe-oF

Смысл данной статьи показать максимальную производительность, когда вопрос сохранности данных решается репликами или бэкапами.
Цель - протестировать производительность трёх систем объединения физических устройств в одно логическое систем при использовании iSER и NVMe-oF.
И сравниваться будет три системы, которые показали самые высокие показатели по результатам тестов из первой части статьи.
Обслуживание моделей PyTorch с помощью TorchServe

Это подробное руководство о том, как создавать и развертывать собственные модели PyTorch в производстве с помощью TorchServe.
Вызовы эпохи Web3 для технологии блокчейн и возможные решения

Web3 это концепция развития Интернета с применением блокчейн-технологий и токенизацией всего, что может существовать онлайн. Поскольку Интернет тесно переплетён с активами из реальной экономики, токенизации может быть подвержено практически что угодно: будь то оригинальная работа художника или право на владение объектом недвижимости.
Искусство ETL. FAQ по Data Cooker ETL
Как и было обещано, в завершение серии ( 1 • 2 • 3 • 4 • 5 ) статей о разработке инструмента для ETL больших данных, я выкладываю выжимку ответов на вопросы.
А то статьи были в формате туториала для разработчиков таких инструментов (длинные и с высоким уровнем сложности), так что стоит рассказать более кратко и понятно для каждого.
Q. Что это такое?
A. Специализированный инструмент для а) быстрого создания ETL процессов и б) эффективного по стоимости их выполнения.
Промка: https://dcetl.ru
Исходники: https://github.com/PastorGL/datacooker-etl
Официальная группа в телеге: https://t.me/data_cooker_etl
VETKeys — on-chain шифрование в Internet Computer

В этой статье обзорно поговорим про грядущую фичу Internet Computer'a под названием VETKeys. Она полностью решает проблему менеджмента ключей в privacy-focused приложениях (и в Web3.0, и в Web2.0), позволяя вообще не хранить ключи шифрования пользователей, а запрашивать их on-demand из блокчейна по протоколу гарантирующему, что никто кроме самого пользователя его ключ не увидит.
Добавление отзывов с фотографиями в S3 с помощью AWS SDK Java

В этой статье рассмотрим реализацию функционала добавления отзывов пользователями с возможностью прикрепить к ним фотографии.
Воспользуемся S3-хранилищем Yandex Object Storage для сохранения фотографий и получения ссылок на них с использованием AWS SDK Java. А еще с помощью Java Concurrency увеличим производительность в 5 раз.
WebSocket. Краткий экскурс в пентест ping-pong протокола

"Краткость - сестра таланта" - именно так сказал Антон Павлович Чехов, и теперь говорю я. Сегодня, завтра и до конца дней habr-а речь пойдет о WebSocket-ах: "Что это?", "Как работает?" и главное - "Как это взламывать?" (в целях этичного хакинга конечно). Начнем с простого и будем идти к более сложному, пробираясь через тернии к звёздам.
Ошибка валидного сертификата для MS Remote Desktop при подключении
Добрый день уважаемые читатели!
Сегодня ко мне пришли с проблемой валидного сертификата для коллекции удаленных рабочих столов при подключении с macOS Ventura.
При подключении к коллекции через шлюз удаленных рабочих столов, приложением Microsoft Remote Desktop v 10.9.* теперь проверяется и FQDN имя брокера, может это было и раньше, точно не скажу, но о проблеме узнал только сейчас. В итоге, если не поставить галку доверять сертификату, подключится не получится.
Итак, избавляемся от лишних телодвижений пользователей, и присваиваем альтернативное имя брокеру.
Bug Bounty: разведка превыше всего

В этой статье поделюсь с вами целым багажом утилит разной направленности и некоторыми ценными сведениями о разведке, как об одном из самых важных аспектов, которыми должен овладеть охотник за баунти.
Ближайшие события

















Стать стажером, когда тебе за 30

Это случилось около пяти лет назад, когда я работал во внутренней службе поддержки «Инфосистемы Джет». Тогда на одном проекте мне удалось поработать с коллегами из центра сетевых решений, после чего я увидел только один возможный сценарий для своего развития — сети и всё, что с ними связано.
Чтобы переход был плавным, а путь ярким, в свои 30 я решил понизить ранг до стажера. Хоть я был сильно погружен во внутренние процессы компании и имел за плечами 10-летний опыт в ИТ, моя область деятельности сильно отличалась от того, чем я занимаюсь сегодня.
Тогда меня с недавними выпускниками и студентами последних курсов бакалавриата, которые пришли к нам на практику, объединяло одно — горящие глаза (а это уже весомый % успеха) и желание развиваться в сетях. Стоила ли игра свеч — рассказываю под катом.
Материал будет полезен студентам и выпускникам, а также специалистам из других областей, решившим погрузиться в мир сетевых технологий.
Несовместимость Insert-only и поэтапного развертывания
В данной статье делюсь замеченной на практике проблемой. Смысл проблемы заключается в использовании противоречащих подходов на уровне Persistance и DevOps.
Legacy PHP-FPM в Kubernetes

Каждая стратегия масштабирования имеет свои плюсы и минусы. Почему бы не начать комбинировать их и оставить только плюсы? Поговорим об этом — как сделать хорошо, когда нельзя просто закопать — в контексте PHP.
Нейростроительное MVP или Почему иногда стоит возрождать проекты

В 2019 году (кажется, целую вечность назад), мы начали эксперимент. Решили использовать наши знания в области нейронных сетей, чтобы создать продукт для многообещающей, как нам казалось, ниши. Целью было разработать аналитическую систему для застройщиков, которая с помощью камер и нейронных сетей следила бы за происходящим на строительных площадках. У нас была гипотеза. Мы изучили бизнесы, делающие подобную аналитику. Нашли несколько зарубежных стартапов, которые получили значительные инвестиции. Естественно, мы задались вопросом: «Почему мы не можем сделать то же самое?»
И что могло пойти не так?
Настройка авторизации через ssl сертификат на уровне nginx

Привет уважаемые, хабровчане!
Иногда возникает потребность выдать доступ пользователям только к одному веб ресурсу в компании. Самый очевидный вариант сделать это через урезанный VPN, но тут возникают препятствия в виде девайсов, с которых подключаются пользователи, и качество интернета, которым они пользуются. OpenVPN, который мы пробовали использовать для этих целей, не дал желаемого результата, подключение было медленным и нестабильным. Поэтому было найдено альтернативное решение.
Как виртуализация делает мир зеленее? Энергоэффективность современных дата-центров

Количество дата-центров в мире выросло с 500 тыс до более чем 8 млн всего за десять лет. И все они потребляют около 3–5% всего электричества планеты. В результате каждый дата-центр косвенно провоцирует выбросы парникового газа в атмосферу — суммарно около 2% от мировых выбросов CO2. Это примерно столько же, сколько выбрасывают крупнейшие авиакомпании мира.
В интересах провайдеров потреблять энергию эффективно, без лишних выбросов, чтобы снизить техногенное влияние дата-центров на внешнюю среду и оптимизировать затраты на электричество. Для этого необходимо следить за значением PUE собственных дата-центров и улучшать его при необходимости. Что это за параметр и как мы в Selectel заботимся об энергоэффективности, рассказываем под катом.
Построение гибкой и распределенной архитектуры с использованием Kafka и Kafka Connect: Часть 2 — Получатель и Helm Chart

Данная статья является продолжением статьи - Ивентная модель данных с использованием Kafka и Kafka Connect: Построение гибкой и распределенной архитектуры.
Добро пожаловать во вторую часть статьи о построении гибкой и распределенной архитектуры с использованием Apache Kafka и Kafka Connect! В первой части мы ознакомились с ивентной моделью данных, разработали сервис отправителя и настроили интеграцию с Kafka, чтобы асинхронно отправлять сообщения. Теперь настало время рассмотреть вторую часть этого увлекательного проекта.