Pull to refresh
114
0
Вадим Прилуцкий @Oxyd

Админ Linux

Send message

Параллельные оболочки с xargs: Используем все процессорные ядра в UNIX и Windows

Reading time13 min
Views5.6K

▍ Введение


Одним из наиболее неприятных моментов в работе с оболочкой UNIX является невозможность легко запланировать несколько параллельных задач, которые бы полностью использовали ядра процессора, представленные в большинстве современных системах. В данной статье в качестве примера рассматривается сжатие файлов, но проблема также возникает и при выполнении многих задач с интенсивными вычислениями, таких как: обработка изображений/аудио/медиа, подбор паролей и анализ хэшей, резервное копирование, а также извлечение, преобразование и загрузка баз данных. Вполне понятно, что ждать, когда gzip * выполнится на одном ядре процессора, довольно утомительно, в то время как большая часть вычислительной мощности машины простаивает.
Читать дальше →
Total votes 21: ↑19 and ↓2+30
Comments3

Неожиданная находка, которая освобождает 20 GB неиспользованного индексного пространства

Reading time14 min
Views32K

Раз в несколько месяцев мы получаем предупреждения от системы мониторинга базы данных о том, что свободное место скоро закончится. Обычно мы просто выделяем больше места и забываем об этом, однако в этот раз мы мы были на карантине и система была нагружена меньше, чем обычно. И тут мы подумали, что это хорошая возможность провести чистку.

Начнем с конца: в итоге нам удалось освободить более чем 70 GB не оптимизированного и неиспользуемого пространства без удаления индексов и данных. 

Читать далее
Total votes 47: ↑44 and ↓3+54
Comments9

Самодельный стратостат. Сезон 2022. Vostok-5

Reading time28 min
Views13K

Vostok-5


Вот мы и вернулись! С "небольшим" опозданием, но нам есть чем оправдаться ;) В прошлом году мы строили и запускали самодельные стратостаты с целью привезти видео в 4k с высоты 30+ километров. В этом году мы, наконец-то, достигли всех поставленных целей и привезли бескомпромисный результат. Получилось опять "длинно", но я сокращал как мог. Будет много фоток, пару видео и даже гифки.

Поехали?
Total votes 83: ↑83 and ↓0+83
Comments68

Инструменты OSINT: Социальные сети

Reading time3 min
Views27K
image

Privacy — это когда все знают кто ты, но не знают конкретно, что ты сейчас делаешь.
Anonymity — это когда никто не знает кто ты, но видят твои действия.

В последнее время возрастает мощь инструментов для разведки на основе открытых данных, особенно на основе тех данных, которыми люди (опрометчиво) добровольно делятся в соцсетях и мессенджерах.

Предлагаю вашему вниманию обзор бесплатных и доступных инструментов анализа соцсетей для ознакомления, чтобы понять, насколько вы уязвимы в современном мире.

Search4Faces


Search4faces — сервис поиска людей в интернете по фотографии. Нейросетка находит нужного человека или очень на него похожего в течение нескольких секунд. Результатом является ссылка на профиль найденного человека в социальной сети vk.com или ok.ru, tiktok, clubhouse, instagram.com.

На текущий момент частично или полностью собраны 4 базы данных: аватарки Вконтакте и Одноклассники (всего лиц в базе: 280,781,743), фотографии профиля Вконтакте (всего лиц в базе: 1,109,563,766), аватарки пользователей Tiktok (всего лиц в базе: 125,443,334 ), аватарки Инстаграм (всего лиц в базе: 6,561,234), аватарки пользователей ClubHouse (всего лиц в базе: 4,594,014).
Читать дальше →
Total votes 43: ↑34 and ↓9+34
Comments19

Radar Interference Tracker — инструмент OSINT для обнаружения действующих радаров

Reading time7 min
Views17K
image

Полосы сильных радиопомех в Катаре на спутниковых снимках.

Radar Interference Tracker (RIT) — это open source инструмент, созданный Олли Баллинджером, который позволяет любому человеку искать и потенциально обнаруживать активные военные радарные системы в любой точке Земли. (Github)

Пара спутников Европейского Космического Агентства Sentinel-1, запущенных в 2014 и 2016 годах зондируют Землю при помощи технологии Synthetic Aperture Radar (SAR) и охватывают области, недоступные для обычных видеоспутников. Данные с этих спутников выкладываются в открытый доступ. Бага в том, что на снимках этих спутников часто бывает «засветка» от радиоизлучения, но эту багу исследователи OSINT превратили в фичу.

В 2018 году простой израильский инженер Харел Дан сделал случайное открытие. Он любовался изображениями Ближнего Востока и заметил сильные интерференционные картины. Он решил отфильтровать шум, но вместо «минимизации» шума сделал «максимизацию» и заметил закономерность. Это послужило поводом для энтузиастов запилить open source проект.

(осторожно, много тяжелых гифок)
Читать дальше →
Total votes 27: ↑26 and ↓1+35
Comments6

Команда awk – примеры использования в Linux и Unix

Reading time5 min
Views145K

В этом базовом руководстве вы узнаете самые основы команды awk, а также увидите некоторые способы её использования при работе с текстом, включая вывод содержимого файла, а также его конкретных столбцов, строк и слов по указанным критериям. Приступим!
Читать дальше →
Total votes 39: ↑36 and ↓3+47
Comments16

Римские и средневековые доспехи. Что лучше?

Reading time25 min
Views46K

Знаете, что меня всегда удивляло? Если вернуться на 1000 лет в прошлое, то мы увидим воина, радикально отличающегося обликом от современного солдата (здесь и далее речь про Европу). Однако стоит нам от отметки XI века снова отступить на те же 1000 лет в прошлое, как мы увидим примерно такого же воина, который не так уж чтобы отличался обликом от своего средневекового собрата. Та же кольчуга или даже пластинчатый доспех, тот же меч и щит. Конечно, различия есть, но в большей степени отражают специфику военных действий, нежели разницу в технологиях, которые, вроде как, должны были куда-то двигаться за прошедшее тысячелетие.

Пятнадцать лет назад я для себя решил, что, наверное, разница была в качестве металла (ну, типа и у тех, и других кольчуги, только у рыцарей они считай что мифриловые, а у римлян из ржавого мусора), ну а медленное развитие доспешного дела было обусловлено падением Рима и в целом деградацией античной цивилизации. Теперь я, наконец, снова вернулся к этому вопросу и предлагаю попробовать разобраться в том, какие материалы использовали римляне в оружии, чем они отличались от средневековых аналогов и почему все они пошли именно по такому пути. Исследование разделим на две части: в первой рассмотрим римские доспехи (кроме шлемов), во второй средневековые и сравним.

Читать далее
Total votes 136: ↑127 and ↓9+149
Comments110

Разбираем алгоритмы компьютерной графики. Часть 1 — «Starfield Simulation»

Reading time7 min
Views17K

Этой небольшой заметкой я хочу начать цикл статей посвященных алгоритмам компьютерной графики. Причем, не аппаратным тонкостям реализации этой самой графики, а именно алгоритмической составляющей.

Действовать буду по следующему принципу: беру какой-либо графический эффект (из демо, программы, игры – не важно) и пытаюсь реализовать этот же эффект максимально простым и понятным способом, разъясняя что, как и почему сделано именно так.

В качестве основы для вывода графики будет использован язык Python и библиотека PyGame. Этим набором можно очень просто что-то выдать на экран, сделать анимацию и т.п. не отвлекаясь на технические детали реализации.

Читать далее
Total votes 46: ↑46 and ↓0+46
Comments11

Интернет проект security.txt — знакомство с еще одним .well-known файлом

Reading time1 min
Views14K
Основная идея проекта — формализация взаимодействия между внутренней ИБ и внешними исследователями, давая четкое указание как и куда направлять информацию об уязвимостях или проблемах безопасности. Формализация взаимодействия — серьезная проблема, не все сайты имеют программы bug bounty, или даже просто указывают контакты специалистов по безопасности. А попытки достучаться через службу поддержки и твиттер зачастую заканчиваются уверениями что «Все так и должно быть», и последующим игнорированием.

Конечно, это будет работать только если компания, размещающая информацию в security.txt, готова проверять и своевременно реагировать на информацию, полученную через этот канал.


Читать дальше →
Total votes 32: ↑32 and ↓0+32
Comments1

Обзор ретро-футуристичного КПК DevTerm с Linux

Reading time6 min
Views15K

Команда ClockworkPI выпустила интересный карманный девайс с ОС Linux, который легко собирается без паяльника, имеет экран с разрешением 1280х480, предлагает богатые возможности для кастомизации и даже оснащён неожиданным диковинным модулем — термальным принтером.
Читать дальше →
Total votes 32: ↑30 and ↓2+46
Comments4

IPv6: некоторые нюансы безопасности

Reading time4 min
Views7.2K

IPv6 — протокол, который используют для адресации в современных сетях. В статье рассмотрим несколько сценариев использования его функций, приводящих к эсплуатации уязвимостей.

Читать далее
Total votes 13: ↑7 and ↓6+2
Comments3

Кунг-фу стиля Linux: о повторении кое-каких событий сетевой истории

Reading time6 min
Views10K
В наши дни во встроенных системах часто имеется поддержка сети. Это может значительно их усложнить. Сетевая нагрузка на системы обычно не отличается высоким уровнем детерминированности, существуют разные варианты таких нагрузок. Порой в сетях происходят довольно-таки странные события. Например, пусть у кого-то имеется монтажная машина (PNP), к которой может обратиться любой пользователь интернета. Про эту машину написали статью на Hackaday, после чего её владелец вдруг обнаружил, что объём данных, которыми она обменивается с интернетом, возрос в 50 раз. Как в такой ситуации ведёт себя сетевая подсистема этой машины? И хотя в задаче тестирования сетей нет универсального инструмента, способного устранить все проблемы, существуют приёмы работы, которые могут упростить решение этой задачи. Один из таких приёмов работы заключается в использовании утилит из набора tcpreplay, которые позволяют записывать совокупный сетевой трафик, а потом «воспроизводить» его различными способами. У применения этого приёма есть множество сильных сторон. Особенно — если удалось «изловить» именно то, что эпизодически приводит к возникновению ошибок. Возможность по желанию «воспроизводить» такой трафик способна значительно ускорить процесс диагностики сетевых проблем.


Читать дальше →
Total votes 25: ↑23 and ↓2+31
Comments5

ATSHA204A: маленький гигант большого крипто. Часть 2: насколько глубока кроличья нора

Reading time9 min
Views7.3K


В этой статье мы продолжим знакомство с маленьким гигантом большого крипто — микросхемой ATSHA204A, начатое в предыдущей статье и попробуем осознать, с чем мы имеем дело и насколько глубока эта кроличья нора.

Как я уже заметил в предыдущей статье, нельзя просто так взять и «забацать что-нибудь криптографическое» на ATSHA204A — всё намного сложнее и прежде чем вы сможете использовать этот чип в своих проектах, вам нужно будет изучить устройство, архитектуру и принципы работы, заложенные в него сумрачным американским гением компании Microchip. Без этого вы просто не сможете ничего сделать с ATSHA204A.

Итак, следуйте за мной.
Читать дальше →
Total votes 33: ↑32 and ↓1+52
Comments9

Латунирование, это просто

Reading time7 min
Views37K

Эта статья - простая и подробная инструкция, как можно в домашних условиях покрыть латунью металлические детали, применяя только подручную химию. cut/ В ней, подробно описанны все ньюансы и "подводные камни". После прочтения этой статьи, у вас просто не может не получиться делать такие же превращения деталей, как на картинке.

Читать далее
Total votes 102: ↑100 and ↓2+129
Comments75

Распределение пространства в IPv6: часть 1

Reading time8 min
Views7.7K

Это первая из двух статей, посвященных размеру адресного пространства IPv6, тому, как оно делегируется, и тому, что это означает для Интернета.

Читать далее
Total votes 10: ↑10 and ↓0+10
Comments5

Когда TCP быстрее UDP

Reading time6 min
Views48K
Я знаю отличную шутку про UDP, но не факт, что она до вас дойдёт.

Все, кто хоть раз в жизни, по работе открывал файл /etc/services знают, что одни сетевые службы используют транспортный протокол TCP, другие же — UDP. Каждый из них имеет свою область применения. Если надёжность соединения имеет приоритет над скоростью передачи данных, то TCP предпочтительнее. Например, для SMTP, или IMAP больше подходит TCP. Обратное тоже верно там, где важна скорость передачи данных, а потеря дейтаграмм или их порядок не критичны — используют UDP. К их числу относятся SNMP, DNS, VoIP и другие службы.
Читать дальше →
Total votes 57: ↑56 and ↓1+80
Comments16

Сага о том, как мы писали консоль

Reading time8 min
Views21K
            Если посадить тысячу мартышек за тысячу пишущих машинок, то за тысячу лет они напишут эмулятор терминала. — вместо эпиграфа.

Извините фальстарт, это не я, это андроидный смартбук.

Когда мы только запускали облако, первой проблемой было «как нам получить консоль». Штатный механизм XCP поразумевает, что консоль рисуется с помощью VNCTerm, а желающий её увидеть должен сначала пойти в XenAPI, получить там session-id консоли, пойти на порт консоли, передать session-id, получить RFB, завёрнутый в HTTP, развернуть HTTP, вынуть RFB (он же VNC), отдать её локальному рендереру VNC (VNC-клиенту или java-апплету с тем же функционалом). При этом консоль закрывалась (сессия рвалась) при каждой перезагрузке виртуальной машины. Она рвалась даже при миграции виртуальной машины. Другими словами, это была технология, которая подразумевала «глянул одним глазком, починил ssh/iptables и забыл». Неудобно, медленно, сложно. Выкатывать такое в продакт совсем не хотелось.

И я залез в дебри serial-howto, console-howto и ещё несколько ужасных документов, рассказывающих о том, как правильно нужно конфигуриовать прерывания на ISA плате у мультикарт, а так же специфику настройки linux-2.2 для работы с оными. Параллельно изучалось устройство консоли в зене (внимательный читатель мог даже заметить, когда именно я более-менее разобрался в этом вопросе — я писал на хабре краткий обзор того, что происходит с консолью).

После этого пришла мысль: нужно писать своё, потому что готового чужого хорошего нет.

Сначала мы хотели взять хотя бы готовые компоненты и сделать из них своё. Я помню до сих пор ту замечательную схему, в которой мы планировали сохранять в БД вывод anyterm'а, делать двойное туннелирование последовательного порта с использованием UDP… Выглядело это, мягко скажем, неприглядно.

Потом пришла в голову мысль выпилить anyterm. Для этого нужно было посмотреть, как работают терминалки. Это было очень забавно и поучительно (желающие могут изучить исходный текст PuTTY). Главной проблемой в этом изучении было то, что они много рисуют на экран. Прямо в процессе обработки ввода. Отделить специфику DC от, собственно, того, что является консолью, было сложно.

Через некоторое время мы пришли к идее «нам нужен свой эмулятор терминала».
Задача казалась относительно простой, пока мы не прикоснулись к бездне, именуемой «escape-коды и типы терминалов...».

Пишущие машинки


Итак, в начале была пишущая машинка. В какой-то момент возникло желание совместить телеграф с пишущей машинкой. Так возник телетайп
Разумеется, инженерам, создававшим телетайп, не было никакого резона делать все с нуля. Они просто приделали коды к каждой клавише пишущей машинки. После некоторых боёв в стиле MS VS Netscape, был создан стандарт html5 на коды для оных машинок, то бишь телетайпов. Если мне память не изменяет, то это ASCII, где предусмотрены все комбинации клавиш, характерные для американской пишущей машинки. Включая код BELL, который, кстати, должен вовсе не делать BEEP, а делать «дзыньк», ибо у пишущих машинок был именно колокольчик, а не спикер.

Читать дальше →
Total votes 133: ↑126 and ↓7+119
Comments91

Артем, 34 года: Уволился с зарплаты $250k в год и уехал на пенсию в Португалию

Reading time9 min
Views215K

Привет, меня зовут Артем Крумпан, и к 34 годам я успел 10 лет проработать в международной нефтегазовой компании в самых разных уголках мира, стать директором завода в Анголе, накопить миллион долларов, выйти на пенсию, и уехать вместе с женой и четырьмя детьми на пенсию в Португалию.

Читать далее
Total votes 141: ↑94 and ↓47+74
Comments475

Как я восстановил данные после форматирования, создания разделов и установки системы на «не том» жестком диске

Reading time12 min
Views93K

Здесь будет история о том, как я восстановил файлы и каталоги с жёсткого диска, который превратился в неразмеченную область, был частично отформатирован, разбит на новые разделы, на один из которых и была установлена новая система Linux. Если вам всё ещё интересно, вэлком под кат.
Читать дальше →
Total votes 95: ↑91 and ↓4+116
Comments100

[Конспект админа] Что делать, если программа хочет прав администратора, а вы нет

Reading time7 min
Views195K


(с) Вася Ложкин.


К сожалению, в работе сисадмина нет-нет да и приходится разрешать пользователям запускать всякий софт с админскими правами. Чаще всего это какие-нибудь странные китайские программы для работы с оборудованием. Но бывают и другие ситуации вроде небезызвестного bnk.exe.


Выдавать пользователю права администратора, чтобы решить проблему быстро и просто, противоречит нормам инфобезопасности. Можно, конечно, дать ему отдельный компьютер и поместить в изолированную сеть, но — это дорого и вообще…


Попробуем разобрать решения, которые позволят и программу запустить, и безопасника с финансистом не обозлить.

Читать дальше →
Total votes 86: ↑86 and ↓0+86
Comments88

Information

Rating
Does not participate
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Works in
Registered
Activity