Pull to refresh
-2
0
Дмитрий Качурин @DMY

User

Send message

По мотивам одного сбоя в БД Oracle

Level of difficultyMedium
Reading time14 min
Views3.3K

Всем привет! Я Тимур, инженер в команде Databases Т-Банка. Занимаюсь решением проблем и настройкой производительности СУБД Oracle и PostgreSQL Oracle — это СУБД для наших критичных  нагруженных legacy систем, системы построенные на новой архитектуре используют PostgreSQL.

Расскажу о случае конкуренции на одной критичной БД. В какой-то момент перестали проходить транзакции из-за конкуренции за ITL-слоты на вставке в таблицу. Проблема, конечно, была решена, но хочу порассуждать о том, как можно расследовать такие инциденты хорошо известными способами. А еще рассмотрим, как можно подсмотреть за некоторыми аспектами внутреннего устройства СУБД.

Читать далее
Total votes 29: ↑29 and ↓0+35
Comments3

NGINX Mail Proxy: на пути к INBOX

Level of difficultyMedium
Reading time5 min
Views3.5K

В публикации рассматривается практический пример развертывания NGINX imap proxy с использованием Python скрипта для привязки пользователей к серверам и реализации Fail2Ban.

Читать далее
Total votes 3: ↑2 and ↓1+3
Comments5

Итак, вы думаете, что знаете Git? Часть третья: реально большие репозитории

Level of difficultyEasy
Reading time7 min
Views20K


Автор оригинала Скотт Чакон — сооснователь GitHub и основатель нового клиента GitButler. Этот клиент ставит во главу угла рабочий процесс и удобство разработки, в том числе код-ревью, и не является просто очередной обёрткой над CLI git.

Вам хочется использовать ванильный Git, чтобы управлять репозиторием с объёмом 300 ГБ в 3,5 млн файлов, которые без проблем получают пуш каждые 20 секунд от 4000 разработчиков? Тогда читайте дальше!


Вот агенда блога — наша блогенда:


Читать дальше →
Total votes 30: ↑28 and ↓2+36
Comments30

Как стать VPN провайдером за один вечер

Level of difficultyMedium
Reading time13 min
Views144K

Рассказываю о своём опыте использования Xray (с протоколом VLESS-Reality) - одного из лучших решений для преодоления интернет-цензуры на сегодняшний день. Я потратил много времени на то, чтобы разобраться с ним - теперь вам достаточно одного вечера, чтобы поднять свой сервер на несколько десятков пользователей, c xray на борту!

скрипт ex.sh для простой настройки и установки; есть поддержка Docker

легко добавлять пользователей; клиентские конфиги в форме url-ссылок

правильные конфиги: скрытность + удобство

трафик популярных российских сайтов идёт напрямую, a не через сервер

для xray есть приложения под все популярные ОС - делюсь инструкциями

только https, нет udp; торренты через сервер блокируются по возможности

мой проект на гитхабе: easy-xray

Интересны детали? Добро пожаловать под кат
Total votes 59: ↑58 and ↓1+69
Comments143

Пингвин расставил сети: работа сети в Linux

Level of difficultyEasy
Reading time46 min
Views20K

Всем привет! С вами снова я, Аргентум! Сегодня я продолжу нашу серию статей об ядре Linux.

В этой статье мы будем изучать способ организации сети в мире серверов и то, как она эволюционировала от использования традиционного сетевого стека ядра Linux к виртуализации сети с использованием OVS и к обработке нагрузки телекоммуникационных компаний с использованием NFV и SR-IOV.

Читать далее
Total votes 12: ↑10 and ↓2+13
Comments5

Что для вас Linux? Или как устроен запуск процессов

Level of difficultyMedium
Reading time15 min
Views40K

Как бы вы ответили на вопрос, что такое операционная система?

Скорее всего, вы легко сможете ответить на этот вопрос человеку далекому от IT, но подобный вопрос вам может задать, например, HR - в попытке переманить вас в какой-нибудь Facebook или Google. С одной стороны, ответить на этот вопрос очень легко и в интернете можно найти много определений, но относится ли, например, конфигурация DNS и файл /etc/resolv.conf к ОС ? Или в какой области памяти работает ОС - в памяти с безграничными возможностями для кода, называемой kernel space, или все же в лимитированной user space?

На эти вопросы даже в этой статье вы не найдете однозначного ответа, и только вам решать, что для вас ОС, а что пользовательские приложения. Но в конце статьи я все же приведу свои аргументы, почему важно знать, как это работает, даже если вы сеньор программист/админ/девопс, проживший без этих знаний 35 лет и весьма успешно запустивший множество проектов. 

Читать далее
Total votes 78: ↑78 and ↓0+78
Comments20

Квадрант Gartner 2022 года по решениям для мониторинга приложений (APM)

Reading time3 min
Views5.6K

В этом году крепко призадумался, стоит ли публиковать полноценный обзор на свежий квадрант Gartner по APM системам, ведь почти все участники (или почти все) этого квадранта прекратили продажи в России и непонятно когда их возобновят. У себя в телеграм-канале Мониторим ИТ в основном пишу про доступные в России бесплатные решения для мониторинга и что-то коммерческое в последнее время там редко проскакивает. Но уж очень там много интересных изменений произошло в квадранте с момента прошлой публикации в 2020 году. В 2021 году публикация как-то сама собой не написалась и не опубликовалась, но вы немного пропустили, поэтому в этой статье приведу прошлогодний квадрант просто для информации с краткими комментариями. В конце статьи ссылка на полный отчет Gartner. Погнали — чего ждать-то?

Читать далее
Total votes 3: ↑2 and ↓1+1
Comments2

Обнаружение звукового файла после «тюнинга» с помощью линейного предсказания

Reading time7 min
Views1.6K

Несанкционированное использование чужих медиа файлов является чумой 21 века. Законы, охраняющие авторское право, строги, и наказание (финансовое) за нарушения весьма существенное. Вся проблема заключается в трудности обнаружения преступления и в доказательстве авторских прав. Это две разные задачи, поэтому остановимся на них более подробно. В качестве примера ограничимся случаем музыкальных файлов. Получив доступ к файлу с записями, нарушитель, прежде всего, старается изменить его, не ухудшая потребительские качества продукта.

Типичными приёмами из арсенала пирата являются:

Пропуск через специальный линейный фильтр

Изменение частоты стробирования записи

Манипуляции с отдельными фрагментами файла

Применение сжатия файла с потерями

Найдя своё трансформированное произведение, автор его узнает без труда. За некоторыми исключениями не понятно, где искать свою собственность, поэтому речь может идти только об автоматическом поиске. Очевидно, что прямое сравнение искажённых копий с образцом не имеет смысла. В данной статье мы рассмотрим один из способов сравнения файлов устойчивых к отмеченным преобразованиям.

Читать далее
Total votes 2: ↑1 and ↓10
Comments3

Лихие девяDOSтые. Во что мы играли в начале 90-х (часть 1)

Reading time12 min
Views60K

На днях сын неожиданно спросил меня: «пап, а какой комп был у тебя в детстве?». Наверное, правильно было бы ответить «никакого», потому что в детстве у меня была игра в войнушку на заброшенной стройке и радиопрограмма «Пионерская зорька» по утрам. Если не считать старого ZX Spectrum, первый «серьезный» компьютер завелся у меня только к окончанию школы, и это был «Поиск» на советском аналоге процессора i8088. Этот же ПК сопровождал меня и в первые институтские годы, а лабораторные мы готовили на университетских «Искрах-1030», работавших, как и «Поиск», под управлением MS-DOS. Реже удавалось добраться до более мощных ПК, стоявших на работе у кого-нибудь из знакомых — в основном, это были 286-е с небольшим жестким диском и цветным дисплеем. В нашем распоряжении имелись текстовые редакторы «Фотон» и «Лексикон», Norton Commander и компилятор Turbo Pascal. А еще были игры, которым мы посвящали часы напролет — пока от пузатых CGA-мониторов не начинали слезиться глаза.
Окунуться в ностальжи
Total votes 63: ↑56 and ↓7+79
Comments329

Полная история процессоров Pentium — от А до M

Reading time3 min
Views34K

Привет, %username%. Те, кто подписан на наш блог, уже заметили, что мы регулярно выпускаем статьи про историю возникновения процессоров Intel Pentium. Изначально мы планировали написать только один текст, но вошли во вкус и создали целый цикл статей. Во многом благодаря Виталию (вот он, на фотке), руководителю отдела системного администрирования в Selectel днем и основателю коллекции раритетного «железа» «Digital Vintage» ночью. У него в запасе еще много историй, так что вас ожидает еще множество интересных очерков и обзоров олдскульной техники.

Под катом же мы собрали полную историю процессоров Pentium: от самого первого Pentium 66 МГц до последних Pentium D и Pentium M. Вспомним все успехи и провалы, помянем тех, кто ушел навсегда, и отметим тех, кто внезапно спасся от забытья.
Читать дальше →
Total votes 41: ↑36 and ↓5+42
Comments18

Битва за аккаунт. Основатель сети Jeffrey’s Coffee подаёт в суд на ВКонтакте

Reading time7 min
Views51K
Мошенники украли страницу ВКонтакте предпринимателя Алексея Миронова из-за уязвимости в системе идентификации клиентов МТС. Социальная сеть так и не вернула её владельцу и требует от него неисполнимого. Сейчас он подаёт за это на ВКонтакте в суд. Его интересы представляет Центр цифровых прав.

Алексей Миронов — основатель сети Jeffrey’s Coffee. Это франшиза кофеен в Москве и регионах. Алексей часто общался с коллегами и партнёрами ВКонтакте и вел там весьма популярный паблик своей сети, насчитывающий более 50 000 подписчиков.

В ноябре 2018 года, рано утром, когда Алексей находился в командировке в Китае, его страницу ВКонтакте взломали. Ему пришли SMS от ВКонтакте, WhatsApp и сообщение от оператора МТС, в котором говорилось, что настроена переадресация на другой номер. Алексей переадресацию не настраивал, поэтому сразу забеспокоился и позвонил в МТС. Там даже не сразу определили, что переадресация действительно есть. Отключить её оператор смог только через два часа после звонка Алексея. В МТС так и не нашли данные о том, как и когда была подключена переадресация.
Читать дальше →
Total votes 94: ↑91 and ↓3+88
Comments227

Профессиональная деформация дата саентистов

Reading time14 min
Views36K


“Если в ваших руках молоток, все вокруг кажется гвоздями”


Как практикующие дата саентисты мы занимаемся анализом данных, их сбором, очисткой, обогащением, строим и обучаем модели окружающего мира, основываясь на данных, находим внутренние взаимосвязи и противоречия между данными, порою даже там, где их нет. Безусловно такое погружение не могло не сказаться на нашем видении и понимании мира. Профессиональная деформация присутствует в нашей профессии точно также, как и в любой другой, но что именно она нам приносит и как влияет на нашу жизнь?

Давайте посмотрим.
Total votes 81: ↑72 and ↓9+63
Comments36

Как использовать кастомные шрифты в вебе и не сойти с ума

Reading time4 min
Views25K
Бывало ли так, что вы видите на веб-странице картинки и оформление, но не видите текста — он появляется на пару (десятков) секунд позже? Это загружаются кастомные веб-шрифты. Объясняем, почему это происходит и как этого избежать.

Классический вопрос на собеседовании ops-инженеров и программистов: вы написали в адресной строке браузера habr.com и нажали Enter. Что произойдет? (Ответ на 10 страницах)

Ок, мы указали для своего текста font-family: PFRegal, «Times New Roman». Что произойдет?


Браузер посмотрит, есть ли для PFRegal объявление font-face. Если оно есть, то начнется загрузка файла шрифта. Что будут видеть читатели те секунды (десятки секунд на 3G), пока происходит загрузка?
Читать дальше →
Total votes 91: ↑88 and ↓3+85
Comments28

Тестируем не совсем реальный (или совсем нереальный) мониторинг от New Relic и Appdynamics

Reading time3 min
Views14K
Привет, хабранарод! Почему совсем нереальный? Да потому что мониторинг имитирует действия реальных пользователей, но выполняется по специальному алгоритму из заданных локаций. Сами вендоры называют этот механизм Synthetics, поэтому дальше в статье будем стараться придерживаться именно такой терминологии – синтетический мониторинг.

New Relic и Appdynamics – прямые конкуренты, являются лидерами квадранта Gartner и реализуют достаточно схожий функционал. У обоих вендоров есть возможность мониторинга транзакций в приложениях, они умеют выполнять проверки на стороне браузера конечного пользователя, умеют встраиваться в мобильные приложения и, наконец, обладают одной из ключевых возможностей современного мониторинга – умеют выполнять алгоритмизированные действия в веб-интерфейсе приложения.

В предыдущих статьях по основным принципам мониторинга бизнес-приложений и расширению функционала Zabbix мы уже касались синтетического мониторинга и, нужно сказать, если ваш бизнес растет и веб-приложение обслуживает большое количество клиентов, Synthetics для вас must have. Либо он есть, либо будет. Вы же не хотите жалоб от клиентов (а в худшем случае – отказа от использования вашего сервиса), правда?

image
включить синтетических роботов
Total votes 7: ↑7 and ↓0+7
Comments0

Новая редакция популярного бесплатного учебника электроники, архитектуры компьютера и низкоуровневого программирования

Reading time3 min
Views139K
Господа! Только что на сайте Imagination Technologies вышло исправленное издание бесплатного учебника на русском языке «Цифровая схемотехника и архитектура компьютера» Дэвида Харриса и Сары Харрис (кстати, они не супруги и вообще не родственники – просто так совпало). Предыдущее издание этого учебника вышло год назад, пост о нем собрал 145,000 просмотров на Хабре, количество скачиваний с британского сайта вызвало у его британских админов подозрение, что их атакуют русские хакеры, а впоследствие команду переводчиков лично благодарили за учебник преподаватели МФТИ, МВТУ им. Баумана, харьковского ХНУРЭ и других университетов.

silicon_russia_ad_selected_160730_174932

Книжка содержит «введение во все», доступное способному школьнику или младшему студенту, который после ее прочтения может спроектировать, написать на SystemVerilog или VHDL и реализовать на ПЛИС несложный, но при этом совершенно настоящий конвейерный процессор. Книга написана живым языком и для введения концепций, например конечных автоматов, использует примеры типа:


Читать дальше →
Total votes 75: ↑73 and ↓2+71
Comments90

Как мы NoSQL в «реляционку» реплицировали

Reading time7 min
Views20K
В наши дни NoSQL продолжает набирать популярность, но мало кто знает, что нереляционные СУБД появились гораздо раньше даже самой реляционной алгебры. 40 и даже 50 лет назад в первичном «бульоне» зарождающейся IT индустрии «варились» только NoSQL-продукты. И что самое интересное – продукты, рожденные в те сложные времена, живы до сих пор и прекрасно себя чувствуют.
Одним из таких продуктов стала СУБД GT.m, разработанная компанией Graystone Tehnologies в 70-80-х годах прошлого века. СУБД нашла широкое применение в медицине, страховании и банковской сфере.

В нашем банке мы тоже используем GT.m, и этот инструмент прекрасно справляется с обработкой большого количества транзакций. Но… Есть одна проблема: GT.m никакой для аналитики, в нем нет SQL, аналитических запросов и всего того, что делает финансового аналитика счастливым. Поэтому мы разработали собственный «велосипед» для репликации данных из GT.m в «реляционные» СУБД.


А вот здесь должна была быть картинка с летающим велосипедом

Всех заинтересованных приглашаем под кат.
Читать дальше →
Total votes 42: ↑35 and ↓7+28
Comments31

Первые 10 минут на сервере

Reading time8 min
Views61K

Азбука безопасности Ubuntu


«Мои первые 5 минут на сервере» Брайана Кеннеди — отличное введение, как быстро обезопасить сервер от большинства атак. У нас есть несколько исправлений для этой инструкции, чтобы дополнить ею наше полное руководство. Также хочется подробнее объяснить некоторые вещи для более юных инженеров.

Каждое утро я проверяю почтовые уведомления logwatch и получаю основательное удовольствие, наблюдая несколько сотен (иногда тысяч) безуспешных попыток получить доступ. (Многие довольно прозаичны — попытки авторизоваться как root с паролем 1234 снова и снова). Приведённая здесь общая методика подходит для серверов Debian/Ubuntu, которые лично мы предпочитаем всем остальным. Они обычно служат только хостами для контейнеров Docker, но принципы те же.

На больших масштабах лучше использовать полностью автоматические установки с инструментами вроде Ansible или Shipyard, но иногда вы просто поднимаете единственный сервер или подбираете задачи для Ansible — для таких ситуаций предназначена инструкция.

Примечание: Эта справка создана как базовая азбука. Её следует расширить и дополнить в соответствие с вашими потребностями.
Читать дальше →
Total votes 54: ↑40 and ↓14+26
Comments55

Как связаны длительность аренды DHCP и процесс сбора мусора в DNS

Reading time8 min
Views45K
В качестве предисловия. При общении с коллегами, отвечая на их вопросы о совместной настройке DNS и DHCP, часто отсылаю их к замечательной статье Шона Айви на Technet. К сожалению, аналогичного материала на русском языке я не находил. В очередной раз, устно переведя её знакомому, я решил оформить письменный перевод, чтобы иметь возможность отсылать к нему.

Привет всем, меня зовут Шон Айви и я US PFE (Premier Field Engineer). Моя специализация — операционная система Windows и службы Active Directory. Проще говоря, я специализируюсь на Active Directory и связанных с ней сетевых службах. Недавно, у трёх разных клиентов, я помогал SCCM-администраторам, у которых была проблема с установкой SCCM агента. В логе ccm.log значилась ошибка Failed to get token for current process (5). Мы обнаружили, что проблема была не в SCCM, а во взаимодействии DNS и DHCP. Как оказалось, другие службы тоже испытывали связанные с этим проблемы, просто либо демонстрировали иные симптомы, либо не демонстрировали их совсем. Давайте поговорим о том почему так получалось и как это можно предотвратить!
Читать дальше →
Total votes 15: ↑15 and ↓0+15
Comments7

Создание дизайна для дальтоников (и вместе с ними)

Reading time3 min
Views60K


Каждый раз, как кто-то узнает, что я дальтоник, я отвечаю на один и тот же вопрос: «Какой это цвет?». В 95% случаев я отвечу правильно, и поэтому мне задают еще один вопрос: «Подожди, значит, ты понимаешь, что это [вставить название цвета]? Так что ты видишь?». И тут начинается процесс объяснения того, как работает дальтонизм, и как он на меня влияет.
Читать дальше →
Total votes 50: ↑48 and ↓2+46
Comments78

Модернизация окружения Active Directory

Reading time11 min
Views34K
Впервые Microsoft Active Directory (AD) была выпущена вместе с Windows 2000. В те времена ее основной задачей было предоставление централизованной авторизации и аутентификации пользователей ПК и серверов Windows, а также расширение возможностей службы каталогов для организаций, использующих приложения с поддержкой каталогов (например, Microsoft Exchange).

В наши дни многое изменилось в использовании и управлении AD, в том числе и рекомендации от Microsoft по улучшению организации работы, а также стиль корпоративного управления системой. Было создано множество нормативных требований, повлиявших на развитие AD. Чтобы идти в ногу со временем, организациям стоит пересмотреть свой подход к Active Directory и модернизировать ее. Это облегчит управление и повысит эффективность работы системы.

Давайте рассмотрим значение усовершенствования AD, а также области, на которых стоит сосредоточиться для создания отвечающей современным требованиям инфраструктуры.
Читать дальше →
Total votes 21: ↑16 and ↓5+11
Comments2

Information

Rating
Does not participate
Location
Москва и Московская обл., Россия
Date of birth
Registered
Activity