Pull to refresh
4
0.2
Харченко Алексей @AVX

sysadmin

Send message

Защищаем сервис от перегрузки с помощью HAProxy

Reading time 13 min
Views 6.5K

Если вам доводилось использовать HAProxy для балансировки трафика, вы наверняка как минимум слышали, что этот продукт умеет отслеживать показатели активности сервиса и пользователей и реагировать на них по предопределённым условиям. Обычно в статьях на эту тему приводится пример ограничения пользователя по исходному IP-адресу, если частота запросов с него превышает некоторый предопределённый заранее лимит. Вот, к примеру, такая статья с сайта разработчиков.

Я бы хотел немного углубиться в тематику использованного механизма stick tables, но поговорить не про пользователей, активно интересующихся вашим сайтом, а про нагрузочную способность, или ёмкость, всего сайта (ну или каких-то его путей). Во-первых, любой сервис ограничен в количестве одновременных запросов, которые возможно обслужить на существующих ресурсах. Во-вторых, чаще всего у сервиса не одна площадка или хотя бы не один экземпляр балансёра. А это значит, что поймать одинокого пользователя — это, конечно, здорово, но хотелось бы решить и другую интересную задачу: защитить сервис от перегрузки в целом и в случае, если балансёров более одного. Бонусом поговорим о проблеме умного перераспределения нагрузки между локациями.

Читать далее
Total votes 18: ↑18 and ↓0 +18
Comments 0

Настройка производительности диска и памяти в Linux

Level of difficulty Medium
Reading time 15 min
Views 13K

В отличие от таких операционных систем как HPUX (dbc_min_pct, dbc_max_pct) или AIX (minperm%, maxperm%), в Linux нет возможности настраивать размер кэша страниц, читаемых с диска (страничный кэш, page cache). Под страничный кэш Linux использует всю доступную память. Размер страничного кэша можно увидеть в /proc/meminfo в параметре "Cached". В /proc/meminfo есть также значение "Buffers", которое часто путают с размером страничного кэша. "Buffers" — это память, содержащая сырые дисковые данные (raw disk data) и выступающая в роли промежуточного буфера между процессами, ядром и диском.

В этой статье рассмотрим, как Linux работает с памятью, и, в частности, со страничным кэшем, а также исследуем, как доступный объем памяти влияет на производительность буферизованного ввода-вывода (buffered IO).

Читать далее
Total votes 28: ↑27 and ↓1 +26
Comments 4

Made at Intel. Свой среди чужих, чужой среди своих

Reading time 10 min
Views 37K

2014-й стал переломным годом для моей карьеры в Интел. В начале 2013-го меня назначили генеральным директором по R&D в России – и мне казалось, что теперь все дороги будут открыты. От перспектив сделать что-то хорошее и для Интела и для России за спиной прямо-таки росли крылья. Но не тут-то было.

Год сразу начался по-дурацки — я полетел в Новосиб в легкой курточке и простудился на тамошнем морозе. В Сибири погода вообще коварная. У нас — минус 30 это адский ад из‑за высокой влажности. А там сухо, солнечно, тихо и ощущается как минус 10, в худшем случае минус 15. А на самом деле те же самые минус 30. И в результате вместо поездки на Олимпиаду в Сочи я сидел дома и болел две недели. Ну а потом началось — в конце февраля — начале марта Россия присоединила Крым, а в апреле начались бои на Донбассе. Нас обложили санкциями. Ну и на корпоративном фронте ситуация также резко накалилась. В том году я летал в Штаты 6 раз и провел там в общей сложности четыре месяца, уговаривая интеловый истеблишмент не закрывать бизнес в России. Дамоклов меч повис уже тогда, однако судьбе было угодно дать нам еще 8 лет...

Шок и трепет

Поначалу, как всегда, была паника и неразбериха. Никто не понимал, куда бежать и чего бояться. Вспоминается апрельский диалог с Биллом Сэвиджем – директором Developer Product Division, основным стейкхолдером Интел в России. На него тогда работало у нас человек, наверно, 700. Как сейчас помню, разговор этот состоялся в пятницу, часов в 6 вечера в санта‑кларовском офисе SC12. Обычно амеров в пятницу из офиса «сдувает» в половине 4го. Ну самый край в 4. Но Билл не уходит — переживает отчасти за Россию, но больше за свою карьеру. И мы уже несколько часов гоняем по кругу его страхи — фантомные и реальные.

Читать далее
Total votes 190: ↑177 and ↓13 +164
Comments 31

Путешествие сакуры из Японии в Россию по TCP/IP. Анатомия передачи файла: как выглядят фреймы, сегменты и пакеты

Level of difficulty Medium
Reading time 4 min
Views 7K

Допустим, я скачиваю браузером картинку PNG с фотографией ветки сакуры с веб-сайта из Японии. Она ведь не умещается в одном фрейме. Как выглядит каждый фрейм в нашем случае и сколько их всего будет? И будет ли внутри каждого фрейма что-то меняться в процессе передачи из Японии в Россию?

На каждом этапе перемещения данных по стеку TCP/IP каждый протокол добавляет свой заголовок и передает на следующий уровень абстракции..

И сколько в одном фрейме уместится данных?
Total votes 12: ↑12 and ↓0 +12
Comments 0

Функциональные  опции в Go: реализация шаблона опций в Golang

Reading time 4 min
Views 6K

В этом посте рассказывается о том, какие функциональные опции есть в Go и как мы можем использовать шаблон "опции" для их реализации. Функциональные опции имеют форму дополнительных аргументов функции, которые расширяют или изменяют ее поведение. Вот пример, в котором используются функциональные параметры для создания новой структуры House:

Читать далее
Total votes 3: ↑2 and ↓1 +1
Comments 4

Ryuk: как устроен топовый вымогатель

Reading time 7 min
Views 14K

Киберкриминалитет нашёл для себя практически идеальную схему получения сверхдоходов: проникнуть в корпоративную сеть, скопировать все данные, до которых получилось добраться, а затем зашифровать информацию на всех скомпрометированных ресурсах и потребовать выкуп. Слитая информация может быть продана, если жертва откажется платить. А с зашифрованными системами особо не поработаешь, как показывает пример с Norsk Hydro или более свежие случаи с Kia Motors, Garmin, Hyundai и Kawasaki Heavy Industries. Одним из самых успешных вымогателей последних лет считается Ryuk, операторы которого заработали более 150 млн долларов США. Разберёмся, как работает топовый вымогатель.

Читать далее
Total votes 17: ↑17 and ↓0 +17
Comments 12

Перестаньте травить печатные платы дома — заказывайте их на производстве

Reading time 3 min
Views 99K
В последней своей статье про Домофон с MQTT я проводил опрос на тему того, какую статью написать следующей. Выбор пал на заказ производства печатных плат, вот собственно немного расскажу об этом. Если статья зайдет, напишу по следующей теме из голосовалки.

Я ни в коем разе не принуждаю сразу выливать ваше хлорное железо / перекись водорода, оставьте их для макетирования. Я лишь хочу показать, что заказать платы на производстве в наше время совсем не сложно, как может показаться начинающему радиолюбителю. Есть в этом что-то магическое — подержать в руках красивую плату собственного изготовления.
Читать дальше →
Total votes 69: ↑65 and ↓4 +61
Comments 381

Руководство по материалам электротехники для всех. Часть 1

Reading time 15 min
Views 111K
Привет гиктаймс! Я решил опубликовать по частям свое руководство по материалам, используемым не только в электротехнике, но и вообще в технике, в том числе самодельщиками. С описанием, примерами применения, заметками по работе. Руководство написано максимально просто, и будет понятно всем, от школьника до пенсионера.

В этой части начинаем разбирать проводники — Серебро, Медь, Алюминий.

image

Добро пожаловать под кат (ТРАФИК)
узнать о материалах
Total votes 95: ↑94 and ↓1 +93
Comments 161

Что можно узнать о квартире из открытых справочников

Reading time 6 min
Views 59K


Госструктуры выкладывают в интернет справочники с десятками гигабайтов информации. Если знать где искать, можно легально собрать данные о квартирах в промышленных масштабах.

Базы с индексами и районами городов тоже открыты. Бонусом я расскажу, как найти эти части адреса, если их не хватает.

Все справочники из этой статьи бесплатны и открыто лежат в интернете. Ни один не украли из ФСБ таинственные хакеры.
Шагнуть в мир открытых справочников
Total votes 62: ↑61 and ↓1 +60
Comments 24

Автономный способ обхода DPI и эффективный способ обхода блокировок сайтов по IP-адресу

Reading time 7 min
Views 699K
Провайдеры Российской Федерации, в большинстве своем, применяют системы глубокого анализа трафика (DPI, Deep Packet Inspection) для блокировки сайтов, внесенных в реестр запрещенных. Не существует единого стандарта на DPI, есть большое количество реализации от разных поставщиков DPI-решений, отличающихся по типу подключения и типу работы.

Существует два распространенных типа подключения DPI: пассивный и активный.

Пассивный DPI

Пассивный DPI — DPI, подключенный в провайдерскую сеть параллельно (не в разрез) либо через пассивный оптический сплиттер, либо с использованием зеркалирования исходящего от пользователей трафика. Такое подключение не замедляет скорость работы сети провайдера в случае недостаточной производительности DPI, из-за чего применяется у крупных провайдеров. DPI с таким типом подключения технически может только выявлять попытку запроса запрещенного контента, но не пресекать ее. Чтобы обойти это ограничение и заблокировать доступ на запрещенный сайт, DPI отправляет пользователю, запрашивающему заблокированный URL, специально сформированный HTTP-пакет с перенаправлением на страницу-заглушку провайдера, словно такой ответ прислал сам запрашиваемый ресурс (подделывается IP-адрес отправителя и TCP sequence). Из-за того, что DPI физически расположен ближе к пользователю, чем запрашиваемый сайт, подделанный ответ доходит до устройства пользователя быстрее, чем настоящий ответ от сайта.
Читать дальше →
Total votes 212: ↑212 and ↓0 +212
Comments 352

Вы ни черта не понимаете в цветах

Reading time 3 min
Views 71K

Это все розовый

Я думаю многие сталкивались с ситуацией, девушки пытаются убедить нас, что совершенно очевидно, что цвет ее белья вовсе не черный, а очевидно ониксовый или обсидианово-дымчатый. При том, что там явно #000000ff или максимум #080808d5, если белье слегка прозрачное. Или вдруг та же девушка внезапно решает перекрасить стены и начинает мечтательно описывать всю красоту оттенков, которые она хотела бы получить. И вы погружаетесь вместе с ней в чудесный мир лавандовых стен и пытаетесь определиться со шторами. То ли цвет пенящейся морской волны, то ли кораллово-бирюзовый. Где-то на этом этапе вы начинаете тоскливо смотреть на стену, размышляя о том, какой оттенок придаст ей ваш мозг после хорошего разбега.



Я решил разобраться в том, что за странные картины роятся в голове у других, когда мы произносим «нежно-зеленый» или «золотисто-лаймовый». Естественно, все это вылилось в бесчеловечные эксперименты на живых людях, которым я выдал Inkscape, рисунок выше и попросил заполнить квадраты цветами.
Total votes 107: ↑98 and ↓9 +89
Comments 466

Похоже, я не предприниматель

Reading time 7 min
Views 46K
Для того, чтобы это понять, мне потребовалось четыре миллиона рублей (половина из которых — мои) и четыре года.

Я запустил и возглавил крутой робототехнический стартап, который мне удалось довести до первых продаж. Насколько мне известно, мы продвинулись дальше, чем любой другой аналогичный российский проект, но, около двух месяцев назад, я покинул его, передав управление команде, и сейчас никак с ним не связан.

В этой статье я хотел бы

— поделиться сделанными выводами
— порекомендовать проект, если вы хотите присоединиться к нему в качестве разработчика/инвестора
— выложить техническую документацию, если вы захотите сделать форк

image
Total votes 167: ↑164 and ↓3 +161
Comments 168

Каково это — быть разработчиком в России, когда тебе сорок

Reading time 37 min
Views 161K
Привет всем, я — сорокалетний программист-самоучка, а это моя история.

Пару недель назад я наткнулся на график распределения людей, интересующихся технологиями, ИТ и программированием. И он заставил меня задуматься о моей карьере.



Через каких-то 20 лет мне стукнет 60. И вероятность того, что я еще смогу заниматься тем, для чего был создан, составляет очень крошечную величину. Эти размышления привели меня туда, откуда все начиналось.

Я дебютировал в роли разработчика программного обеспечения в 1990 году, через год после того, как мне на 14-тилетие родители подарили ПЭВМ «Микроша».
Читать дальше →
Total votes 353: ↑338 and ↓15 +323
Comments 788

История создания Deus Ex

Reading time 13 min
Views 21K
image

Шестнадцать лет назад студия Ion Storm Austin выпустила свою дебютную игру Deus Ex.

Эта игра от первого лица в жанре «киберпанк» была тепло принята критиками и стала заметной вехой в карьере таких создателей игры, как Уоррен Спектор (Warren Spector) и Харви Смит (Harvey Smith). Она вдохновила несколько поколений разработчиков и оформила жанр «симулятора погружения» в гейм-дизайне (вместе с серией System Shock компании Looking Glass и ещё одной игрой Ion Storm Austin — Thief: Deadly Shadows).
Читать дальше →
Total votes 23: ↑23 and ↓0 +23
Comments 37

Отладочный механизм в процессорах Intel позволяет захватывать их через USB-порт

Reading time 2 min
Views 21K


Современные процессоры Intel позволяют использовать отладочный интерфейс через доступный на многих платформах порт USB 3.0 для получения полного контроля над системой, что дает возможность проводить атаки, которые не отслеживаются современными системами безопасности. Доклад об этих механизмах, а также о способах защиты от подобных атак, был представлен экспертами Positive Technologies 28 декабря на конференции Chaos Communication Congress (33C3) в Гамбурге.
Total votes 33: ↑32 and ↓1 +31
Comments 34

Взлом «админки» роутера

Reading time 4 min
Views 284K
*Здесь могло быть предупреждение о том, что не нужно пользоваться данной программой в преступных целях, но hydra это пишет перед каждым сеансом взлома*

image

В общем, решил я по своим нуждам покопаться в настройках роутера, вбиваю я всем знакомый адрес, а тут пароль спрашивают. Как быть? Ну, начал я перебирать пароли, а их количество слишком большое, что бы перебирать все и слишком маленькое, чтобы делать reset.
Читать дальше →
Total votes 57: ↑32 and ↓25 +7
Comments 36

Телеметрия с лазера для коррекции зрения: полная операция с комментариями (не для слабонервных)

Reading time 5 min
Views 91K
Сейчас я буду показывать то, что обычно врачи никогда не показывают пациентам. Точнее, показывается это всё в виде красивого рендера, из которого никак не следует, что прямо в вашей роговице будет пару минут торчать железка. К счастью, вы этого не почувствуете из-за обезболивающей премедикации, не узнаете и не запомните, потому что железка будет не в фокусе.


Введение шпателя для рассекания оставшихся тканевых мостков в разрез роговицы после лазерной обработки, но до извлечения лентикулы

Поехали. Итак, смотрите видео, а я покажу стопкадры с комментариями. Это реальная операция на пациенте в немецкой клинике, запись сделана на устройство вроде «чёрного ящика» аппарата VisuMAX. В данном случае пациент дал согласие на использование записи для учебных целей, обычно доступ к таким записям строжайше ограничен.
Total votes 105: ↑101 and ↓4 +97
Comments 171

Восемь потрясающих игр с искусственным интеллектом от компании Google

Reading time 4 min
Views 106K

«Нарисуй кошку за 30 секунд!.. О, я знаю, это кошка… А может быть, нет» — примерно в таком формате выдаёт результат распознавания рисунков нейросеть Quick, Draw!

Quick, Draw! — одна из новых игр, которую выпустили разработчики Google в рамках проекта A.I. Experiments. Здесь публикуются прикольные игрушки, которые позволяют даже ребёнку поиграть с искусственным интеллектом. Но есть игры и для взрослых.
Читать дальше →
Total votes 33: ↑30 and ↓3 +27
Comments 17

Мой опыт биохакинга. Часть 1: RFID

Reading time 6 min
Views 47K

Найди все четыре

На GT уже несколько раз проскакивали публикации о RFID-имплантах. Я хочу рассказать о своём опыте их использования и познакомить читателей GT с довольно известным в среде биохакеров, но ни разу ещё не упоминавшемся на GT бодмоде — имплантируемым магните. На данный момент я являюсь обладателем трёх RFID-меток и одного магнита — все в левой руке.

В первой части статьи я расскажу об имплантируемых RFID-метках форм-фактора 2х12мм и DIY силиконовом импланте и отвечу на часто задаваемые вопросы о них.
Читать дальше →
Total votes 58: ↑55 and ↓3 +52
Comments 145

Подводные камни Bash

Reading time 32 min
Views 94K


В этой статье мы поговорим об ошибках, совершаемых программистами на Bash. Во всех приведённых примерах есть какие-то изъяны. Вам удастся избежать многих из нижеописанных ошибок, если вы всегда будете использовать кавычки и никогда не будете использовать разбиение на слова (wordsplitting)! Разбиение на слова — это ущербная легаси-практика, унаследованная из оболочки Bourne. Она применяется по умолчанию, если вы не заключаете подстановки (expansions) в кавычки. В общем, подавляющее большинство подводных камней так или иначе связаны с подстановкой без кавычек, что приводит к разбиению на слова и глоббингу (globbing) получившегося результата.


Читать дальше →
Total votes 143: ↑141 and ↓2 +139
Comments 63
1

Information

Rating
1,983-rd
Location
Пугачев, Саратовская обл., Россия
Date of birth
Registered
Activity