Pull to refresh

Сравнение свободных программ учета трафика SQUID

Reading time11 min
Views54K
Недавно в нашей компании возникла необходимость перевести прокси-сервера с MS ISA Server на свободное ПО. Прокси-сервер долго выбирать не пришлось (squid). Воспользовавшись несколькими практическими рекомендациями, настроил прокси под наши нужды. Некоторые затруднения возникли при выборе программы для учета трафика.

Требования были такие:

1) свободное ПО
2) возможность обработки логов с различных прокси на одном сервере
3) возможность построения стандартных отчетов с отправкой по почте, либо ссылка на веб-сервере
4) построение отчетов по отдельным подразделениям и рассылка таких отчетов руководителям подразделений, либо предоставление доступа по ссылке на веб-сервере

По программам учета трафика разработчиками представлена весьма скудная информация: лаконичное описание назначение программы плюс необязательным бонусом пара скриншотов. Да, понятно, что любая программа подсчитает количество трафика за сутки/неделю/месяц, а вот дополнительные интересные возможности, отличающую одну программу от других — не описаны.

Я решил написать этот пост, в котором попытаюсь описать возможности и недостатки таких программ, а так же некоторые их ключевые «фишки», чтобы немного помочь в выборе тем, кому его предстоит сделать.
Читать дальше →
Total votes 13: ↑13 and ↓0+13
Comments21

Три оттенка Kubernetes Operator, или чем слушает Prometheus

Level of difficultyMedium
Reading time33 min
Views1.2K

Это ещё не туториал, но относительно подробный гайд о том, как компоненты Операторов взаимодействуют с Kubernetes API на уровне кода (Golang), чтобы реализовать заложенную в них логику для автоматизации вполне определённых практических задач. И да, всем известно, максимальный уровень автоматизации работы в Кубернетес ограничен лишь желанием самих разработчиков избавиться от рутины в близкой для них предметной области, потому я разделил текст на три части, чтобы вы могли без промедления промотать к наиболее актуальной, в которой узреете нечто достойное вашего внимания:

1. Кастомные ресурсы - мониторы Прометеус-оператора
2. Информеры и контроллеры
3. Сайдкар-Инжекторы с помощью аннотаций и вебхуков

Читать далее
Total votes 5: ↑3 and ↓2+2
Comments0

Dell и ФК «Ливерпуль» — еще один удачный опыт виртуализации

Reading time39 min
Views13K


В современном спорте с огромными стадионами, прямыми трансляциями спортивных мероприятий на сотни каналов разных стран одновременно, большим количеством датчиков, регистрирующих забитые голы в футболе, гандболе и хоккее, а также датчиков, фиксирующих пересечение финишной линии во всевозможных гонках на разных транспортных средствах, одну из самых важных ролей играет высококачественная IT-инфраструктура. В нашем блоге мы уже писали о том, как продуманные решения компании Dell в 2010 году помогли команде Catherham — новичку Формулы-1 успешно и в очень ускоренном темпе смоделировать болид и стартовать в гонке.

Сегодня мы вам расскажем о том, как в том же 2010 году компания Dell помогла руководству футбольного клуба «Ливерпуль» подобрать более удобные IT-решения, соответствующие актуальным на тот момент задачам клуба. Используя комплексные решения Dell, одному из лучших футбольных клубов Англии удалось за счёт виртуализации освободить примерно 75% полезного пространства в центре обработки данных, улучшить условия обучения молодых талантов из академии ФК Ливерпуль, а также обеспечить немалый «запас прочности» при работе с большими массивами информации, выбрав для решения этой задачи сеть хранения данных EqualLogic PS6000X. Подробнее о том, как команда Dell помогала команде футбольного клуба «Ливерпуль» читайте ниже под хабракатом.
Читать дальше →
Total votes 28: ↑15 and ↓13+2
Comments19

Есть ли порох в пороховницах? Hackathon Radio Canada 2018 (Часть третья — На Старт! Внимание! Марш!)

Reading time43 min
Views1.5K
Представляю вам третью часть моего, немного затянувшегося, рассказа.

Получив положительную оценку первой и второй частей, я не хотел заставлять читателей ждать слишком долго, но жизнь и реальность вносит свои коррективы.

image

За 2 дня до начала хакатона Radio Canada прислали письмо в котором сообщили, что нашей команде выделен ментор — Patrick Lévesque. Для меня это было несколько неожиданно, хотя, наверное, об этом что-то было написано на сайте и было сказано во время предварительной презентации. Видимо, я пропустил это мимо ушей. Так или иначе, это добавляло уверенности, что нам будет у кого попросить помощи в случае возникновения каких-либо вопросов.

Вторник, среда, четверг рабочей недели пролетели стремительно как всегда. Предвкушение приключения нарастало. И к пятнице достигло своего пика. Жена была предупреждена, что на выходные, начиная с пятницы, я выпадаю из жизни и исчезну с радаров.

Итак после работы в пятницу я в боевом настроении направился снова в Дом Радио.
Читать дальше →
Total votes 6: ↑6 and ↓0+6
Comments0

Автомасштабирование приложения под нагрузкой, развернутого в Yandex Managed Service for Kubernetes

Level of difficultyMedium
Reading time11 min
Views2.6K

Всем привет! Я работаю Dev-Ops инженером в небольшой команде и мы уже 4-ый месяц используем Yandex Cloud для наших сервисов. Так сложилось, что с Kubernetes и облачными вычислениями я столкнулся впервые, поэтому многое приходится изучать на ходу, иногда на "горьком" опыте. На данный момент наши микросервисы развернуты в зональном кластере Kubernetes с одним рабочим узлом, по одной реплике на каждый Deployment. Это означает, что никакой отказоустойчивости и масштабируемости нет и при малейшей нагрузке приложения упадут.

Поэтому, пока нагрузка идет только от команды разработчиков, я решил заранее побеспокоиться об отказоустойчивости наших сервисов, развернутых в Yandex Managed Service for Kubernetes. Сегодня я разверну на своем облаке Kubernetes кластер и покажу как будет вести себя автомасштабируемое приложение под нагрузкой. Для управления инфраструктурой воспользуемся Terraform, для имитирования нагрузки сервисом Yandex Load Testing (в стадии Preview) от Yandex Cloud.

Го масштабировать!
Total votes 2: ↑2 and ↓0+2
Comments0

Преимущества размещения в Нидерландах, Дата Центр EvoSwitch

Reading time16 min
Views82K
В этой публикации я хотел бы немного рассказать о преимуществах размещения в Нидерландах, нидерландском Дата Центре EvoSwitch, в котором размещаемся, о плюсах и минусах в работе с этим ЦОД (центром обработки данных).


Читать дальше →
Total votes 64: ↑48 and ↓16+32
Comments72

Этой индустрии нужен новый герой: ARM врывается с двух ног Part II

Reading time14 min
Views8.3K

Привет! Это снова я :)

Первая статья из цикла “Скандальное разоблачение x86: ARM врывается с двух ног” получила отклик больше, чем я ожидал: 155+ комментариев и 55 плюсов. Спасибо всем за активное обсуждение — в комментариях получился холивар с кучей интересных мыслей по сабжу. 

В конце той статьи я сделал голосование, чтобы узнать, ждут ли читатели Хабра продолжения?

66.6% (600+ голосов) ответили “да”

26% отметили, что они — человеки-пауки :D

7.3% не хотят

В общем, спрос адский (не удержался от каламбура), а поэтому пришло время для второй части. Кстати, в конце будет новое голосование :)

Дропдаун
Total votes 19: ↑17 and ↓2+19
Comments14

Что скрывает в себе DEFAULT TRACE?

Reading time11 min
Views15K


Часто вспоминается первая работа… Средненький офис, моник 943N и обогреватель Pentium D под ногами. Как возникал из ниоткуда Борис (нет… не Борис «Бритва») с линейкой в руках и настойчиво просил не делать «больно» серверу.

Именно в те далекие времена я впервые познакомился с профайлером. Пользовательские трейсы оказались очень кстати при отладке приложений и поиске медленных запросов. Потом для себя я открыл DMV и XEvents… и профайлером стал пользоваться реже. Причина такого поступка проста – трейсы очень ресурсоемкие.

Однако, данную функциональность не стоит преждевременно придавать анафеме. Начиная с 2005 версии при установке SQL Server по умолчанию создается легковесный системный трейс, который хранит в себе много полезной информации.
Подробнее
Total votes 12: ↑11 and ↓1+10
Comments4

Пишем 2D игру на JavaScript и Canvas. Часть 2. Графика

Level of difficultyEasy
Reading time18 min
Views6.5K

Привет!

Продолжаем создавать браузерную игру с использованием чистого JavaScript и элемента Canvas. Добавляем графику, вращения, гравитацию и адаптируем игру для мобильных устройств.

Читать далее
Total votes 11: ↑11 and ↓0+11
Comments12

Технический обзор систем NEC HYDRAstor HS8 и не только

Reading time13 min
Views5K
Когда в нашей стране люди слышат название компании NEC первым делом люди старшего поколения вспоминают вот это:

Те кто чуть моложе вот это:

(под катом много картинок)
Но на самом деле все намного интереснее...
Total votes 4: ↑3 and ↓1+2
Comments8

Поиски фундаментальных данных для акций через API Financial Modeling Prep

Reading time127 min
Views9.8K
Недавно мне понадобилось обработать экономические показатели для нескольких тысяч американских акций.

Их невозможно было получить через привычный скринер бумаг вроде яху финанс, потому что методика расчёта нестандартная.

В качестве поставщика данных использовался сервис FinancialModelingPrep, который в 2019 году был бесплатен, но в 2020 году уже нет.



В статье разбираюсь в нюансах формирования запросов к базе данных сервиса. А ещё исследую глубину доступных финансовых отчетов компаний за прошлые годы.
API Financial Modeling Prep
Total votes 4: ↑4 and ↓0+4
Comments6

«Направления» Рувеба

Reading time8 min
Views2.3K

Статья задумана как констатация существующей проблемы – сравнительно низкого качества российских веб-ресурсов, и как стартер для серии предстоящих публикаций, развивающих эту тему. Обозначить проблему – единственная ее цель, поэтому она не предполагает какого бы то ни было анализа, тем более готовых ответов на логичный вопрос «что делать?».

В отличие от российских дорог (используются здесь в качестве метафоры), космоса, науки, медицины, образования, экономики и с чем еще наши дела обстоят не лучшим образом, развитию которых традиционно что-то мешает, как то яйц, простите, санкции, шпионы и иноагенты, встречный ветер, сглаз и т. п., пример веба примечателен.

Во-первых, он по природе своей децентрализован и в настоящее время на удивление демократично не стеснен законодательством – во-вторых.

Объяснить состояние российского веба одной лишь неблагоприятной экономической обстановкой вряд ли получится. Как мы увидим из представленных в статье данных, в Китае, в котором перечисленные выше, а заодно и другие сферы деятельности находятся в менее удручающем и более оптимистичном состоянии, качество веба также оставляет желать лучшего.

Технологии и наилучшие практики, использующиеся во всем мире для строительства веба, доступны повсеместно и многие из них open source и free. Сам процесс строительства не требует капитальных вложений, требующихся на строительство дорог, газопроводов, запуск космических станций. Поэтому, в отличие от прочих глобальных составляющих жизни любого общества, применительно к вебу вопрос «почему он у нас такой хреновый?» не является риторическим.

Поехали!..
Total votes 12: ↑5 and ↓7-2
Comments7

Mein Konfig: экскурсия по dotfiles

Reading time76 min
Views14K
Приветствую! Я люблю рассматривать чужие dotfiles и рассказы об устройстве рабочего места и окружения. Во-первых, любопытно как работают другие люди. Во-вторых, нередко находишь какой-нибудь полезный трюк или идею. А повышение продуктивности разработчика ПО часто идёт за счёт, казалось бы, мелочей (много кто помнит, что Ctrl-T посылает SIGINFO сигнал, показывающий прогресс копирования cp или dd?). Вот и решил рассказать про своё рабочее окружение, в том числе dotfiles. Перечислю список секций этой статьи, чтобы было примерное представление о чём пойдёт речь: Ввод, ОС, ФС, X11, MRA и MDA, Сеть, Jail, Демоны, MTA, MUA, WWW, PGP, IRC, st, tmux, cd, git, zsh, zsh completion, zsh history, ZLE, zsh prompt, zsh misc, less, grep, .zshenv, autoenv, .zprofile, t, Музыка, mpv, Картинки, Архивы, Feeds, Hjson, *tex*, File transfer, Games, БД, ЯП, Python, Go, C, redo, TAI64, Vim, tags, .vimrc, ~/.vim/pack, ~/.vim/plugin, ~/.vim/ftplugin. Безусловно будут спорные holywar высказывания, так что везде иметь в виду и добавлять фразу «по моему личному мнению».


Читать дальше →
Total votes 17: ↑16 and ↓1+18
Comments14

Кто потерял ключи: по следам SSH

Reading time8 min
Views39K


В 2015 году поднялась большая шумиха, когда по всему миру на различных узлах были обнаружены одинаковые SSH-отпечатки. Далее шума дело не пошло, но осадок остался. Попробуем разобраться, в чем основная опасность таких «дублей». Большая часть собранных данных актуальна для 2015 года.
Читать дальше →
Total votes 20: ↑20 and ↓0+20
Comments9

Как мы сократили время на разработку скоринговых моделей в пять раз, переключившись на Python

Reading time10 min
Views23K
image

Сейчас все очень много говорят про искусственный интеллект и его применение во всех сферах работы компании. Однако есть некоторые области, где еще с давних времён главенствует один вид модели, так называемый «белый ящик» — логистическая регрессия. Одна из таких областей – банковский кредитный скоринг.
Читать дальше →
Total votes 16: ↑13 and ↓3+10
Comments22

Et tu, Brute? Что хотят от нас брутфорсеры?

Reading time16 min
Views18K

Каждый владелец сервера с «белым» IP-адресом наблюдал в логах бесчисленные попытки подключиться к серверу по SSH с разных точек мира. Администраторы ставят средства противодействия, такие как fail2ban, переносят SSH на другие порты и всячески пытаются защититься от брутфорсеров. Но чего же хотят эти замечательные люди от наших серверов?

Поверхностный ответ, конечно, прост: наживы на бесплатных вычислительных ресурсах и полученных чувствительных данных. Но этот ответ недостаточно подробный. Давайте разложим виртуальные «приманки» и проследим, что происходит, когда автоматический брутфорс оказывается успешным.
Читать дальше →
Total votes 84: ↑84 and ↓0+84
Comments32

Железо не подведет. Как я готовлю к бою десятки серверов в день

Reading time14 min
Views27K
Проверить один сервер — не проблема. Берешь чек-лист и по порядку проверяешь: процессор, память, диски. Но с сотней серверов такой способ вряд ли хорошо сработает. Чтобы исключить человеческий фактор, сделать проверки более надежными и быстрыми, надо автоматизировать процесс. Кому знать, как это лучше сделать, как не хостинг-провайдеру. Артём Артемьев на HighLoad++ Siberia рассказал, какие методы можно использовать, что лучше запускать руками, а что отлично получается автоматизировать. Далее текстовая версия доклада с советами, которые сможет повторить каждый, кто работает с железом и нуждается в регулярной проверке его работоспособности.



О спикере: Артём Артемьев (artemirk) технический директор в большом хостинг-провайдере FirstVDS, сам работает с железом.
Total votes 45: ↑42 and ↓3+39
Comments51