Неожиданно поступила задача разобраться почему определенный сайт не работает столь быстро сколь хочется. В основе его CakePHP, в связке с Apache и MySQL. В статье описание процесса поиска узких мест и приведение в порядок на столько, на сколько это возможно.

Название сайта светить не буду — думаю, программисты сами узнают. Скажу лишь, что это приложение для социальной сети нагрузкой 70-150 тысяч посетителей в обычное время. Все усложняется тем, что периодически производится рекламная рассылка, которая привлекает около 200-300 тысяч посетителей за пару часов.

Итак, под катом описание всей борьбы на протяжении 4 дней.

Файервол представляет из себя bash-скрипт, который интегрирует с помощью соответствующих пакетов следующие функции:

1. Файервол внешний и внутренний (пакет iptables).
2. Учёт трафика внешнего и внутреннего (пакет iptables).
3. Прокси-сервер для локальных сетей (пакет Squid).
4. Контент-фильтр для локальных сетей (пакет DansGuardian).
5. DNS-сервер для локальных сетей (пакет BIND).

Для меня все началось с этого поста. Хабраюзер gsandul решил написать книгу-руководство по системе мониторинга The Dude, а я ему помог в меру своих возможностей. Если у вас появилось желание положительно оценить данный пост, то все бонусы автору книги — он это заслужил больше.
Все замечания, пожелания и т.п. пишите, пожалуйста, в комментариях — это позволит учесть ошибки и недочеты в следующих частях книги.
Под катом первая часть.
Итак, приступим.

Что такое онлайн-видео?

Под термином онлайн-видео я понимаю длительное вещание какого-то живого видеосигнала (к примеру, из телестудии). Традиционные средства отдачи видео (flv- и mp4-стриминг) в данном случае не работают, просто потому что файла, содержащего весь видеопоток, не существует.

В этой статье речь будет идти не об организации видеохостинга, а об организации видеовещания в прямом эфире. Это две принципиально разные задачи, и обычно способы их решения существенно отличаются друг от друга.

Сначала писать в сети было сложно, потому что нужно было обладать определённой грамотностью. Потом писать стало легко. Прошло ещё какое-то время, и информации стало настолько много, что возник хаос. Этот хаос породил спрос на софт, позволяющий организовывать окружающую информацию: отсекать лишнее и показывать главное. Людям сейчас нужна такая штука, которая помогает побороть все потоки данных из сети — и при этом не терять важные вещи по работе, в том числе в группе.


^{Примерно так обычно представляют корпоративную социальную сеть}

Наверняка вы знаете примеры таких вещей: это удобные трекеры, удобные системы совместной работы над кодом, RSS-читалки и так далее. Всё это – средства, которые превращают кучу источников информации в организованную структуру. Главные из них — это соцсети: они дают значимую и интересную для вас информацию.

В прошлом месяце Росс Мейфилд выступал с лекций в Digital October, в которой рассказывал о том, как продумывать архитектуру сети, как делать так, чтобы людям там нравилось, и как инициировать живое общение. Заодно он обяснил что не так с G+ и зачем Фейсбуку понадобился Instagram.

Приветствую, друзья!

Все мы наслышаны и троянах-блокировщиках, которые останавливают работу компьютера до получения денежного перевода своим создателям, как правило посредством SMS или оплатой через терминал. Более опытные пользователи никогда их не ловят, а вот их родственники, знакомые и клиенты — часто и регулярно.

Хочу представить вам маленькую программу, которая призвана решить проблему блокировщиков, и более того — делает это в полностью автоматическом режиме. По моему мнению диск или загрузочная флешка с такой программой должна быть абсолютно у каждого человека, ведь у жителей интернета вероятность подхватить баннер-блокировщик есть всегда, а опытные пользователи смогут помочь своим ближним вылечить компьютер всего за пять минут.

Особенно утилита поможет сисадминам и инженерам, занимающимся настройкой клиентских компьютеров. Когда заблокированные компьютеры приносят пачками, быстрое лечение будет экономить вам массу времени и сил. Следуя лёгкой инструкции вы сможете эффективно убрать любой блокировщик, параллельно исправив массу неисправностей в операционной системе.

Что такое NAXSI ?

NAXSI = NGINX ANTI XSS & SQL INJECTION
Проще говоря, это файрвол веб-приложений (WAF) для NGINX, помогающий в защите от XSS, SQL-инъекций, CSRF, Local & Remote file inclusions.
Отличительными особенностями его являются быстрота работы и простота настройки. Это делает его хорошей альтернативой например mod_security и апачу.

Зачем нужен NAXSI ?

Очевидно, лучше всего защищаться от вышеперечисленных атак правильно написанным кодом. Но есть ситуации, когда WAF (и в частности naxsi), поможет:

• Низкое качество кода сайта, при отсутствии возможности/ресурсов все выкинуть и переписать нормально.
• “Закрытый” код, в котором невозможно исправить ошибки.
• Неизвестное качество кода в важном для бизнеса участке.

В один прекрасный день я задался вопросом — как выводить деньги из Paypal в Россию? Есть фишка — прямой вывод денег из Paypal для тех, кто не имеет счёта в Америке закрыт, т.е. не имея bank account в Америке, вы никак не сможете вывести деньги напрямую.

Однако мне было действительно жалко терять большой процент на комиссиях обменников (бешеные накрутки), поэтому я искал выход.

Ниже привожу инструкцию из 8 пунктов.

На Хабре уже рассказывали о сервисе Yaware, который даёт возможность вести учёт работы фрилансеров, а также сотрудников компании, работающих удалённо.

Yaware в автоматическом режиме собирает подробную информацию об использовании рабочего времени: времени проведённом за компьютером, начале и окончании рабочего дня, простоях, использовании различных сайтов и программ.

Начиная с сегодняшнего дня, сервисом могут пользоваться не только пользователи Windows, но и Linux. Для установки нужно создать учётную запись на сайте Yaware и скачать приложение.

Предположим, у вас есть большое приложение написанное на Java. Это может быть web-сервлет размещенный в контейнере или standalone-сервис. В процессе разработки (да и во время эксплуатации) возникает необходимость отслеживать процессы, протекающие в JVM: работу garbage collector, использование памяти, жизненный цикл потоков, а так же иные специфичные для вашего проекта показатели посредством MBean. Самый простой вариант — использовать профилировщик. Но увы, проблемы не случаются по расписанию, и невозможно заранее знать, когда нужно подключить профилировщик, а держать его постоянно включенным тоже не вариант. В таких случаях идеальное решение — непрерывный мониторинг. О нем и пойдет речь. Но для начала пара слов о классической профилировке.

Всем привет!

Сегодня расскажу, как на боевых серверах во время нагрузки, в пыли и грязи, эффективно отлавливать узкие места в производительности больших веб-приложений на PHP, а также искать и устранять «нестандартные» ошибки. Многие из описанных техник мы с успехом применяем на нашем облачном сервисе «Битрикс24».
Информация, надеюсь, пригодится системным администраторам и разработчикам, обслуживающим сложные веб-проекты, а также менеджерам, которые хотят выстроить эффективный и быстрый процесс поиска и устранения узких мест и ошибок проектов на PHP.

Этот материал — дополнение и практическая иллюстрация к предыдущей статье
Работающий трансформатор с деревянным сердечником, или простая грозозащита для компьютеров и телевизоров

С наступлением теплой погоды рабочее место перекочевало в дачный поселок.
Конечно, пришлось забыть о прекрасном стационарном проводном Интернете и вкусить прелестей 3g.

В первую же грозу, отключив модем, меня стали посещать мысли: а не попробовать ли такую же или подобную грозозащиты, как описывалось ранее, но для 3g модема?
Теоретически тут все должно быть неправильно и получиться не должно, но все же попытка была произведена.

Не так давно интернет пестрил новостями о том, что почтовая служба США решила запретить c 16 мая 2012г пересылку устройств, содержащих литиевые аккумуляторы, воздушным способом, тем самым приняв рекомендациии Международной организации гражданской авиации (ICAO) и всемирного почтового союза (UPU) и перекрыв канал огромному потоку электроники из США в страны СНГ.

Первым об этом сообщил CEO Shipito на форуме сервиса, приложив текст на тот момент неопубликованного официального заявления USPS.
Интернеты спорили, будет ли данный запрет действовать или нет, но официальное заявление USPS расставило все на свои места, подкрепив новость апдейтом документа о пересылке литиевых аккумуляторов на официальном сайте.

Mail-Forwarder'ы выжидали. В первые дни никто не делал заявлений о том, что пересылка айпадов и айфонов будет прекращена, все ждали прямых указаний от своих транспортных партнеров, но сначала Shipito, а потом и Бандеролька с рядом форвардеров калибром помельче рапортовали, что пересылку отправлений, содержащих литиевые батареи, они прекращают «до выяснения обстоятельств».

Пора паниковать? Нет, рановато.

Встала как-то перед нами с коллегой простая, в сущности, задача – поставить под мониторинг средствами Zabbix около полутысячи идентичных терминалов под управлением Linux, разбросанных по всей стране. Терминалы принадлежали одной сети – 10.0.0.0/8. Казалось бы, задача совершенно тривиальная. В самом деле – сварганить шаблон, запустить автообнаружение да все найденные хосты автоматом добавлять в группу и накатывать на них этот шаблон. Проще только чаю из пакетика заварить. Засучив рукава, мы взялись за дело…

advbg

О рутине и борьбе с ней

Всем нам очень нравятся продукты VMware! Помимо всеми нами любимого Workstation, WMware предлагает мощнейшие средства виртуализации на корпоративном и мультикорпоративном уровне.

Располагая нескольким гипервизорами ESXi с помощью vCenter Server, установленного, например, на одну из виртуальных машин, живущей на одном из этих же гипервизоров, мы можем довольно легко управлять всеми подключенными гипервизорами, управлять всеми ресурсами, создавать, удалять, править виртуальные машины и т.д. Можем подключиться, например, с помощью vSphere Client и получить довольно приятный вид всей нашей виртуальной инфраструктуры.

Правда в один момент, эта инфраструктура может стать очень большой и неподъемной. Всякого рода администрирование в один момент может занимать слишком времени и отнимать слишком много усилий. Некоторые задачи выполнять периодично, что малость надоедает.

Возникает довольно резонный вопрос, а что из этого всего можно заскриптить и как? Вот тут к нам приходит на помощь PowerCLI.

I think that I shall never see
A graph more lovely than a tree.
A tree whose crucial propertyеу
Is loop-free connectivity.
A tree that must be sure to span
So packets can reach every LAN.
First, the root must be selected.
By ID, it is elected.
Least-cost paths from root are traced.
In the tree, these paths are placed.
A mesh is made by folks like me,
Then bridges find a spanning tree.
— Radia Joy Perlman

Все выпуски

6. Сети для самых маленьких. Часть шестая. Динамическая маршрутизация
5. Сети для самых маленьких: Часть пятая. NAT и ACL
4. Сети для самых маленьких: Часть четвёртая. STP
3. Сети для самых маленьких: Часть третья. Статическая маршрутизация
2. Сети для самых маленьких. Часть вторая. Коммутация
1. Сети для самых маленьких. Часть первая. Подключение к оборудованию cisco
0. Сети для самых маленьких. Часть нулевая. Планирование

В прошлом выпуске мы остановились на статической маршрутизации. Теперь надо сделать шаг в сторону и обсудить вопрос стабильности нашей сети.
Однажды, когда вы — единственный сетевой админ фирмы “Лифт ми Ап” — отпросились на полдня раньше, вдруг упала связь с серверами, и директора не получили несколько важных писем. После короткой, но ощутимой взбучки вы идёте разбираться, в чём дело, а оказалось, по чьей-то неосторожности выпал из разъёма единственный кабель, ведущий к коммутатору в серверной. Небольшая проблема, которую вы могли исправить за две минуты, и даже вообще избежать, существенно сказалась на вашем доходе в этом месяце и возможностях роста.

Итак, сегодня обсуждаем:

• проблему широковещательного шторма
• работу и настройку протокола STP и его модификаций (RSTP, MSTP, PVST, PVST+)
• технологию агрегации интерфейсов и перераспределения нагрузки между ними
• некоторые вопросы стабильности и безопасности
• как изменить схему существующей сети, чтобы всем было хорошо

Постановка задачи

Описание проблемы

В работе активно используется Xen с HVM виртуализацией. Часто бывает нужно получить доступ к консоли виртуальных машин, причем в том числе и тем, у кого доступа на севера с Xenом нет. У Xenа для этого есть возможность создавать для каждой виртуальной машины VNC-консоль, но каждый раз подключаться через VNC вручную неудобно.

Задача

Сделать веб-страницу со списком запущенных виртуальных машин и внедренным в нее VNC-апплетом, который можно открыть по нажатию ссылки. По пути разобраться с тем, как можно работать с Xenом из Питона.

Что получилось

Список запущенных domU

Сама VNC-консоль

У великого русского поэта Тютчева не было компьютера и сети, иначе он бы не писал: «Люблю грозу в начале мая». В последние годы актуальность грозозащит стала поменьше — оптика, беспроводные технологии, но все же все же.
Если к вам в квартиру заходит кабель, и этот кабель — не оптический, гроза представляет угрозу для вашего оборудования.

Если у вас есть телевизор и он подключен к общей сети — кабельное ТВ, коллективная антенна (вдруг) — к чему угодно, что находится за пределами квартиры, гроза представляет угрозу для телевизора, (причем даже бОльшую, чем для компьютера).

Всем привет!

Хочу немного рассказать о семействе оборудования для Центров обработки данных от CISCO – CISCO ACE (Application Control Engine). В этой статье будут затронуты такие вопросы как предназначение устройств, архитектурные особенности, возможности применения, настройка основных функций. Больших тонкостей работы материал не предусматривает, скорее рассчитан на тех, кто думает о внедрении подобных устройств, пытается сделать выбор, хочет понять как такое оборудование поможет оптимизировать сетевую инфраструктуру, повысить доступность и время внедрения сервисов.

Доброе время суток!
… заказчик востребовал мониторинг MongoDB. Покопавшись в просторах интернета, наткнулся на статью про онлайн систему мониторинга MongoDB (MMS), но данный вариант не совсем подходит так как: во первых данные статистики не должны уходит дальше своих серверов, во вторых в компании была поднята отличная на мой взгляд система мониторинга Zabbix. На оф сайте MobgoDB в разделе мониторинг и диагностика было упоминание за готовый плагин к Zabbix’у от Mikoomi «MongoDB Plugin».