Написал небольшой мануал по настройке и масштабированию PostgreSQL. Сподвигло меня на это то, что материала по этой теме мало, он устарел или его просто нет.

Скачать можно здесь:
http://github.com/le0pard/postgresql_book/raw/master/postgresql.pdf
Исходники:
http://github.com/le0pard/postgresql_book/

Страница:
http://postgresql.leopard.in.ua/

Существует множество фичей упрощающих жизнь системному администратору. Различные системы удаленного управления позволяют установить ОС на девственно-чистый сервер и сегодня это совсем не проблема. Даже наличие второго винчестера превращает проблему переустановки операционки в банальность. Поэтому в этой статье рассмотрим самый суровый из случаев: пусть на сервере имеется только один полностью разбитый винчестер, а наша задача — удалённо переустановить ОС.

Удивлённо поднимем брови, умиляясь тому, как гибка наша любимая операционка, засучим рукава и приступим к делу.

Борьба со спамом — это головная боль всех ответственных администраторов почты. Чего только они не изобретают, чтобы любимым пользователям лучше жилось. Однако, как показала практика общения со многими системными администраторами, почему-то далеко не все представляют как правильно фильтровать спам.

Чаще всего встречается подход «добавим кучу RBL (DNSBL) и будем радоваться жизни». Подход не верный чуть более, чем полностью. Второй по популярности — контент-фильтры, зачастую купленные за бешеные деньги. Такой подход тоже в большинстве случаев совершенно неоправдан.

А ведь всё так просто, для спокойной жизни достаточно всего лишь пристально присматриваться к трём заголовкам входящей SMTP сессии. Порывшись на Хабре и в закоулках интернета так и не нашёл исчерпывающей статьи на тему правильной настройки SMTP сервера с точки зрения противодействия спаму. Поэтому решил расписать всё, что знаю на эту тему сам и чем успешно пользуюсь.

Кстати: эта статья конечно ориентирована в первую очередь на администраторов, желающих сделать качественный фильтр спама. Однако с другой стороны она содержит очень важные сведения для тех, кому приходится просто работать с почтой, но кто плохо разбирается во всех тонкостях процесса электронной пересылки корреспонденции.

Итак, если вы хотите обезопасить своих пользователей от спама или наоборот, хотите чтобы кто-то случайно не обезопасил пользователей от ваших писем — добро пожаловать под кат.

В комментариях к топику Spring в действии — пробуем opensource CMS на Java я обмолвился об Apache Lenya, одной из opensource CMS на Java, и меня попросили написать о ней подробнее.

Почему Apache Lenya

«Почему CMS на Java?» — первый вопрос, который у меня возник, когда поступили требования от заказчика. Ответ оказался простым: заказчик, крупная корпорация, имел опыт разработки проектов на Java, поэтому доверял ей больше всего. «Java EE» звучит для уха бизнесмена серьёзнее и надёжнее, чем, скажем, PHP. Как обстоят дела с надёжностью и серьёзностью на самом деле не суть важно, но всё же стоит учитывать, что крупные корпорации доверяют продуктам других крупных корпораций.

Summary

Announced: 2010-05-20
Credits: 80sec
Affects: сайты на ngnix+php с возможностью загрузки файлов в директории с fastcgi_pass

Background

Зачастую How-To по настройке связки nginx с php-fpm / php-cgi есть подобные строчки:

location ~ \.php$ {
    fastcgi_pass 127.0.0.1:9000;
    fastcgi_index index.php;
    fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
    include fastcgi_params;
}

Сейчас наличие нескольких подключений к интернет на одном, в том числе и домашнем сервере — не редкость. Городские локалки, ADSL, 3G модемы… Добавим к этому сети домашние локальные и внешние виртуальные (VPN), и получим ядрёную смесь интерфейсов, между которыми необходимо роутить трафик, балансировать трафик между разными каналами в интернет (когда они есть), и переключаться с нерабочих каналов на рабочие (когда они отваливаются).

Судя по постам в инете, большинство людей, столкнувшихся с этой ситуацией, очень плохо представляет себе, как это настраивается. Надо отметить, что в линухе действительно управление роутингом весьма сложное и запутанное — следствие эволюционного развития и поддержки (частичной) совместимости. Я хочу описать принципы настройки роутинга multihomed серверов на конкретном, достаточно сложном, примере: на сервере три физических сетевых интерфейса (один в домашнюю локалку и два к ADSL-модемам), два ADSL-подключения (ADSL-модемы в режиме bridge, так что pppd поднимает этот же сервер) к разным провайдерам (одно со статическим IP, второе с динамическим), плюс VPN на сервер компании — итого шесть интерфейсов.

Тема достаточно сложная, поэтому для понимания материала потребуется хотя бы минимальное понимание работы роутинга (что такое default route и gateway), файрвола (маркировка пакетов, отслеживание соединений, связь между разными таблицами и цепочками файрвола и роутингом), pppd (скрипты ip-up/ip-down) и протоколов IP и TCP.

В вашей системе время играет важную роль? Ваши пользователи/компоненты распределены по территории всего земного шара, или хотя бы нашей необъятной родины? Значит, вам нужны часовые пояса. Что ж, это просто. Самое сложное, что вам придется сделать — не запутаться. Об этом мы с вами и поговорим. Для начала вам нужно научиться правильно думать. Думая правильно, все остальное будет для вас либо самоочевидным, либо достаточно простым.

Начнем с часов. Все мы привыкли определять время, глядя на часы на стене. При работе с часовыми поясами такое время называется Wall clock time. В принципе, ничего плохого в нем нет, только в разных местах земного шара в один и тот же момент времени часы показывают разное время. Если задаться целью, можно придумать алгоритм перевода wall clock time одного часового пояса в wall clock time другого. Обычно надо прибавить/отнять разницу в часах между часовыми поясами, кроме (внимание) моментов перехода на летнее/зимнее время. Вот когда начинается переход, вычисления становятся по-настоящему сложными.

Нам же нужно что-то простое и пуленепробиваемое, как… целое число.

Внимательно читающие Хабр в последние несколько месяцев не могли не заметить, что тема энергоэффективности, экономии ресурсов и «альтернативных источников энергии» поднимается здесь все чаще (например: раз и два). Многие читатели до сих пор отчего-то считают, что «green»-технологии в IT это какая-то "придурь зажравшихся американцев", которые борются зимой против «глобального похолодания», летом — против «глобального потепления», и все это «не для нас», мы прекрасно обойдемся и без этого.

Однако, кроме «экологичности», которая, без сомнения, важна, основную роль в столь большом интересе к энергосберегающим технологиям играют прежде всего простые и вполне очевидные, меркантильные, практические соображения. Если вам кажется, что экономия электричества в датацентре это только лишь «придурь экологов», значит вам не приходилось еще встречаться с по настоящему большими проектами и по настоящему большими счетами за электричество, или же сталкиваться с тем фактом, что лимиты по электропитанию в датацентре останавливают рост вашей IT-инфраструктуры, и, как следствие, прибылей вашей компании.
Например, в конце 2008 года компания Facebook платила около миллиона долларов ежемесячно только по счетам за электричество в своих датацентрах.

Переход на более высокие нормы энергоэффективности в датацентре и экономия ресурсов, в первую очередь электропитания и охлаждения, может принести компаниям экономию средств, выражающуюся во вполне полновесных, и немалых, долларах.
Компания NetApp давно и успешно занимается исследованиями по поиску эффективных решений в IT и «начала перестройку с себя», использовав эти решения в разработке своих собственных датацентров.
Именно об этом сегодняшняя статья.

mysql-proxy — практически идеальное решение для тех, кому нужен дешевый шардинг без переписывания приложений, а также хостинг провайдерам, которым сложно контролировать криворуких клиентов :) но хотелось бы вынести mysql или снизить нагрузку на СУБД без лишних контактов с клиентами.

Итак, есть задача, облегчить жизнь mysql серверу. Доступное решение — master-slave репликация. Всё замечательно, когда у нас есть программисты, которые могут переписать приложение на использование нескольких серверов СУБД, но как быть, если таковых нет? Тут на помощь нам приходит mysql-proxy. Работая прозрачно для клиента, mysql-proxy умеет проксировать запросы нескольких slave & master серверов.

далее будет описание тестов

Сегодня для всех нас праздник. Все дело в том, что любимый нами ресурс Хабрахабр отмечает юбилей. Юбилей под названием «Стотысячный пост». Поздравляю жителей сего ресурса со знаменательным днем. Желаю Хабру еще больше увлекательных статей, нескучных гайдов и меньше криков «не торт» со стороны посетителей.

Посвящается B_dot, пост которого заставил заинтересоваться возможностями консоли плотнее.

Краткое вступление

В этом посте будет рассказано о некоторых сочетания клавиш, которые могут упросить жизнь администраторам, работающим в консоли. Все они работают в bash'e. Сочетания клавиш я дополнительно проверял на циске (Cisco IOS Software, s72033_rp Software (s72033_rp-ADVIPSERVICESK9_WAN-M), Version 12.2(33)SXH4), csh и zsh. Рассмотренное в других записях повторять особо не буду. Сочетания сгруппированы по использованной функциональной клавише.
Особенно полезен этот текст будет людям, которые любят использовать клавиши Home, End и Delete (которые в цисковой консоли «не работают»).

Опен-сорс веб-панелька phpVirtualBox поможет вам управлять вашими VirtualBox виртуальными машинами через ваш браузер. После установки веб-сервера запущенного с vboxwebsrv utility, вы сможете пользоваться веб-интерфейсом который мало чем отличается от программного.

phpVirtualBox может быть запущен на любой платформе.

Торстен Шнайдер, преподаватель с факультета технологий Университета Билефельда, что находится в Германии, выпустил Damn Vulnerable Linux — специальный дистрибутив, который вобрал «все, чего не должно быть в хорошей Linux-системе».

В составе Damn Vulnerable Linux — «ориентированное на взлом» (устаревшее, неправильно настроенное и т.п.) программное обеспечение (Apache, MySQL, PHP и т.п.), а также ряд инструментов для выявления различных проблем, компиляции своих программ, отладки приложений и т.п. Все это разместилось на 1,8-гигабайтном LiveDVD, доступном для скачивания с сайта проекта.

В любой серьезной компании иногда возникает необходимость в том, чтобы сотрудник, уехавший в отпуск, срочно выполнил свои должностные обязанности. Рассмотрим ситуацию, когда компании необходим конкретный сотрудник, например, системный администратор, который в данный момент возлежит на пляже в тысяче километров от душного офиса. Допустим даже, что этот сотрудник согласен выполнить неожиданно свалившуюся ему на голову работу и на курорте есть интернет-кафе. Но вот проблема: кафе располагается в темном переулке, на его компьютерах стоят популярная ОС, трояны, кейлоггеры и прочие хактулзы, так что набирать пароль root'а от главного сервера компании на подобных машинах довольно неразумно.

Существует несколько решений этой задачи. Например, можно использовать одноразовые пароли, а именно систему s/key, использующую для генерации паролей алгоритмы md4 и md5. Об этой системе и будет рассказано далее.

Прелюдия

Доброго времени суток, уважаемые читатели.
Скорее всего, большинству из вас известно, что из себя представляет асимметричный алгоритм шифрования RSA. В самом деле, этому вопросу по всему рунету и на этом ресурсе в частности посвящено столько статей, что сказать о нем что то новое практически невозможно.
Ну что там, ей богу, можно еще придумать и так все давным-давно понятно. Рецепт приготовления прост:
Два простых числа P и Q.
Перемножить до получения числа N.
Выбрать произвольное E.
Найти D=E^-1(mod(P-1)(Q-1)).
Для шифрования сообщение M возводим в степень E по модулю N. Для дешифрования криптотекст C в степень D по все тому же модулю N. Все криптопримитив готов. Берем и пользуемся, так? На самом деле, не так. Дело все в том, что это и в самом деле не более чем криптопримитив и в реальном мире все самую чуточку сложнее.

Мне достаточно часто приходится использовать различные онлайн-сервисы для проверки доступности сайтов и их поверхностных тестов и проверок.
Как показал краткий опрос коллег — почти у всех эти наборы сервисов отличаются. Я хочу показать вам свой, прошу в

Добрый день. Недавно меня заинтересовал модуль ngx_http_gzip_static_module, и я решил погонять мой домашний сервер немного с разными настройками сжатия nginx, чтобы убедится, действительно ли современные процессоры настолько быстрые, что можно ставить сжатие в 9-тку и не париться. В качестве подопытного файла выступала слитая главная страница lenta.ru – 170кб. Во время тестирования обнаружилась интересная особенность, которая изменила мои взгляды на выбор количества процессов nginx.

Очень просто: их надо знать «в лицо». Координационный центр национального домена сети Интернет (КЦ) зарезервировал ряд доменов для защиты интересов органов государственной власти, иных государственных органов и организаций федерального значения. В список входят:

1. Доменные имена:
РОССИЯ.РФ, РОС.РФ, РОССИЙСКАЯФЕДЕРАЦИЯ. РФ, РОССИЙСКАЯ-ФЕДЕРАЦИЯ.РФ, ФЕДЕРАЦИЯ. РФ, ГОС.РФ, ГОСУДАРСТВО.РФ, ФЕД.РФ, СТРАНА.РФ, РФ.РФ;
ПРЕЗИДЕНТ.РФ, ПРЕЗИДЕНТРОССИЙСКОЙФЕДЕРАЦИИ.РФ, ПРЕЗИДЕНТ-РОССИЙСКОЙ-ФЕДЕРАЦИИ.РФ, ПРЕЗИДЕНТ-РОССИЙСКОЙФЕДЕРАЦИИ.РФ;
КРЕМЛЬ.РФ;
ФЛАГ.РФ, ГЕРБ.РФ, ГИМН.РФ;
КОНСТИТУЦИЯ.РФ;
ПРАВИТЕЛЬСТВО.РФ;
МИНИСТЕРСТВО.РФ, МИНИСТЕРСТВА.РФ, МИН.РФ;
РЕСПУБЛИКА.РФ, КРАЙ.РФ, ОБЛ.РФ, ОБЛАСТЬ.РФ, АВТОНОМНАЯОБЛАСТЬ.РФ,
АВТОНОМНАЯ-ОБЛАСТЬ.РФ, ОКРУГ.РФ, АВТОНОМНЫЙОКРУГ.РФ,
АВТОНОМНЫЙ-ОКРУГ.РФ, ФЕДЕРАЛЬНЫЙОКРУГ.РФ, ФЕДЕРАЛЬНЫЙ-ОКРУГ.РФ;

2. Доменные имена, соответствующие названиям органов судебной власти:
ВЫСШИЙАРБИТРАЖНЫЙСУД.РФ, ВАС.РФ и др;

3. Доменные имена, соответствующие сокращенным наименованиям федеральных органов исполнительной власти:
МВД.РФ, ФСБ.РФ, УПРАВЛЕНИЕДЕЛАМИПРЕЗИДЕНТА.РФ, РОСТРУД.РФ, МИНФИН.РФ, РОСМОРРЕЧФЛОТ.РФ, КАЗНАЧЕЙСТВО.РФ, РОСАЛКОГОЛЬРЕГУЛИРОВАНИЕ.РФ, РОСКОСМОС.РФ и др;

Достаточно регулярно на хостинге не оказывается предустановленной библиотеки для той или иной программы. И не всегда хостер удовлетворяет просьбу установить библиотеку требуемой версии. Бывает, что библиотека есть, но устаревшая. Или сломался у хостера сервер, он перекинул сайт на другой, а там более новая версия библиотеки, не совместимая с той, на которой работает программное обеспечение сайта (пользователи Django прекрасно поймут меня). Что делать? Искать опять новый хостинг? Всегда быть готовым переписать свою программу под другую версию библиотеки? Наш путь — поставить её самостоятельно. В самом крайнем случае, придётся просто переустановить её. Кроме бинарных модулей PHP почти все библиотеки для популярных веб-технологий можно поставить к себе в домашний каталог не трогая хостера и не завися от него. Кстати сказать, это можно делать не только на шаред-хостинге, но также и на виртуальных серверах — проекты становятся слабо зависящими от того, кто и как настраивал виртуальный сервер. Сложно?

Вы выкладываете на Хабрахабре гиперссылку на интересный сайт, а он вскорости обрушивается под наплывом посетителей, начинает подтормаживать или вообще перестаёт отвечать.

Вы помещаете в свою блогозапись иллюстрацию с другого сайта, а она вскорости не выдерживает напора зрителей, перестаёт отображаться или сменяется на уродливое уведомление о превышении объёмов выделенного ей траффика.

Таковы бывают неприятные проявления хабраэффекта — естественного DDoS, аналогом которого на Заокраинном Западе является слэшдот-эффект.

Ну а как противостоять естественному DDoS?

Первыми приходят на ум наиболее бесхитростные способы.