Беспрецедентные объемы данных заставляют разработчиков и бизнес приглядываться к альтернативам реляционных баз данных, используемым вот уже более тридцати лет. В совокупности все эти технологии известны как «NoSQL базы данных».


Основной проблемой является то, что реляционные базы данных не могут справляться с нагрузками актуальными в наше время (мы говорим о high-load проектах). Есть три конкретные проблемных области:

• горизонтальное масштабирование при больших объемах данных, например как в случае Digg (3 терабайта для зеленых значков, отображаемых, если ваш друг сделал dugg на статье) или Facebook (50 терабайт для поиска по входящим сообщениям) или eBay (2 петабайта в целом)
• производительность каждого отдельного сервера
• не гибкий дизайн логической структуры.

Иногда возникает необходимость запустить виртуальную машину на хосте без иксов. Я расскажу о том как это сделать, имея доступ к хостовой системе только по ssh + rdp (Remote Desktop Protocol). процесс я буду описывать для OC Ubuntu 9.10 в качестве хоста.

Данная статья написана моим другом, который профессионально занимается созданием высоконагруженных сетевых решений, в том числе систем противостояния DDoS аткам.
По его просьбе публикую ее на хабре. Если статья понравиться, он будет рад инвайту на адрес hl.squirrel@yahoo.com.

Попытаюсь вкратце описать схему решения комплексной защиты от разных типов DDoS атак высокой интенсивности. Подобное решение успешно протестировано и функционирует на сервисе stop-ddos.net
Схема основывается на отделении системы защиты (фронтенда) от сервера приложений (бэкенда).

Существует 3 основных типа DDoS атак:

• атака, направленная на переполнение ресурсов канала в интернет;
• атака, направленная на превышение максимального количества одновременных соединений сервера (SYN флуд);
• атака, направленная на исчерпание процессорных мощностей сервера (частое запрашивание страниц — HTTP флуд).

Решение должно обеспечивать защиту от каждого типа атаки.

Сегодня, мы с гордостью представляем КЕНГУРУ.ТВ — бесплатный и легальный онлайн-кинотеатр. А очень тонкая аллюзия между заголовком и текстом станет ясна в конце :)

Сам по себе процесс легализации контента в Интернет — очень горячая тема. На том же Хабре, да и не только, вы всегда найдете некий процент комментариев, в которых ярко выражена одна идея — контент, если он кому-то принадлежит, нужно легализировать. Фильмы, музыку, тексты (думаю многие блогеры поняли о чем речь), фотографии. И как это не странно, когда дело доходит до дела, евангелисты лицензирования куда-то пропадают. Исчезают. Просьбы, на прямую обращенные к ним не получают ответа, энтузиазм куда-то улетучивается. Да и вообще… От чего же так происходит?

По-моему мы разобрались в чем дело!

Итак, я перепробовал множество мануалов для поднятия Йоты, и у меня ничего не получилось. Пришлось все равно додумывать за авторов и править ручками. И вот он, готовый ман для поднятия йоты без проблем.

Думаю, каждый из нас с вами сталкивался с проблемой, когда из-за глюка прошивки фотоаппарата, камеры, кпк, смартфона или просто из-за особого устройства /dev/hands карточка была отформатирована, данные были удалены. В свое время данную проблему я решал достаточно просто, используя Portable версию Ontrack Easy Recovery, но так как уже несколько лет являюсь пользователем linux систем, то использование данного нелицензионнного приложения через wine показалось не совсем кошерным, к тому же жажда исследований и приключений требовала найти бесплатный родной аналог для linux систем. Исследования закончились, даже не успев начаться, так как первая строчка в поиске Google привела к набору утилит TestDisk, о которых я расскажу далее подробнее.

Мне часто приходится сталкиваться с задачами, требующими от базы данных очень большой производительности при обработке больших массивов данных. Сегодня я расскажу об очень простом, но действенном приеме, который может вас выручить, если база уже не поспевает за тем количеством данных, которые скапливаются и должны быть обработаны. Метод не зависит от базы данных, но по привычке публикую в блог PostgreSQL, и пример будет именно на ней. Давайте сразу перейдем к примеру.

Собрался я тут посмотреть кино в обновленной убунте, а получил довольно психоделичную картинку (к конкретному концертнику такие цвета конечно подходили еще как, но я почувствовал, что что-то тут не так).

Когда в Украине начался так называемый «кризис», он повлек за собой массовые сокращения рабочего персонала. Под сокращение попало много моих коллег-системных администраторов, которые сразу задались поиском работы если не на полный день, так хотя бы на частичную занятость по администрированию офисов компаний. В свою очередь компании, поувольняв системных администраторов, мотивировали свое решение экономией бюджета компании и, как выход, видели возможность ИТ-аутсорсинга со стороны других компаний, которые предоставляли такую услугу. Что в этом хорошего а что плохого попытаюсь рассказать на опыте моих коллег и частично своем опыте.

Облачные вычисления – вычисления проводимые в готовой инфраструктуре к которой есть доступ через сеть. Инфраструктура может состоять из тысяч, сотен тысяч вычислительных узлов, дисковых массивов. Все это соединено в единую сеть и функционирует как одна большая вычислительная машина. Все настроено и доступно из «коробки».

Пять параметров, по которым aptitude превосходит (по четвертому параметру не уступает) apt:

1. Логичность синтаксиса. И единство управления.
2. Гибкость поиска.
3. Проставление меток пакетов.
4. Разрешение зависимостей.
5. Интерфейс.

Введение

Коллеги, при разработке приложений, мы каждый день сталкиваемся с потребностью в гибком хранении информации (обновлении, поиске по ней, и т.д.). Класс продуктов, которые решают этот круг задач, как все мы знаем — Базы данных. Но что это такое в нашем понимании? У многих «база данных» твердо ассоциируется с MySQL, таблицами и SQL-запросами. И это устраивает до определенного момента. Действительно, реляционные базы данных дают массу преимуществ в работе: поскольку данные имеют сильную связанность, не нужно контролировать целостность базы данных. Используя простой под-запрос можно выбрать количество комментариев к каждому посту в блоге. Используя JOIN нетрудно делать сложные связанные выборки и получать данные сразу о нескольких сущностях.

Впервые этот инструмент был представлен широкой публике в 2008 году на конференции Highload.ru, после чего был основательно оптимизирован и доработан. О том, что же это за зверь такой и как им удобно пользоваться

Высоконагруженные сайты, доступность «5 nines». На заднем фоне (backend) куча обрабатываемой информации в базе данных. А что, если железо забарахлит, если вылетит какая-то давно не проявлявшаяся ошибка в ОС, упадет сетевой интерфейс? Что будет с доступностью информации? Из чистого любопытства я решил рассмотреть, какие решения вышеперечисленным проблемам предлагает Oracle. Последние версии, в отличие от Oracle 9i, называются Oracle 10g (или 11g), где g – означает «grid», распределенные вычисления. В основе распределенных вычислений «как ни крути» лежат кластера, и дополнительные технологии репликации данных (DataGuard, Streams). В этой статье в общих чертах описано, как устроен кластер на базе Oracle 10g. Называется он Real Application Cluster (RAC).

Статья не претендует на полноту и всеобъемлемость, также в ней исключены настройки (дабы не увеличивать в объеме). Смысл – просто дать представление о технологии RAC.

P.S. Beware of the многабукаф
Продолжение статьи

Продолжение статьи про Real Application Cluster (RAC). Окончание.

Начало статьи

Наверное на многих трекерах есть какой-то список одобренных к использованию torrent-клиентов, а так же запрещённых (клиентов вообще, либо каких-то определённых версий). Под linux есть много разных torrent-клиентов, у каждого свои достоинства и недостатки, но в списках разрешённых они всё равно появляются крайне редко.

Буквально вчера я написал пост о том, как сложно хранить в удобном виде информацию о задачах/событиях в сети и при этом всегда иметь возможность ее контролировать. Решение я все же нашел, и оно довольно ценное.

Remember The Milk + ...

Всем хорошо известен этот сервис, но до сих пор неясно, как широко он используется и используется ли он по-полной читателями хабра. Русской документации он не имеет, поэтому я хочу вкратце на примерах рассказать, что он умеет и чему его еще можно научить.

Для начала стоит уяснить, зачем он нам вообще нужен? В своем роде это публичный календарь (или не публичный — на ваше усмотрение), который позволяет работать с ToDo-листом, различными событиями, а так же предоставляет нам напоминания с различными настройками по времени.
Проще говоря, это инструмент «блокнот + ручка» с кучей возможностей, который хранится в сети.

0. Это что такое?

Расскажу о новой версии самого популярного загрузчика. Она появилась опционально в стабильном Debian 5.0 Lenny, а значит можно сделать вывод о некоторой стабильности. К сожалению, по словам самих разработчиков, на документацию времени нет, поэтому всё пока работает методом тыка, логики и комментариев в коде :)
Кстати, о версиях. Первой и пока основной считается ветка 0.9x(которую уже окрестили GRUB Legacy), а версии 1.хх официально называются GRUB 2.
Итак, чем же отличается эта версия от старого доброго дефолтного загрузчика всего и вся? На официальном сайте сказано примерно так:

• Поддержка скриптов, в частности циклов, условий, переменных и функций
• Графический интерфейс
• Динамическая подгрузка модулей, позволяющая расширять функционал не на этапе сборки, а прямо во время выполнения
• Переносимость на разные архитектуры
• Интернационализация
• Настоящее управление памятью, делающее GNU GRUB более гибким
• Модульный, иерархичный, объектно-ориентированный фреймворк для файловых систем, файлов, устройств, дисководов, терминалов, команд, таблиц разделов и загрузчиков операционных систем
• Кроссплатформенная установка, позволяющая установить GRUB с другой архитектуры
• Безопасный режим для трудных случаев. Stage 1.5 ликвидирована
• Исправление ошибок, которые были допущены при проектировании GRUB Legacy, и не могли быть исправлены из-за требований обратной совместимости. Например, способ нумерации разделов

Движок MediaWiki версии 1.15.1 содержит около 38 мегабайтов файлов.

При пристальном вглядывании нетрудно углядеть, что из них содержимое каталога languages/messages (в котором переводы интерфейса MediaWiki на сотни разных языков мира, живых и мёртвых) составляет 30 мегабайтов, а всё остальное, соответственно, около 8 мегабайтов.

Развитие услуг хостинга в России находится ещё не на особенно высоком уровне, так что стоимость хостинга тридцати восьми мегабайтов кода может значительно отличаться от стоимости хостинга восьми с небольшим мегабайтов, как вы и сами можете убедиться, когда начнёте подбирать площадку для информационного сайта. Поэтому некоторый интерес может представлять вопрос о том, как же от вики отпилить все языки, кроме единственного необходимого.

Оказывается, в описании директивы $wgLanguageCode изложен способ, позволяющий вырубить возможность выбора языка пользователем. После этого становится можно зайти в каталог languages/messages, чтобы поубивать в нём все ненужные языки — и тем невозбранно достигнуть желаемого.

Небольшие вики могут последовать этому рецепту, чтобы оставаться действительно небольшими.

Случилась на днях, как всегда, не в самый подходящий момент, DDoS-атака на один из сайтов, размещенных на моем сервере. DDoS-атаки бывают разные, в этот раз злоумышленники запустили HTTP флуд.

Флуд был не столько тяжелый по трафику, сколько интенсивный по количеству запросов. Причем, как назло, запросов не однотипных, а постоянно меняющихся. Все, что у меня на тот момент было из софтовых средств защиты, не могло эффективно справиться с таким флудом, поэтому пришлось использовать железные решения.

Железные решения я считаю правильным выбором, но доступны они не всем и не всегда, а многие атаки, как показала моя практика, успешно отбиваются правильным использованием доступных программных средств. К тому же, захотелось немного поэкспериментировать.