После разочарования в Serverloft поиск провайдера был активно продолжен, и после долгих дискуссий было решено остановиться на hetzner.de. Небольшие недостатки есть, но в целом отзывы о нем очень положительные. Разумеется, требование к серверам было то же — возможность установить FreeBSD. Официально Hetzner не поддерживает автоматическую установку FreeBSD, но уважаемый %username% подсказал, что у них в вики есть статья по установке FreeBSD, используя их Rescue систему. Я бегло проглядел статью в вики — вроде все понятно. Итак, сервер приобретен, подготовлены скрипты для деплоя всего и вся, но… Оказалось, что не все так просто…

Спойлер для тех, кому лень читать полностью: негатив в посте отсутствует, много извращений и хеппи-энд присутствуют :)

Данная заметка является шпаргалкой для новичков в установке нормально работающего комплекса, описанного в заголовке. Все пункты установки протестированы несколько раз на разных vds, поэтому проблем с нехваткой чего-то быть не должно, как это обычно бывает, когда ставишь что-то по мануалам, надерганных из разных источников. Подробно описания настроек и «тюнинга» в заметке нет, т.к. это всё очень индивидуально и требует понимания что, как и зачем делается, а это невозможно охватить в одной даже очень большой шпоре.

Зачем всё это? — спросите вы. Да просто захотелось поделиться с общественностью некоторым опытом, полученным в процессе оптимизации vds под нужды одного общеизвестного блого-социального движка, который на обычном хостинге чувствует себя, мягко скажем, некомфортно.

Началось всё с того, что я ушёл от firstvds, где уже ничто не спасёт от тормозов. Ушел на ганди.нет, взял одну шару (1 share), которую дали на месяц бесплатно. Кстати, акция эта (This summer, your server is free!) вроде еще не закончилась. ;) И начал на этой шаре проводить зверские эксперименты с установкой разного ПО. Тестировал результаты с помощью siege.

В итоге конфигурация из сабжа оказалась самая быстрая. Опытом её установки и настройки я и хотел бы с вами поделиться.

С репликацией серверов MySQL я познакомился относительно недавно, и по мере проведения разных опытов с настройкой, записывал, что у меня получалось. Когда материала набралось достаточно много, появилась идея написать эту статью. Я постарался собрать советы и решения по некоторым самым основным вопросам, с которыми я столкнулся. По ходу дела я буду давать ссылки на документацию и другие источники. Не могу претендовать на полноту описания, но надеюсь, что статья будет полезной.

На проекте «Рейтинг Рунета» опубликован рейтинг веб-студий России за 2009 год. Компании проранжированы по объему активного клиентского портфеля. Это первый общероссийский рейтинг, сформированный на основе объективных показателей.

В основе методологии рейтинга лежит клиентский портфель веб-студии — все актуальные сайты, которые разработала компания к концу 2009 г. Балл зависит от показателей тематического индекса цитируемости (тИЦ) и PageRank (PR), авторитетности сайтов для поисковых систем Yandex и Google. Рейтинг строится на открытых данных и его организаторы никак не могут влиять на его результаты.

В каждом рейтинге веб-студии можно фильтровать по цене услуг. Сервис выделяет 7 ценовых коридоров: от 50 тыс. руб за сайт до 700 тыс. руб и более. Эта функция позволяет потенциальным заказчикам выбирать разработчика, исходя из своего бюджета на создание сайта. Также, ценовой информер достаточно наглядно показывает распределение участников рейтинга по ценовым нишам — как в ТОП-100, так и в любом другом «срезе».



Рейтинг представлен в виде ТОП-100 ведущих веб-студий русскоязычной части Интернета. В таблицу включены разработчики русскоязычных сайтов с офисами в России и странах СНГ.

Я веб-разработчик. Но я люблю фотографировать и смотреть чужие фото. Есть отличный ресурс photosight.ru, на котором есть много отличных фото.

Но вот незадача — каждый день просматривать данный сайт у меня не хватало времени, да и временами он страшно тормозил. В плюс к этому мне хотелось вести архив фотографий которые мне понравились, что бы потом их иногда пересматривать.

Именно по этому 3 года назад я написал парсер, который вытаскивал с фотосайта фото которые могли бы мне понравится (анализируя комментарии, рейтинги, etc..) и складывал их мне в папочку, которую я раз в неделю просматривал. Несколько моих друзей захотели ко мне присоединиться, и я открыл к этому веб-интерфейс. Так и случился мой первый стартап.

Всем привет!

Вдохновленный недавним топиком про плагин Вконтакте для Амарока, решил написать подобие для своего любимого плеера Exaile.

Недавно я писал для одного заказчика обзорный документ по безопасности web приложений, после чего я подумал, что было бы неплохо выложить его на общее обозрение.
Статья написана для непрофессионалов, поэтому дабы сделать ее более интересной для притязательных пользователей хабра, я разбавил текст некоторыми случаями из жизни.

Однажды вечером я почувствовал, что пришло время расширить 97‐ й параграф «Ководства» Артемия Лебедева.

На клавиатуре одна чёрточка, она обычно правее нуля и повыше букв «З» и «Х». Неосведомлённые люди называют её попеременно то дефисом, то минусом, то тире. Лебедев объясняет нам, что это четыре (учитывая две разновидности тире) различных символа. На самом деле их как минимум девять, и об этом я и расскажу вам сейчас.

Доброго времени суток!
Сегодня я хотел бы рассказать о методе разрешения некоторых рекуррентностей и разобрать классический пример на эту тему.

Периодически перед многими из вебмастеров возникает задача определить хостера, у которого живет тот или иной сайт. Мотивация для этого бывает самая разная, как простое любопытство, так и желание поселиться по соседству на хорошем и стабильном хостинге или наоборот не вляпаться в такое соседство. В этом посте я приведу несколько известных мне методов с их достоинствами и недостатками. Вполне возможно, что он неполон, поэтому дополнения всячески приветствуются.
Так же «на берегу» оговорюсь: все упомянутые ниже сайты и хостеры упомянуты исключительно как наглядные примеры, и ни в коем случае не в качестве рекламы или, упаси господи, антирекламы. Выбор оных был сделан так же практически случайно — где какие методы у меня в свое время срабатывали, то и привожу.

Способы я перечисляю в порядке убывания точности и, к сожалению, в порядке возрастания вероятности срабатывания.

1. NS-сервера

Даже странно, что забыл упомянуть с самого начала. Спасибо variable За напоминание. Очень часто люди пользуются NS-серверами хостера и при помощи whois'a мы моментально узнаем хостера.

Плюсы

• Очень часто срабатывает на шаред-хостингах

Минусы

• Зачастую пользователи VPS и дедиков, а так же продвинутые пользватели на шаред-хостингах пользуются своими DNS-серверами, либо используют свои поддомены.

2. Ошибка 403/404

Не могу сказать, что большинство, но немало серьезных хостеров страницы ошибок веб-сервера по умолчанию делают с информацией о себе, а многие их клиенты забывают/ленятся их переопределить. Поэтому в первую очередь стоит попытаться вызвать такую ошибку и посмотреть, что получится. Бывает так, что CMS на сайте при помощи mod_rewrite перехватывает запросы к несуществующим файлам и отдает в ответ свою 404-ю ошибку. Это можно попробовать обойти, вызвав ошибку 403 путем обращения к какталогу без индексного файла. Им может быть папка с картинками/шаблонами, папка для загруженных файлов, кэша движка, системная папка типа includes и т. п. Небольшой хинт — иногда на странице ошибки есть email вебмастера и часто из него можно узнать домен сайта хостера.

По мотивам предыдущей статьи, только в этот раз собираем статистику для веб сервера nginx.

Заметка посвящена не столько возможным методам защиты (о них уже было много написано), сколько обзору небольшого списка для быстрой проверки при подготовке к возможных скачкам посещаемости. Судя по статистике нагрузки на электронные магазины на прошлой неделе (когда начался рождественский сезон продаж на Западе), даже для крупных магазинов время ответа может колебаться на 20%, что же говорить о менее крупных веб-сайтах?

Такую проверку обязательно нужно проводить перед выпусками новых продуктов, а также перед сезоном массовых покупок (для России это время в канун Нового Года и Рождества). Итак, с чего начать?

По моим наблюдениям, разработчики довольно редко делают нагрузочное тестирование сайтов и веб-приложений. И бывает так, что выставят проект в Интернет, а тут вдруг посетители начнут ходить (хабраэффект, к примеру, случился), и сайт в самый подходящий момент ложится или начинает не по-детски тормозить.

Почему бы не избежать этих неприятностей, прогнав нагрузочный тест?

Наверное, кого-то останавливает неверное представление о том, что нагрузочное тестирование — это очень сложное дело, требующее специальных знаний. Однако не боги горшки обжигают. Если выбор — тестировать не слишком профессионально, или не тестировать вовсе, я бы выбрал первое. Тем более, что организовать примитивный тест производительности очень даже просто. Можно воспользоваться онлайн-средствами (см., например, Нагрузочное тестирование по-быстренькому), а можно замутить все своими руками, это ненамного сложнее.

Под катом рассказываю, как с нуля организовать незамысловатый нагрузочный тест сайта при помощи Apache JMeter.

Казалось за 10 лет уже все плохие вещи со мной случились, ан нет, каждый раз сталкиваешься с новыми и с новыми тараканами, и еще неясно какие из них более неприятные, большие и жирные, или мелкие и многочисленные.

К сожалению, чем дальше, тем больше прихожу к мысли, что основной проблемой разработки в России является неумение поставить и настроить процесс. И даже не неумение, а просто непонимание самого процесса. Когда не умеешь — несложно научится. Когда не понимаешь, но думаешь что понимаешь, все гораздо сложнее.

Частая ошибка менеджмента, и тех людей, кто на процесс влияют в том, что они считают, что все просто. Что процесс создания ПО не сильно отличается от процесса строительства дома. Что нагнал таджиков, дал им прораба, прорабу план в руки, показал где у плана верх где низ (что бы вместо маяка не получился колодец), и все, готовься стричь капусту.

   Если до начала конкурса Miss SYS Rus ответ на вопрос «Девушки-айтишницы – миф или реальность?» не давал покоя бОльшей части зарегистрированных хабраперцев, то после его окончания не осталось никаких сомнений – IT-девушки есть! Они одинаково легко орудуют паяльниками и перфораторами, пишут GreaseMonkey-скрипты; у них такие же мониторы, клавиатуры и гаджеты, вскрытые корпуса и толстые вязанки пачкордов на фоне. Среди них есть красивые, очень красивые и «о боже мой, заберите меня к себе!»



   Самая необычная «перепись» в истории Хабра завершилась. Страсти вокруг конкурса не утихали ни днем, ни ночью, ни в будни, ни в выходные. Сначала DDoS из фотографий девушек в серверных комнатах, затем смерч информационной борьбы: тысячи голосов и комментариев… даже удивительно, как мы за всем этим уследили! Да много чего было – всего так и не расскажешь.

А хотите посмотреть, что из всего этого получилось? Добро пожаловать под кат!

В погоне за оптимизацией сайтов захотел уменьшить количество запросов, не в ущерб размерам оптимизированных файлов.
Цель — передавать в одном файле изображения разных форматов, с разными настройками оптимизации.
Как средство, выбрал data uri и gzip'нутый css файл. Однако IE с data uri работают из рук вон плохо. Но в них есть mhtml. Существовавшая реализация не отвечала моим требованиям, т.к. приходилось 1 файл передавать два раза — раз для IE, в mhtml, и второй для всех остальных, в data uri. В поисках решения наткнулся на статью bolk'а, где описывалось решение для формата jpeg и некоторые теоретические выкладки для gif и png. После почти трехнедельного раскуривания манов мне удалось реализовать решение для gif и png и автоматизировать процесс для всех трех форматов.

Компания Arobas Music объявила о выходе версии Guitar Pro 6 и для Linux.
Многие ждали этого события, до этого программа была доступна только для платформ Windows и Mac OS X.
На данный момент уже возможна свободная загрузка Linux версии.

Скриншот взят из официального блога компании Arobas Music на facebook.

Как мы видим, программа отлично вписывается в рабочий стол Ubuntu и ее визуальное оформление.

Тенденция появления подобных специализированных продуктов под Linux, как я считаю, означает повышение «авторитетности» Linux как платформы и признание её разработчиками ПО. Проблема с софтом для Linux уже не стоит так остро как ранее, пользователю все реже приходится искать аналоги любимых программ при переходе на Linux, что не может не радовать сообщества этой операционной системы.

Официальный сайт программы
Страница загрузки, с опцией загрузки версии для Linux
Краткое описание Guitar Pro на русском языке (Wikipedia)
Установочный файл представляет из себя deb-пакет.

Опечататься дело нехитрое; опечататься в поисковом запросе так и вдвойне. Почитай все большие веб-поисковики сегодня умеют корректировать ошибки в ключевых словах во-1х и подсказывать запросы во-2х; вслед за ними того же хочется поискам поменьше. Обе штуки можно ловко реализовать при помощи открытого поисковика по кличке Sphinx; в этом посте расскажу, как конкретно.

Ну, за did you mean («что ты имела в виду») и прочий query completion («уж не Васю ли ты ищешь»).

Вступление

Забавно, но когда программист разрабатывает какой-либо продукт, он редко задумывается над вопросом могут ли на одну кнопку в один момент времени нажать одновременно 2000 человек. А зря. Оказывается могут. Как ни странно но большинство движков, написанных такими программистами, очень плохо ведут себя под большими нагрузками. Кто бы подумал, а всего один лишний INSERT, не проставленный index, или кривая рекурсивная функция могут поднять load averages чуть ли не на порядок.

В этой статье я опишу как мы, разработчики проекта, сумели выжать из одного сервера с Pentium 4 HT / 512Mb RAM, максимум, держа одновременно 700+ пользователей на форуме и 120,000 на трекере. Да, проект этот — торрент трекер. Предлагаю сразу оставить в стороне разговоры о копирайтах и правах, мне это не интересно, что действительно интересно — это HighLoad.