В апреле на RailsConf в Фениксе мы обсудили огромное количество советов по использованию Postgres с Rails, и подумали, что будет полезно их записать и поделиться с более широкой аудиторией. Здесь вы найдете некоторые из них, касающиеся отладки и улучшения производительности базы данных вашего Rails приложения.
Пользователь
Старые технологии на новый лад. FreeBSD Jails + CBSD Project
Предисловие
Примерно 9 лет назад, когда в моем городе появились первые безлимитные тарифы (что-то вроде 128 кбит/сек за 500 руб.), я принял решение держать в квартире собственный «сервер» для решения различных задач. Одной из первых идей было поднятие зеркала для проекта FreeBSD.org. Проработало оно где-то 2 года. Далее в этом уже не было смысла, ввиду расширения каналов и других причин.
Помимо этого, сервер принимал на себя в разные периоды времени и другие задачи:
- Хранение резервный копий данных, документов и дистрибутивов;
- Закачка торрентов;
- Раздача торрентов по DLNA и SMB на различные устройства;
- VPN-клиент к провайдеру (был даже период, когда сервер держал два PPTP соединения через MPD – для работы локального трафика и медленного безлимита);
- VPN-сервер и подключение до офисного шлюза (канал до работы);
- Asterisk сервер для IP-телефонии (в дальнейшем в доме появились всякие SPA-3112, радио-трубки и т.д.);
- FTP-служба для получения данных с IP-камеры, для сброса бекапов с Mikrotik-ов скриптами;
- И т.д. и т.п.
Общая мысль – в руках был конструктор с кучей разноцветных деталей и большое желание прикрутить еще что-нибудь эдакое. В общем то обычная ситуация для большинства системных администраторов, знающих и любящих *nix-системы.
Крауд-маркетинг: ТОП-10 популярных вопросов
Помните, еще пару лет назад можно было просто купить себе кучу ссылок и попасть в ТОП. Что мы имеем сегодня? Яндекс потрепал нервишки многим владельцам сайтов, всего лишь выкатив новый алгоритм Минусинск. А потом и Google сделал Пингвин частью основного алгоритма. Обе эти меры со стороны поисковых систем были приняты с одной целью – борьба с покупными ссылками. Однако ни та ни другая компании не отказались от учета ссылок при ранжировании – это все еще остается важным аспектом. Изменились требования к ссылкам. Только качественные, только естественные.
В связи с этим на смену покупке ссылок пришел крауд-маркетинг. Это далеко не новая тема. Предприимчивые владельцы сайтов, интернет-маркетологи, пиарщики и продвиженцы уже давно с ним работали, правда, наверное, не знали, как эта технология называется.
Если коротко, то крауд-ссылки – это ссылки, полученные в результате обмена мнениями живых пользователей. Вся крауд-технология строится на рекомендациях тех, кто уже знаком с товаром или услугой, тем, кто только собирается попробовать.
Но так как данный метод только набирает популярность, то у многих владельцев сайтов возникают вопросы в стиле: «А не попаду ли я под санкции поисковиков за крауд-ссылки?», «Почему так много ссылок разом? У меня не будет “ссылочного взрыва”?».
Поэтому мы собрали ТОП-10 наиболее распространенных вопросов:
Отправка служебных сообщений в whatsapp через yowsup2 методом http-get, в том числе отчетов бэкап-сервера Bacula
Так что, пусть это будет что-то более универсальное. Например, отдельный сервер, который сможет обслужить bacula, zabbix, syslog-сервер, сайт или даже виндоусы с макинтошами.
Делаем рекламу в интернете – быстро или правильно?
При этом около 50% всех логических выкладок основывается лишь на предположении участников проекта по поводу того, что же действительно нужно их клиентам.
Сам процесс чаще всего ассоциируется с использованием контекстной рекламы, сайтов, поисковых систем и социальных сетей. При этом многие из тех, кто им занимается, не имеют представления о порядке действий при разработке сайтов и последующем продвижении.
Классические и новые пособия по интернет-маркетингу, которые стоит увидеть
В этот раз мы решили представить читателю подборку из актуальных книг последних лет по теме интернет-маркетинга в целом и отдельных его аспектах, которые могут оказаться полезными на всех этапах разработки и продвижения веб-сайта или мобильного приложения.
14 полезных сервисов и приложений для изучения английского
Специально для читателей Хабра мы составили список ресурсов и приложений, которые позволят эффективно дополнить занятия с преподавателем или самостоятельное обучение.
Редакторы ONLYOFFICE v.4.3: да, мы добавили сноски
История о том, как парсер превратился в полноценного МРКО бота для Телеграм
Приветствую, Хабровчане! Недавно я писал статью про то, как написать парсер дневника МРКО, а в конце пообещал написать про интеграцию с Телеграм ботом, о чем очень жалею. Сейчас бот уже готов и полностью функционирует. Хочу рассказать вам, что использовал и с какими трудностями столкнулся в этой работе.
История о том, как я парсер для дневника мастерил
Год назад я начал писать ботов для всеми любимого Телеграма. На Питоне, конечно. И вот недавно мой сын пошёл в школу, где, как оказалось, был электронный дневник под названием МРКО. Как вы могли догадаться, самая первая мысль — сделать бота (пока для личного пользования), который смог бы присылать в Телеграм оценки, домашнее задание и комментарии. Кому интересно — прошу под кат.
IP KVM своими руками
Решено было исправить это досадное недоразумение и как можно дешевле и компактней. Начнем со стереотипов Raspberry Pi и Arduino, а в следующей статье будет продолжение уже на другом железе.
Asterisk и информация о входящих звонках в браузере через Notifications
Для удобства сотрудников и возможности персонализированного ответа была внедрена система распознавания входящего звонка по внутренней базе клиентов.
Улучшаем notify-send. Добавление нового сообщения в предыдущее
Но при всех её достоинствах, есть и недостатки. Например, то что они некликабельны смущает большое количество пользователей. А еще — если вы получаете несколько таких сообщений, то они будут показываться подряд с интервалом в 10 секунд. И сейчас мы попробуем частично это исправить.
Zabbix для DevOps: как мы внедряли систему мониторинга в процессы разработки и тестирования
Мы продолжаем цикл публикаций о внедрении инструментов и практик DevOps в нашей компании. Недавно мы рассказывали о том, как анализируем уязвимости с помощью нейронных сетей и нечеткой логики, а сегодня поговорим о внедрении системы мониторинга Zabbix в процессы разработки и тестирования.
Скачиваем историю переписки со всеми пользователями ВКонтакте с помощью Python
История развития и оптимизаций одного высоконагруженного ресурса
Введение
Все началось с того, что я стал системным администратором у одного провинциального Интернет-провайдера. Помимо администрирования различного рода ресурсов, мне в присмотр достался один молодой, но бурно развивающийся ресурс. Ресурс представлял из себя классический LAMP проект. Сайт, на котором генераторами контента являлись обычные пользователи.
* К слову, в то время я ничего не понимал в *nix системах, хоть и все сервера которые мне достались, были именно на нем, разбирался я во всем этом достаточно быстро.
Как обычно бывает с ресурсами, набирающими популярность, железки на которых все крутится, перестают справляться. Ресурс стоял на стареньком двухпроцессорном сервере, на котором крутились практически все сервисы для пользователей. В то время начальство не воспринимало ресурс как нечто стоящее вложений, поэтому, к моему сожалению (а позже – счастью), денег под новую железку мне не выделяли.
Нагрузочное тестирование CMS «1С-Битрикс»
Веб-разработка немного похожа на такой самолет. Заказчик хочет от веб-студии и классный дизайн, и кучу интерактива, и все службы доставки и оплаты в интернет-магазины, студия с удовольствием все это программирует… А вот хватит ли мощностей сервера на обеспечение стабильной работы сайта — непонятно.
Чтобы нагрузка была прогнозируемой, чтобы задать некоторые эталонные значения, мы провели нагрузочное тестирование «1С-Битрикс: Управление сайтом» и «1С-Битрикс: Энтерпрайз».
Мы постарались так провести тестирование, чтобы клиент понимал, что можно получить на текущем оборудовании, а разработчик мог понять, каковы перспективы роста проекта. Получится ли отмасштабироваться при росте нагрузки?
В этой статье мы расскажем о том, как организовывали и проводили тестирование, и какие выводы для себя сделали.
Для чего это может быть полезно? Эталонные цифры дадут возможность сравнить текущую площадку с потенциальным новым хостингом, четко оценить, какой эффект оказывает на систему внедрение новой функциональности. Да и просто понять технические пределы системы.
Мы сделали акцент на вопросах организации тестирования, на специфических проблемах, с которыми столкнулись в процессе тестирования и на том, какие выводы можно сделать по результатам тестов. Для самых заинтересованных — вот ссылка на подробный технический отчет.
Мониторинг Postgresql: запросы
В 2008 году в списке рассылки pgsql-hackers началось обсуждение расширения по сбору статистики по запросам. Начиная с версии 8.4 расширение pg_stat_statements входит в состав постгреса и позволяет получать различную статистику о запросах, которые обрабатывает сервер.
Обычно это расширение используется администраторами баз данных в качестве источника данных для отчетов (эти данные на самом деле являются суммой показателей с момента сброса счетчиков). Но на основе этой статистики можно сделать мониторинг запросов — посмотреть на статистику во времени. Это оказывается крайне полезно для поиска причин различных проблем и в целом для понимания, что происходит на сервере БД.
Я расскажу, какие метрики по запросам собирает наш агент, как мы их группируем, визуализируем, так же расскажу о некоторых граблях, по которым мы прошли.
Запись при чтении в postgresql: скандалы, интриги, расследования
Я уже рассказывал про мониторинг запросов postgresql, в тот момент мне казалось, что я полностью разобрался, как postgresql работает с различными ресурсами сервера.
При постоянной работе со статистикой по запросам постгреса мы начали замечать некоторые аномалии. Я полез разбираться, заодно очередной раз восхитился понятностью исходного кода постгреса )
Под катом небольшой рассказ о неочевидном поведении postgresql.
Check Point Security CheckUP — Бесплатный аудит безопасности сети. Часть 1
Если честно, не понимаю почему на Хабре до сих пор не освещена данная тема. Исправим это недоразумение. В прошлой статье мы затронули тему проверки эффективности существующих средств защиты. Данный инструмент весьма полезен, однако все мы понимаем, что это слабый тест. К тому же этот тест синтетический. Как оценить реальную сеть с реальным трафиком? Какие угрозы действительно для вас актуальны, есть ли в сети зараженные компьютеры, какие приложения запускают пользователи и кто «выкачивает» весь трафик? Как правило для этого приходится использовать кучу различных средств:
- Средства для проверки почты и их вложений;
- Средства для анализа посещаемых сайтов и объемов трафика;
- Средства выполняющие функции потокового антивируса;
- Средства анализа трафика (IDS);
- И многое другое.
Information
- Rating
- Does not participate
- Registered
- Activity