Все потоки
Поиск
Написать публикацию
Обновить
119.64

Серверная оптимизация *

Разгружаем сервер

Сначала показывать
Порог рейтинга
Уровень сложности

Старые технологии на новый лад. FreeBSD Jails + CBSD Project

Время на прочтение7 мин
Количество просмотров10K

Предисловие


Примерно 9 лет назад, когда в моем городе появились первые безлимитные тарифы (что-то вроде 128 кбит/сек за 500 руб.), я принял решение держать в квартире собственный «сервер» для решения различных задач. Одной из первых идей было поднятие зеркала для проекта FreeBSD.org. Проработало оно где-то 2 года. Далее в этом уже не было смысла, ввиду расширения каналов и других причин.

Помимо этого, сервер принимал на себя в разные периоды времени и другие задачи:

  • Хранение резервный копий данных, документов и дистрибутивов;
  • Закачка торрентов;
  • Раздача торрентов по DLNA и SMB на различные устройства;
  • VPN-клиент к провайдеру (был даже период, когда сервер держал два PPTP соединения через MPD – для работы локального трафика и медленного безлимита);
  • VPN-сервер и подключение до офисного шлюза (канал до работы);
  • Asterisk сервер для IP-телефонии (в дальнейшем в доме появились всякие SPA-3112, радио-трубки и т.д.);
  • FTP-служба для получения данных с IP-камеры, для сброса бекапов с Mikrotik-ов скриптами;
  • И т.д. и т.п.

Общая мысль – в руках был конструктор с кучей разноцветных деталей и большое желание прикрутить еще что-нибудь эдакое. В общем то обычная ситуация для большинства системных администраторов, знающих и любящих *nix-системы.
Читать дальше →

HCIBench — нагрузочное тестирование хранилищ под vSphere

Время на прочтение14 мин
Количество просмотров13K

Введение




Вопрос хранения данных является одним из самых важных, сложных и дорогих для любой виртуальной инфраструктуры, в т.ч. для всеми уважаемой VMware vSphere.

Для оценки производительности хранилища, дабы понимать его возможности для выполнения реальных задач, необходимо проведение нагрузочного тестирования. Самыми простыми в реализации являются синтетические тесты, выполняемые, например, с помощью таких популярных утилит как Iometer и Fio. Классическое применение: тестирование локального хранилища узла либо внешней СХД с одного или нескольких узлов.

С виртуальной инфраструктурой дела обстоят несколько сложнее, она состоит из множества хостов, на которых крутятся десятки ВМ. Даже небольшая инсталляция из двух-четырех хостов может легко держать около 100 ВМ, не говоря о средних и больших инфраструктурах из десятков и сотен хостов.

Тестировать общее хранилище для такой инфраструктуры путем запуска Iometer/Fio на одной или нескольких ВМ либо с выделенного узла на голом железе будет некорректным. Такое тестирование должно быть распределенным и обеспечивать параллельную генерацию ввода/вывода и централизованный учет результатов с множества ВМ со всех хостов кластера vSphere. Только такой подход позволит сэмулировать нагрузку реального высоконагруженного виртуального кластера.

Лично я пробовал на своем тестовом кластере vSphere vSAN 6 update 3 из 4х хостов ручками развернуть 4 ВМ на Винде с Iometer, через командную строку подключить Dynamo на 3х ВМ к консоли Iometer на четвертой ВМ, с которой и проводил распределенное тестирование. Даже для 4х ВМ дело это скучное и неблагодарное, разворачивать по несколько ВМ на хост вручную вообще не вариант.

Конечно можно воспользоваться скриптами, средствами автоматизации и сделать всё красиво, но я не умею. Поэтому для таких как я небольшая группа разработчиков VMware выпустила и развивает бесплатную утилиту HCIBench, о ней мы и будем говорить в данной статье.
Читать дальше →

Bitdefender Hypervisor Introspection: новое средство борьбы со скрытыми киберугрозами

Время на прочтение5 мин
Количество просмотров3.3K
Некоторое вредоносное ПО, заражая систему, может начать выполнять свои функции спустя месяцы после самого заражения. Находясь на виртуальной машине, подобные зловреды при подключении к серверу могут распространиться по всему центру обработки данных и корпоративной сети. Именно для отражения подобных угроз Сitrix и Bitdefender разработали средство безопасности, которое запускается внутри гипервизора для обнаружения вредоносного ПО, запущенного в гостевых виртуальных машинах. В данном случае речь идет о сервере компании Citrix под названием XenServer, а сам защитный продукт называется Bitdefender Hypervisor Introspection (HVI).

Читать дальше →

Дайджест: работа IaaS-провайдера, SSL-сертификаты, ЦОД и наш «пятничный формат»

Время на прочтение4 мин
Количество просмотров1.9K
В этой подборке мы приводим материалы, которые помогут разобраться с тем, что происходит в сфере IaaS, новых технологиях для ЦОД, устройстве SSL-сертификатов и познакомиться другими нюансами и тонкостями работы виртуальной инфраструктуры.

В прошлых выпусках:



Читать дальше →

Работа с потоком логов в реальном времени с помощью Heka. Опыт Яндекс.Денег

Время на прочтение9 мин
Количество просмотров32K

image alt text


В этом материале я расскажу о том, как в Яндекс.Деньгах организована система сбора и доставки серверных логов платежных сервисов. Доставкой логов я занимаюсь весь последний год, и за это время накопилось достаточно нюансов, чтобы поделиться опытом с общественностью.


Система построена на базе стека EHK (Elasticsearch/Heka/Kibana), с прицелом на работу практически в реальном времени. Особый упор сделаю на тонкие места и нюансы обработки миллиардов строк текста в сутки.

Приступим к суровому hands-on

IaaS-дайджест: «vCloud и его друзья»

Время на прочтение4 мин
Количество просмотров2.4K
Сегодня мы подготовили для вас тематическую подборку материалов по теме vCloud и начала работы с IaaS (арендованной облачной инфраструктурой). Всех заинтересовавшихся приглашаем под кат.

Ускоряем восстановление бэкапов в Postgres. Часть вторая (потому что сокращения времени вдвое недостаточно)

Время на прочтение3 мин
Количество просмотров16K


В первой части статьи «Ускоряем восстановление бэкапов в Postgres» я рассказал о предпринятых шагах по уменьшению времени восстановления в локальном окружении. Мы начали с простого: pg_dump-пили (а есть ли такое слово?), паковали gzip-ом, распаковывали и направляли вывод в psql < file.sql. На восстановление уходило около 30 минут. В итоге мы остановились на настраиваемом (custom) формате Postgres и применили аргумент -j, добившись уменьшения времени до 16 минут.


В этой статье я описал, как нам удалось уменьшить размер файла резервной копии, что дополнительно ускорило процедуру восстановления.

Читать дальше →

Контейнеры Docker немного увеличивают энергопотребление сервера

Время на прочтение3 мин
Количество просмотров11K

Энергопотребление компьютера с ОС Linux и сервисом Docker без всякой нагрузки (без загрузки контейнера)

Виртуализация даёт множество преимуществ — особенно для изоляции процессов и контроля за ресурсами. Развёртывание программ стало как никогда простым благодаря образам полной и сконфигурированной системы. Работа гипервизора для виртуальных машин означала одновременную работу двух ядер операционной системы. Поэтому появились легковесная альтернатива виртуальным машинам — контейнеры, которые сейчас быстро вытесняют виртуальные машины как наиболее оптимальный способ виртуализации.

Поскольку в контейнерах не работают одновременно два ядра операционной системы, как в виртуальных машинах, то казалось бы, что энергопотребление у них должно быть такое же, как при работе обычной операционной системы. Но это не так. Cравнительное тестирование Linux и Docker показало, что энергопотребление контейнеров Docker чуть выше.
Читать дальше →

Ускоряем восстановление бэкапов в PostgreSQL

Время на прочтение4 мин
Количество просмотров69K

Мои ощущения от процесса работы


Недавно я решил заняться ускорением восстановления нашей базы данных в dev-окружении. Как и во многих других проектах, база вначале была небольшой, но со временем значительно выросла. Когда мы начинали, ее размер было всего несколько мегабайт. Теперь упакованная база занимает почти 2 ГБ (несжатая — 30 ГБ ). Мы восстанавливаем dev-окружение в среднем раз в неделю. Старый способ проведения операции перестал нас устраивать, а вовремя подвернувшаяся в Slack-канале картинка “DB restore foos?” побудила меня к действию.


Ниже описано, как я ускорял операцию восстановления базы данных.

Читать дальше →

Гиперконвергентность в тренде: Cisco HyperFlex

Время на прочтение5 мин
Количество просмотров4.8K
Современные предприятия все чаще сталкиваются с задачами, для которых традиционные серверы и СХД уже не могут служить идеальным решением. Объединить вычислительную платформу, виртуальные машины и систему хранения данных в единую распределенную инфраструктуру позволяет гиперконвергентная инфраструктура Cisco HyperFlex.
image
Читать дальше →

Nvidia опубликовала отчет о разработке и оптимизации актуальных GPU и сравнила их с TPU Google

Время на прочтение4 мин
Количество просмотров7.9K
Недавний отчет Google об устройстве и назначении TPU позволяет сделать однозначный вывод — без ускоренных вычислений серьезное развертывание системы ИИ просто нецелесообразно.
Большинство необходимых экономических вычислений во всем мире сегодня производится в мировых центрах обработки данных, а они с каждым годом все сильнее изменяются. Не так давно они обслуживали веб-страницы, распространяли рекламу и видеоконтент, а теперь распознают голос, идентифицируют изображение в видеопотоках и предоставляют нужную информацию именно в тот момент, когда она нам нужна.

Все чаще эти возможности активируются с помощью одной из форм искусственного интеллекта, т.н. «глубокого обучения». Это алгоритм, который учится на огромных объемах данных для создания систем, решающих такие задачи, как перевод с разных языков, диагностирование рака и обучение беспилотных автомобилей. Перемены, привносимые искусственным интеллектом в нашу жизнь, ускоряются невиданными в отрасли темпами.

Один из исследователей глубокого обучения, Джеффри Хинтон, недавно сказал в интервью «The New Yorker»: «Возьмите любую старую классификационную проблему, в которой у вас много данных, и она будет решена путем «глубокого обучения». У нас на подходе тысячи разных приложений на базе «глубокого обучения».
Читать дальше →

Распространение стандарта TLS SNI

Время на прочтение6 мин
Количество просмотров26K

Своими наблюдениями за процентным содержанием расширения TLS SNI протокола TLS (RFC 4366) в общем объеме шифрованных HTTPS запросов делятся специалисты Akamai.

В последние несколько лет наблюдается бурный рост числа клиентов, поддерживающих TLS SNI (стандарт, позволяющий сделать HTTPS намного более масштабируемым). Если в начале 2014 года только 85% клиентских HTTPS запросов было сделано с использованием TLS SNI, то сегодня многие пользователи сервиса Akamai до 99% запросов получают в формате TLS SNI.
Читать дальше →

Управление мощностями ‒ та ещё задачка

Время на прочтение5 мин
Количество просмотров8K
Отлично, когда ваше ИТ-детище сталкивается с ростом выручки, пользователей, CTR, обрабатываемых документов, кредитных заявок, количества филиалов и прочих приятно почесывающих ЧСВ вещах. Все эти штуки называются бизнес-драйверами, которые в правильной ситуации коррелируют с нагрузкой на ИТ-инфраструктуру, расположенной под вашим сервисом. Правильное планирование мощностей защитит вас от epic fails в чёрную пятницу (чтобы она не стала действительно чёрной ;)) и ваш бюджет во все остальные дни. Сегодня поговорим не о самом процессе управления мощностями, а о технической стороне вопроса. Расскажу, при помощи каких отчетов можно прикидывать тренды и строить корреляционные матрицы. Давайте вкратце расскажу какой опыт мы скопили, а все вопросы задавайте в комментариях или личным сообщением. Поехали!
cost_risk_balance

Слегка почесать ЧСВ

Ближайшие события

Мониторинг серверов облачным сервисом: решения от ХостТрекера

Время на прочтение2 мин
Количество просмотров3.1K
Сервис мониторинга сайтов ХостТрекер предлагает решение для проверки загружености CPU, RAM, HDD. Облачный сервис собирает статистику, немедленно оповещает о проблемах и предлагает возможности для автоматизации, а также совмещения с другими типами мониторинга. Чем решение отличается от существующих и кому оно может быть удобно — под катом.


Читать дальше →

Microsoft и Rambus охладят память до криогенной температуры

Время на прочтение2 мин
Количество просмотров2.8K
Компании Microsoft и Rambus, имеющие опыт в разработке чипов памяти, объявили о том, что начинают совместную работу над прототипом памяти для криогенных вычислительных систем.

Читать дальше →

VMware vSAN 6.6 ─ возможности нового релиза

Время на прочтение9 мин
Количество просмотров5.6K
Компания VMware 14 апреля представила релиз VMware vSAN 6.6, ─ очередное поколение встроенного хранилища данных корпоративного уровня для платформы vSphere, которое постоянно совершенствуется со времени выхода его первой версии в октябре 2013 г. Изменений много, и они наверняка будут встречены корпоративными пользователями с одобрением.


Читать дальше →

Почему большие БД работают не как хочется, или про несбыточные мечты SQL-запросов

Время на прочтение11 мин
Количество просмотров25K

image


В команде эксплуатации подумали, что наш опыт с Microsoft SQL в нагруженной среде больше нельзя скрывать, и потому родилась эта статья. В ней я расскажу о нюансах работы с этой СУБД из практики.


Microsoft SQL Server давно нашел свое место в семействе продуктов Яндекс.Денег и успешно решает задачу сбора разрозненной информации обо всех операциях из множества отдельных сервисов. Без такой сборки воедино нельзя было бы отследить платеж, собрать статистику или решить проблему.


Все сказанное далее будет полезно администраторам крупных БД – тем, кто заботится о быстрой и точной работе аналитики Microsoft SQL Server 2012-2014.


Если информация окажется вам полезной и интересной — обязательно дайте знать в комментариях, чтобы автор не расслаблялся.

Итак, чем занимается MS SQL в Яндекс.Деньгах

Google обнародовала технические данные и назначение TPU

Время на прочтение4 мин
Количество просмотров17K
Хотя еще с 2015 года Google TPU (Tensor Processing Unit) обеспечивает работу обширной империи из систем «глубокого обучения», об этом специальном процессоре известно очень мало. Однако не так давно веб-гигант опубликовал описание чипа и объяснил, почему он на порядок быстрее и энергоэффективнее, чем CPU и GPU, которые он заменяет.



Для начала немного контекста. TPU – это специализированная ASIC, разработанная инженерами Google для ускорения процессов «вывода» (имеется ввиду получение готового результата – прим. переводчика) нейросетей, ее цель — ускорение продуктивной фазы этих приложений для уже обученных сетей. Например, это работает каждый раз, когда пользователь инициирует голосовой поиск, запрашивает перевод текста или ищет совпадение с изображением. Но на этапе обучения Google использует GPU, так же, как и все компании, использующие технологию «глубокого обучения».
Читать дальше →

Как пережить масштабирование и синхронизировать-таки всё между дата-центрами

Время на прочтение7 мин
Количество просмотров11K

Если нет, то он гонит трафик на Amazon, где продает бутылочки воды за $26, а мы расскажем о сайтах в нашем SaaS-конструкторе

Ни одна площадка не может гарантировать бесперебойную работу в течение, например, года — это данность по целому ряду причин. Значит, надо иметь “план Б” — обеспечить отказоустойчивость на уровне дата-центра и создать резервную площадку, которая чуть что подхватит трафик. Синхронизируют сервера все — и Яндекс, и Гугл, и герои под катом.

Splunk + Check Point, пример анализа логов вашего фаервола

Время на прочтение4 мин
Количество просмотров11K

Если Вы не удовлетворены стандартными отчетами и средствами аналитики от Check Point, если Ваш Smart Event виснет и грузит ваш сервер, если отчеты Smart Event кажутся Вам несколько неинформативными… То почему бы не создать свои?



Сегодня мы расскажем как загрузить логи Check Point в Splunk, какие могут быть отчеты, и как, отфильтровать данные, чтобы лишний раз не грузить систему и уменьшить лицензию. И да, если Ваша компания не очень большая — то вы можете спокойно обойтись бесплатной лицензией.
Читать дальше →