Как стать автором
Обновить
446.11

IT-инфраструктура *

Инфоцентры + базы данных + системы связи

Сначала показывать
Порог рейтинга
Уровень сложности
Big Data-мания имеет под собой реальное основание. Объемы данных, которые собирают компании, стремительно растут, и бизнес при их грамотном анализе может получить большое конкурентное преимущество. Как «причесать» систему, в которой распределенные по разным хранилищам данные соседствуют с зоопарком малофункциональных инструментов для их обработки? Мы в банке ВТБ перешли на Hadoop, внедрив единую экосистему от Teradata по технологии QueryGrid. Нашей болью, муками, собственно интеграцией и результатами мы хотим с вами поделиться.
Под катом - наш опыт внедрения единой экосистемы от Teradata по технологии QueryGrid и Presto.
Всего голосов 28: ↑27 и ↓1+26
Комментарии12

Обзор InfiniBox F2230

Время на прочтение8 мин
Количество просмотров10K
Недавно компания “ОНЛАНТА” приобрела для своего корпоративного облака Oncloud.ru систему InfiniBox F2230 компании Infinidat. В интернете практически нет обзоров этой системы, поэтому мы решили устранить пробел. Сегодня мы постараемся максимально подробно рассказать вам об этой СХД.


Всего голосов 38: ↑37 и ↓1+36
Комментарии43

Тестируем массив OceanStor Dorado V3: настолько обычный, что прямо вообще

Время на прочтение3 мин
Количество просмотров15K

OceanStor Dorado5000 V3

В общем, это массив как массив. На нём новые NVMe-диски. Получаешь хорошую производительность «за те же деньги». Но есть два нюанса. Нюансы такие: он хорош в соотношении «стоимость за ГБ + производительность» и он не американский, то есть подходит тем, кто под санкциями.

Мы его спокойно себе тестировали, когда вдруг на горизонте показался очень взволнованный заказчик. У него была гибридная СХД с кончившейся поддержкой, где вылетел контроллер. СХД не самая новая и дисков за сотню. Без контроллера производительность очень упала. Ждать новый шесть недель. Коллеги бились в панике, попутно умоляя нас, каким-то неведомым образом сократить сроки поставки нового контроллера. КРОК может все. Иногда даже больше.

У нас на тестах была новая железка Дорадо. Толком обкатать не успели, но вроде нормальная. Объяснили, переглянулись — и дали погонять как раз на то время, пока будет плыть новый контроллер. За сутки все смигрировали, но оставили старую систему в качестве резерва.
Читать дальше →
Всего голосов 30: ↑30 и ↓0+30
Комментарии29

UPDATED: Амплифицированные memcached DDoS-атаки на 500 Гбит/с прокатились по всей Европе

Время на прочтение2 мин
Количество просмотров34K


Давным-давно в далеком-далеком git-репозитории Брайаном Акером был сделан коммит, внедряющий замечательную фичу прослушивания UDP трафика в установке memcached по умолчанию.

А между 23 и 27 февраля 2018 года по всей Европе прокатилась волна memcached-амплифицированных DDoS атак.
Читать дальше →
Всего голосов 81: ↑75 и ↓6+69
Комментарии43

Истории

Грабли при переездах на виртуальную платформу с физического железа

Время на прочтение6 мин
Количество просмотров15K


Есть компания вроде небольшой сети магазинов, производства или научного института. В какой-то момент приходит понимание, что нужны свои сервера в облаке. Покупается план, делаются тесты, потом начинается переезд.

А дальше мы, как платформа, начинаем это принимать и бить себя рукой в лицо, потому что клиенты начинают жаловаться, что что-то в облаке не так работает. Проблема же — минимум в 80% случаев — в архитектуре, ещё часть — в желании сэкономить последнюю копейку, и всего несколько последних процентов — у нас.

Вот, например, база данных размещается на 7K-дисках и на слабой виртуальной машине. Почему так? Потому что нужную производительность оценили в среднем. А в реальном бизнесе среднего не бывает: обычно это цепочка мелких пиков между практическим отсутствием нагрузки. У магазинов ночью мало что происходит, у НИИ — между длинными расчётами.

Расскажу чуть больше про типичные ситуации.
Читать дальше →
Всего голосов 30: ↑29 и ↓1+28
Комментарии17

Падение Stack Overflow: что случилось

Время на прочтение2 мин
Количество просмотров24K
В ночь с четверга на пятницу ресурс Stack Overflow был недоступен. Через какое-то время работа была восстановлена, однако, в пятницу утром сайт снова «упал».

В SO отмечают, что отказ вызвала серия неполадок, проявившихся одновременно. Система не справилась с растущим числом подключений. Сейчас сайт работает в штатном режиме.

Под катом расскажем о причинах, вызывавших сбой.

Читать дальше →
Всего голосов 45: ↑37 и ↓8+29
Комментарии24

Мобильная связь в СССР

Время на прочтение5 мин
Количество просмотров35K


Высокотехнологичные проекты СССР в 20 веке гремели на весь мир — первый спутник, «Восток-1», семь советских атомных ледоколов; но есть технологии, о которых мы знаем не так много.

Чаще всего мобильную связь мы упоминаем в контексте сотовой связи. Мобильная связь — это любая подвижная беспроводная связь по радиоканалу. В таком контексте мы расскажем об истории развития радиокоммуникаций между абонентами в СССР.
Читать дальше →
Всего голосов 29: ↑28 и ↓1+27
Комментарии50

3-х дневное падение облачного сервиса Битрикс24

Время на прочтение3 мин
Количество просмотров24K


Произошло, пожалуй, самое крупное падение сервиса Битрикс24 за свою историю.В общей сложности на протяжении 3 дней у пользователей Российского сегмента возникали трудности с доступностью www.bitrix24.ru, www.bitrix24.by и www.bitrix24.kz Общее количество зарегистрированных в сервисе компаний составляет около 3 000 000.

Падает все и международный сервис Российского производства не исключение. Предлагаю читателям ознакомиться с хронологией событий данного падения и восстановления.
В конце я сформулировал несколько вопросов, которые интересовали большинство пользователей сервиса и меня лично.
Читать дальше →
Всего голосов 54: ↑53 и ↓1+52
Комментарии133

Как развернуть HD Wi-Fi для 45 тысяч болельщиков за 10 дней? Стадион «Спартака» в ожидании ЧМ-2018

Время на прочтение10 мин
Количество просмотров24K
Нельзя просто взять и пригласить иностранные футбольные команды сыграть на стадионе в рамках Чемпионата мира. Стадион построен недавно и соответствует международным стандартам? Этого мало. Нужно пройти сертификацию FIFA. Международная федерация футбола, помимо прочего, контролирует свободный доступ болельщиков в Интернет. Итак, нам предстояло развернуть сети на трибунах домашнего стадиона футбольного клуба «Спартак» «Открытие Арена». Чтобы успеть к матчам Кубка Конфедераций, которые фактически стали репетицией ЧМ, у нас было чуть больше месяца. А непосредственно на установку точек доступа и отладку системы осталось 10 дней.

Скажу наперед, что в России тогда еще не было столь масштабных проектов оснащения стадионов Wi-Fi.

Читать дальше →
Всего голосов 53: ↑52 и ↓1+51
Комментарии49

Мифы про инфраструктуру в облаке: с какой неграмотностью мы сталкиваемся в России каждый день

Время на прочтение6 мин
Количество просмотров35K


Меня зовут Александр, и я, среди прочего, занимаюсь тем, что общаюсь с теми, кто только-только узнал про облака. И хочет перевести туда часть своей инфраструктуры. Чаще всего это производства не из Москвы, которые совсем недавно узнали про виртуализацию как таковую.

В половине случаев это не самые развитые в ИТ ребята. Некоторые живут в прошлом веке. К ним приходят знакомые, рассказывают, что есть облачные провайдеры. Потом начинается общение с нами.

Мой любимый эпизод — это просчёт цен на новое оборудование в офисе (стойка из серверов дешёвого сегмента или переделанных ПК) и облака:
— Так. Лицензия на гипервизор. Зачем за неё платить? Мы никогда лицензию не покупали… Россия же, хе-хе! Поддержка на железо в стойке? К чёрту, без поддержки обойдёмся, у нас админ шарит. Что там ещё, бекап? У нас уже есть палёный...
Еще есть популярный миф, что если сервер в офисе, то, когда придёт проверка, можно взять и залить его кипятком из чайника, и тогда данные никто не заберёт. Он настолько распространён, что иногда мне кажется, что на нём прямо держится отечественный рынок low-end серверов.
Читать дальше →
Всего голосов 64: ↑51 и ↓13+38
Комментарии209

Amazon S3 и все-все-все: выбираем объектное хранилище

Время на прочтение7 мин
Количество просмотров63K
Самые известные на мировом рынке объектные хранилища — это Amazon S3 (Simple Storage Service), Google Cloud Storage и Microsoft Blobs Storage. Они надежны, доступны через интернет и масштабируются до сотен петабайт. Наиболее популярный способ доступа к объектному хранилищу — S3 RESTful API от компании Amazon. Есть и альтернатива, OpenStack Swift — поддерживает оба API и даже имеет собственное (как у Microsoft или Google, например). Дополнительно предоставляется доступ по другим файловым и блочным протоколам вроде WebDAV, NFS и FTP, но в контексте этой статьи мы тестируем только доступ по протоколу HTTPS через разнообразные API.

Для сравнения возьмем отечественные публичные объектные хранилища. Их не так много, и мы рассмотрим наиболее заметных игроков российского рынка: Mail.Ru Cloud Solutions, servers.ru, Selectel, Техносерв и Ростелеком.
Читать дальше →
Всего голосов 37: ↑33 и ↓4+29
Комментарии10

Знакомство с ConcourseCI

Время на прочтение18 мин
Количество просмотров14K

ConcourseCI logo


Всем привет! Я заметил, что на Хабре очень мало информации про такой сервер сборки, как ConcourseCI. Я решил восполнить этот пробел и написать небольшое введение. Под катом описание этого инструмента и небольшой туториал.

Читать дальше →
Всего голосов 26: ↑26 и ↓0+26
Комментарии14

10-гигабитный Ethernet: советы новичку

Время на прочтение5 мин
Количество просмотров175K


Вдохновившись интернет-запросами в стиле «как сделать спиннер из картонки», я решил рассказать о том, что близко мне: как самому построить 10-гигабитную сеть. Гигабитный Ethernet вопросов уже не вызывает – справится даже школьник: потребуется коммутатор, медная витая пара и привычные RJ-45 разъемы.

А если хочется больше? Например, 10-гигабитное соединение для небольшого офиса или серверной. Какое оборудование понадобится и как его подключать – просто и по шагам в моей сегодняшней статье.
Читать дальше →
Всего голосов 65: ↑62 и ↓3+59
Комментарии95

Ближайшие события

Большая миграция: как мы частное облако на RISC поднимали

Время на прочтение5 мин
Количество просмотров6.8K
В одном из предыдущих постов мы начали рассказ о своем частном облаке. В крупных компаниях проекты подобного масштаба — это легаси и неожиданные сюрпризы в процессе миграции. Сегодня мы хотим поделиться своим опытом миграции разных систем и показать небольшой кусочек нашей инфраструктуры, густо усеянный грифами «ДСП» и всевозможными NDA.


Читать дальше →
Всего голосов 35: ↑33 и ↓2+31
Комментарии44

Обратное поглощение: VMware может купить Dell

Время на прочтение3 мин
Количество просмотров19K
Телеканал CNBC сообщил о том, что компания VMware может приобрести своего владельца — Dell. Процедура так называемого обратного поглощения позволит Dell избежать повторного выхода на IPO и выплатить часть долгов. Подробнее о мотивах и последствиях сделки — в этом материале.

Читать дальше →
Всего голосов 29: ↑27 и ↓2+25
Комментарии14

Как уничтожить Интернет?

Время на прочтение9 мин
Количество просмотров39K
Помните угрозу анонима уничтожить Интернет? Где хакер грозился «положить» 13 корневых DNS серверов сети Интернет и сделать получение информации, посредством запроса с использованием доменного имени, невозможным? В результате чего любой, кто введёт «http://www.google.com» или какой-либо другой URL-адрес, получит страницу с ошибкой, что заставило бы большинство пользователей думать, что Интернет не работает.



В представлении современного человека, слабо связанного с IT, Интернет — это Wi-Fi, и мало кто задумывается, что большая часть сети Интернет расположена под водой и вообще о том, насколько огромное количество данных передаётся по этой подводной сети магистральных каналов, которая хоть и избыточна, но довольно-таки уязвима и может быть в один прекрасный момент уничтожена физически. Для лучшего понимания проблемы рекомендую к прочтению статью: Сообщения в глубине: удивительная история подводного Интернета. В этой же статье мы рассмотрим вероятные точки отказа, несмотря на то, что Интернет-сеть децентрализована и принято считать, что отключить её полностью невозможно и предположим ситуацию, при которой сеть перестанет функционировать полностью.
Всего голосов 44: ↑35 и ↓9+26
Комментарии52

«Ура, нас зафичерили!» или Как сменить дата-центр под нагрузкой и без даунтаймов, когда всё летит к чертям

Время на прочтение7 мин
Количество просмотров9.3K


Пару лет назад мы располагались в самом cost-effective (читай: «дешевом») дата-центре в Германии. Чтобы вы понимали условия — роутинг мог сбоить от стойки к стойке или внутри неё; свитч в стойке перегружался или зависал; сам дата-центр постоянно ддосили; жесткие диски выходили из строя; материнские платы и сетевые карты сгорали; сервера произвольно выключались, перезагружались, а сетевые кабели выпадали как осенние листья во время урагана.

Периодически, когда приходило время скейлиться горизонтально, в ДЦ еще и место заканчивалось, и нам предлагали другую локацию, в другом городе, что для наших условий (ограничения схемы данных, топология кластера и критичность времени ожидания клиента) было неприемлемо.

Наступила точка кипения и мы решили переезжать. Хотя в какой-то момент даже казалось, что дешевле нанять больше обслуживающего персонала, чтобы менеджерить ситуации в вышеупомянутом ДЦ. Но в итоге, чтобы «стало более лучше жить» — мы выбрали стабильность.
Выбор остановился на дата-центре в Голландии, в Амстердаме. А вот тут самое интересное: к тому времени у игры уже был приличный DAU, переезд нужно было осуществить онлайн, без даунтаймов, одновременно на обе платформы (Android и iOS). Мало того, мы получили фичеринг на Google Play, маркетинг еще и запустил рекламную кампанию. Как понимаете, дополнительного трафика стало очень и очень много.

В общем, задачка не самая обыденная и вот как мы с ней справлялись.
Читать дальше →
Всего голосов 32: ↑31 и ↓1+30
Комментарии18

Вся правда о VPS (KVM) E5-2650 v4 (6 Cores) 10GB DDR4 240GB SSD 1Gbps от $20 или как правильно делить сервер?

Время на прочтение21 мин
Количество просмотров45K
Недавно на форуме человек задал вопрос о том, как же правильно делить выделенный сервер на виртуальные:



И что меня поразило, так это уверенность в том, что никто никогда не поделится подобной информацией:



Потому, я очень хочу рассказать, как мы реализовали решение у себя. Все подводные камни и секреты данного решения. И ещё раз продемонстрировать то, что простота порой делает решения волшебными. Так как мы не получили за всё время работы ни одной жалобы от клиентов этой услуги, а это говорит о многом.
Читать дальше →
Всего голосов 39: ↑33 и ↓6+27
Комментарии55
Microsoft Azure, как и все облачные решения, обладает самыми разными сервисами и услугами и годится для решения самого широкого спектра задач. Но не в каждой ситуации мы можем перенести данные в облако: правила безопасности, удаленность от цивилизации, требования регуляторов и множество других причин не позволяют развернуться по полной. Но что если мы создадим сервис, который перенесет всю мощность Azure в буквальном смысле в ваш персональный дата-центр? Поближе к пледу и чаю.
Подробности – под катом
Всего голосов 33: ↑33 и ↓0+33
Комментарии5

Intel предупреждает пользователей о «неисправности» патчей Spectre-Meltdown

Время на прочтение3 мин
Количество просмотров26K


Не устанавливайте патчи от Intel для исправления уязвимостей Spectre в Linux-системах.


Intel в понедельник предупредила о том, что следует прекратить установку текущих версий патчей для Spectre (CVE-2017-5715), которые Линус Торвальдс отметил комментарием «абсолютнейший мусор».

Spectre (проверка обхода границ массива CVE-2017-5753, инъекция целевой ветви CVE-2017-5715) и Meltdown (CVE-2017-5754 — «расплавляет» разграничение доступа к страницам памяти, лечится KPTI-патчем) представляют собой уязвимости, обнаруженные исследователями в начале этого месяца во многих процессорах Intel, ARM и AMD, используемых в современных ПК, серверах и смартфонах. Они могут позволить злоумышленникам украсть ваши пароли, ключи шифрования и другую личную информацию.

С прошлой недели пользователи начали сообщать, что после установки пакета обновлений безопасности, выпущенного Intel, они столкнулись с проблемами, которых не было ранее. Например, спонтанные перезагрузки и другое «непредсказуемое» поведение системы.
Читать дальше →
Всего голосов 33: ↑33 и ↓0+33
Комментарии58