Хранилища данных *

Мы в Acronis защищаем данные более 5 миллионов пользователей и 500 000 компаний в 150 странах мира. Это десятки и сотни петабайт данных, которые хранятся в наших дата-центрах, расположенных в Токио и Сент-Луисе, во Франкфурте на Майне и Сиднее, в Москве и Лондоне. В общей сложности наши данные размещаются в 14-и дата-центрах, расположенных в разных странах, разных часовых поясах и в разных частях света. Всем этим «хозяйством» каждый день необходимо управлять. И нужно признаться, что дело это крайне интересное, и поэтому мы решили поделиться с вами нашим опытом в данном вопросе, и подготовили небольшой гайд для начинающего менеджера дата-центра.

Необходимость проведения технико-экономического обоснования перехода в облако обычно возникает в двух случаях:

• Нужно модернизировать уже существующую инфраструктуру
• Планируется создание ИТ-инфраструктуры с нуля

Рассмотрим второй вариант и в качестве опорной точки возьмем ситуацию, когда вам необходимо запустить относительно крупный интернет-магазин.


/ фото Serge Kij CC

Мы в VAS Experts проектируем и внедряем сервисов в области контроля и анализа интернет трафика. В нашем блоге мы решили начать рассказывать об устройстве технологий, связанных с нашей сферой деятельности.

В первых двух материалах мы поговорили о составе системы и схеме подключения, а во втором — о сценариях использования. Сегодня мы посмотрим, какие требования предъявляются к «железу» для полноценной работы систем глубокого анализа трафика, и где такие системы применяются.


/ Flickr / Sean MacEntee / CC

Приличный блог в наше время – почти необходимость для всякого работника интеллектуального труда, коих принято непочтительно именовать «креаклами». Если вы хипстер, креативный дизайнер, самозанятый фотограф-бомбила и так далее, то одним фейсбуком вы точно не отделаетесь; нужен собственный сайт, а на сайте собственный блог, где вы выкладываете по вечерам своё крео и селфи, как вы там сидите в «Жан-Жаке» после трудового дня, все такие в клетчатых лосинах и со стаканом сельдереевого смузи. Потеряете пару записей – и всё, плакал креатив, прощай, настроение!

А уж если вы серьёзный учёный, предприниматель или журналист, то всякая ваша публикация в блоге может оказаться, без преувеличения, бесценной. Потому-то резервное копирование (бэкап) вашего блога – занятие во всех отношениях необходимое.

Представьте, что вам приходится всюду носить с собой центр обработки данных. Даниэль Мартлэнд так и делает, это его работа. Он — ИТ-инженер гоночной команды Формулы 1 Scuderia Toro Rosso и вместе с ней ежегодно посещает более 20 стран мира. По его словам, это непросто, но после каждой гонки он испытывает потрясающее чувство удовлетворения от ощущения хорошо проделанной работы.

Организации, особенно крупные, нередко имеют достаточно внушительный парк систем хранения данных, регулярно пополняемый за счет подключения все новых и новых устройств. Как же добиться эффективного использования оборудования и наиболее оптимального распределения дискового пространства и ресурсов? Компания HewlettPackard Enterprise уделяет серьезное внимание этим задачам и предлагает своим заказчикам программные инструменты для их решения. На протяжении многих лет для управления ресурсами СХД предлагался продукт Storage Essentials, но пару лет назад ему на смену пришло решение HPE Storage Operations Manager, обеспечивающее мониторинг, инвентаризацию, а также контроль использования ресурсов СХД на совершенно новом качественном уровне.

Даниил Подольский (Git in Sky)

Рассказ о том, что каждый инженер должен сделать в своей жизни после того, как он родил ребенка, посадил дерево и построил дом – это сделать свое файловое хранилище.

Доклад мой называется «Опыт построения и эксплуатации большого файлового хранилища». Большое файловое хранилище мы строим и эксплуатируем последние три года. В тот момент, когда я подавал тезисы, доклад назывался «Ночью через лес. Опыт построения эксплуатации бла-бла-бла». Но программный комитет попросил меня быть серьезнее, тем не менее, на самом деле это доклад «Ночью через лес».

Даниил Подольский (Git in Sky)

Доклад мой называется «Бинарные, они же файловые, хранилища», но, на самом деле, мы имеем дело со страшной сказкой. Проблема в том (и это тезис моего доклада), что сейчас не существует не то что хорошей, а хотя бы приемлемой системы хранения файлов.

Что такое файл? Файл – это кусок данных с именем. Что важно? Почему файл – это не строка в базе данных?

Файл слишком большой, чтоб можно было обращаться с ним как с одним куском. Почему? Есть у вас сервис, раз у нас HighLoad конференция, у вас сервис, который держит одновременно 100 тыс. соединений. Это не так уж много, если по каждому из соединений мы отдаем файл в 1 Мбайт размером, но нам нужно примерно 100 Гбайт памяти для буферов под эти файлы.

Часть I (Вступление)
Часть II (Шасси и сервера)
Часть III – Дисковое хранилище D3940 и SAS-коммутаторы

Эту часть логично разделить на два куска – сетевые карты в серверах и коммутаторы в шасси. Про карты уже говорили во второй части, но интересно обсудить детали отдельно. Кроме этого, надо отметить, что модули SY Composer, Image Streamer и FLM имеют свой бэкплейн, отдельный от общего, и по этому бекплейну информации нет.

В пику военной истерии и эскалации международной напряженности последних месяцев хочется рассказать об одном из примеров вполне мирного, созидательного и полезного использования бывшего оборонного объекта.

Однажды один из клиентов компании-интегратора, где я работал, попросил оперативно нарисовать проект небольшой системы хранения данных. Как назло, специальный человек по SAN оказался недоступен и задачу поручили мне. На тот момент мои знания по СХД сводились к непробиваемой идее "Fibre Channel – это круто, а iSCSI – не очень".

В начале мая 2016 года, еще до окончания объединения с Dell, компания EMC объявила о выходе нового поколения массивов среднего уровня под именем Unity. В сентябре 2016 года к нам привезли демо-массив Unty 400F в конфигурации с 10 SSD дисками на 1.6TB каждый. В чем различие между моделями с индексом F и без оного можете почитать по данной ссылке в блоге Дениса Серова. Так как перед передачей демо дальше заказчику возник временной лаг, то было принято решение погонять массив тем же самым тестом, которым ранее уже нагружались VNXe3200 и VNX5400. Что бы посмотреть хотя бы на «синтетике» так ли хорош Unity по сравнению с предыдущими поколениями массивов EMC, как это расписывает вендор. Тем более что, судя по презентациям вендора, Unity 400 является прямой заменой VNX5400.



А DellEMC утверждает, что новое поколение по крайней мере в 3 раза производительнее, чем VNX2.
Если интересно, что из всего этого вышло, то…

Безопасность в интернете всегда была горячей темой для обсуждения. В частности, очень популярными остаются вопросы обеспечения анонимности в сети.

Сегодня нам бы хотелось вернуться к теме ИБ и провести небольшой обзор таких решений, как VPN, прокси, Tor и нескольких других.


/ фото Magnus CC

Сегодня олимпийский девиз «быстрее, выше, сильнее» вполне применим и к индустрии компьютерных технологий – чтобы оставаться конкурентоспособными многие участники рынка стараются «отработать» технику и стать лучше. Особенно когда речь идет о новых технологиях – попытки увеличить производительность, ёмкость памяти и скорость передачи данных не прекращаются.


/ фото Arthur Caranta CC

Ethernet — это самая распространённая технология локальных сетей в мире. Сотни миллионов устройств и высокий спрос на поддержку Ethernet-систем говорят о том, что изобретение 43-летней давности прочно закрепилось и никуда не исчезнет в ближайшее время.

В ходе развития компьютерной техники Ethernet постоянно «переизобретали», добавляли новые возможности и сделали общепринятой сетевой технологией. В этом материале мы затронем тему эволюции Ethernet — от изобретения до превращения в стандарт международного уровня и основу огромного количества сетей.


/ фото Magnus CC

Сегодня в блоге наш ИТ-эксперт, Хенрик Моцкус, представит ряд детальных обзоров основных функций Microsoft StorSimple. Мы остановимся на нескольких отдельных аспектах. Одним из наиболее важных является аварийное восстановление. После базовой установки Microsoft StorSimple необходимо выбрать настройки, соответствующие требованиям надежности. На примере файлового сервера Хенрик расскажет о технических тонкостях данного сценария.

StorSimple является гибридным решением компании Microsoft для хранения данных, разработанное для обеспечения простого, быстрого, экономически выгодного хранения данных из центра данных Microsoft Azure для локальных пользователей. Для ознакомления с основами и для приобретения базовых знаний о работе этого ПО, советуем прочитать статью «Microsoft Azure StorSimple: Простой вход в гибридное облако».

Пришла идея делать backup сервера VPS на CentOS 7 в Google drive, не пропадать же зря 15 гигам халявного места. Немного поискал и нашел пару статей на эту тему, тема оказалась не нова, и сначала поставил утилиту от самой корпорации добра, вот статья на эту тему Backing up a Directory to Google Drive on CentOS 7.

Но мне это не подходит, так как есть скрипт, который выполняется по расписанию, и в нем я решил проверять файлы по дате создания и не плодить миллион архивов, а для этого нужно смонтировать Google Drive в папку.

Утилита от Google умеет только закачивать и скачивать файлы, проверить по дате и удалить все старше 3х дней не получилось.

Спасение нашлось в google-drive-ocamlfuse, статей на эту тему не мало, но есть одно, но, утилита требует GUI интерфейс, а в частности любой браузер. В браузер передается с генерированная ссылка.

Google как известно авторизует пользователей по OAuth. В моем VPS естественно не о каком GUI речь не идет, только консоль.

На помощь пришла статья с github Headless Usage & Authorization. Предлагаю вам мой вольный перевод.

Яндекс, как и любая другая большая интернет-компания, хранит много, а точнее очень много данных. Это и пользовательские данные из разных сервисов, и намайненные сайты, и промежуточные данные для расчёта погоды, и резервные копии баз данных. Стоимость хранения ($/ГБ) — один из важных показателей системы. В этой статье я хочу рассказать вам про один из методов, который позволил нам серьезно удешевить хранилище.

В 2015 году, как вы все помните, сильно вырос курс доллара. Точнее, расти-то он начал в конце 2014-го, но новые партии железа мы заказывали уже в 2015-м. Яндекс зарабатывает в рублях, и поэтому вместе с курсом выросла и стоимость железа для нас. Это заставило нас в очередной раз подумать о том, как сделать, чтобы в текущий кластер можно было положить больше данных. Мы такое, конечно, делаем регулярно, но в этот раз мотивация была особенно сильной.

Каждый сервер кластера предоставляет для нас следующие ресурсы: процессор, оперативную память, жёсткие диски и сеть. Сеть здесь — более сложное понятие, чем просто сетевая плата. Это ещё и вся инфраструктура внутри дата-центра, и связность между разными дата-центрами и точками обмена трафиком. В кластере для обеспечения надёжности применялась репликация, и суммарный объём кластера определялся исключительно через суммарную ёмкость жёстких дисков. Нужно было придумать, как обменять оставшиеся ресурсы на увеличение места. Кстати, если после поста у вас останутся вопросы, которые бы вы хотели обсудить лично, приходите на нашу встречу.

Сегодня мы предлагаем вашему вниманию дайджест, посвященный трансформации технологий и бизнеса. Основу подборки, традиционно, составили материалы, подготовленные силами экспертов компании «ИТ-ГРАД».



/ фото Flazingo Photos CC

На обеспечение эффективной работы дата-центров сегодня тратится очень много электроэнергии. В 2013 году только дата-центрами США было потреблено порядка 91 миллиарда киловатт-часов энергии, что равняется годовой выработке 34 крупных угольных электростанций.

Электричество остается одной из основных статей расходов компаний-владельцев ЦОД, потому они предпринимают попытки к повышению эффективности работы вычислительной инфраструктуры. Для этого применяются различные технические решения, о части которых мы сегодня и поговорим.



/ фото Torkild Retvedt CC