Pull to refresh

«Римские каникулы» в серверной и Terraform-провайдер для баз данных

Selectel corporate blog IT Infrastructure *Cloud services

Привет! Снова кратко рассказываем вам, что интересного происходит в дата-центрах и разработке Selectel.

Пока полноценные «римские каникулы» недоступны из-за эпидемиологической обстановки, мы собираем Италию в серверах. Линейка процессоров AMD EPYC пополнилась моделью Milan (Naples и Rome уже есть). Ближе стали и наши «Облачные базы данных» — теперь кластерами можно управлять через Terraform-провайдера Selectel: создавать базы и пользователей, управлять доступом и расширениями. Новости есть и для тех, кто еще не нашел идеальную инфраструктуру под «Битрикс24» и «1С-Битрикс». Обо всех изменениях читайте под катом.
Total votes 8: ↑7 and ↓1 +6
Views 808
Comments 0

Roblox подробно объяснила октябрьский сбой

Server optimization *Server Administration *Games and game consoles

В Roblox рассказали подробности технического сбоя, который длился с 28 по 31 октября 2021 года. В этот период игровая онлайн-платформа была недоступна для пользователей. Сбой вызвали две проблемы: включение новой функции потоковой передачи в Consul при необычно высокой нагрузке чтения и записи, а также производительность в BoltDB. Система BoltDB с открытым исходным кодом используется в Consul для управления журналами.

Читать далее
Total votes 25: ↑21 and ↓4 +17
Views 5.9K
Comments 6

GitHub объяснил причину сбоев в марте

IT Infrastructure *Database Administration *GitHub

GitHub объяснил перебои с работой 16, 17, 22 и 23 марта. Как заявили представители платформы, сбои были вызваны проблемами «конфликта ресурсов» с их основным кластером MySQL под названием «MySQL1». Проблема повлияла на производительность большого количества сервисов и функций GitHub.

Читать далее
Total votes 9: ↑9 and ↓0 +9
Views 2.1K
Comments 1

Новый сервер ASRock Rack Microcloud с 18 AMD Ryzen в 4U корпусе сэкономит 3000 евро в год на размещении в ЦОД

HOSTKEY corporate blog Hosting

Тайваньская компания ASRock Rack начала принимать заказы на новые сервера для хостинга или организации кластеров на базе сокета AM4 под процессоры AMD Ryzen. 

Узнать подробности
Total votes 6: ↑5 and ↓1 +4
Views 3.7K
Comments 9

«Нигма» запустила поиск по библиотекам

Search engines *
Разработчики интеллектуального поисковика «Нигма» реализовали новый сервис – поиск по электронным библиотекам. Его запуск приурочен ко второму дню рождения проекта, который команда отпразднует 12 апреля. По данным опроса, проведенного компанией в прошлом месяце, пользователей «Нигмы» более всего интересовал именно поиск по библиотекам.

Кроме того, на завтра у «Нигмы» запланирована промо-акция – раздача шоколадных плиток у станции метро «Университет» и на факультете психологии МГУ. Проводиться она будет с 10.00 до 14.00 по московскому времени.

Напомним, поисковик «Нигма» разрабатывается группой студентов и аспирантов факультетов ВМиК и психологии МГУ им. Ломоносова. Особенность системы – наличие искусственного интеллекта, позволяющего группировать найденные сайты в кластеры, наблюдать которые можно слева от результатов поиска.
Total votes 28: ↑27 and ↓1 +26
Views 897
Comments 8

Как сделать бюджетный геокластерный хостинг

Hosting
В качестве распределенного хостинга возьмем классический пример — создание блогосервиса на основе mu-Wordpress.
Задача — при ограниченном бюджете собрать отказоустойчивую (насколько это возможно) геораспределенную систему. Соответственно все оборудование берется в аредну в различных Дата-Центрах.
И тут следует сказать что не все Дата-Центры одинаково полезны. Высококачественные сдают сервер за 800$, а у низкокачественных вполне можно взять примерно такой же сервер в аренду уже за 100$. И именно эти особенности надо учитывать при создании геокластера.

Теперь о небольших хаках. По умолчанию в mu-Wordpress функция отдачи загружаемого контента сделана крайне неудачно — через PHP. Соответственно она была заменена на загрузку отдельным сервисом и вставкой загружаемого контента прямой ссылкой на статику.
Вторым хаком была модификация контроля кеширования. Кроме указаний кешировать статичные элементы дизайна был введен еще такой хак, который запрещал кешировать запись на время ее обсуждения (по умолчанию — 14 дней), а уже после она отдавалась с заголовком разрешающим кеширование. Кроме того хитро кешировались фиды RSS.
Финальным хаком стала система синхронизации БД — каждый INSERT/DELETE/UPDATE выполнялся на «соседе». Получился такой себе софт-рейд в контексте MySQL+PHP.
Читать дальше →
Total votes 49: ↑33 and ↓16 +17
Views 859
Comments 25

Запуск и работа с Hadoop в Windows Azure

Microsoft corporate blog Hadoop *
Translation

imageimage 



Возможно ли развернуть кластер Hadoop в Windows Azure? Конечно же, да, и как вы сможете убедиться, это совсем нетрудно.



В этой статье я продемонстрирую порядок того, как создать типовой кластер с серверами Name Node, Job Tracker и управляемым числом Slave-серверов. Вы сможете динамически изменять число Slave-серверов с помощью портала Azure Management Portal. Описание механики этого управления я оставлю на следующий пост.



Следуйте следующим шагам для того, чтобы создать пакет Azure для вашего кластера Hadoop с нуля:



Читать дальше →
Total votes 30: ↑22 and ↓8 +14
Views 5.2K
Comments 3

Основы MPI для «чайников»

System Programming *
Sandbox
Так вышло, что мне пришлось тесно столкнуться с изучением параллельных вычислений и в частности MPI. Пожалуй, направление это на сегодняшний день является весьма перспективным, так что хотелось бы показать хабраюзерам основы этого процесса.

Основные принципы и пример

В качестве примера будет использоваться расчет экспоненты (e). Один из вариантов ее нахождения — ряд Тейлора:
e^x=∑((x^n)/n!), где суммирование происходит от n=0 до бесконечности.

Данная формула легко поддается распараллеливанию, так как искомое число является суммой отдельных слагаемых и благодаря этому каждый отдельный процессор может заняться вычислением отдельных слагаемых.
Читать дальше →
Total votes 37: ↑32 and ↓5 +27
Views 86K
Comments 29

Самые необычные Дата Центры: Дата Центры, как искусство

ua-hosting.company corporate blog
Recovery mode
Уже давно никого не удивишь сверхсовременными центрами обработки данных (ЦОД), которых в мире насчитывается великое множество. Надежность, масштабируемость, приспособляемость – основные параметры, на которые ориентировались инженеры при проектировании Дата Центров. До недавнего времени…

В наши дни стало появляться все больше и больше Дата Центров, которые без преувеличения можно назвать настоящими произведениями искусства. Причин этому, на мой взгляд, несколько, начиная от желания завлечь клиента за счет необычности объекта (получить преимущества в маркетинге) и заканчивая банальным желанием сэкономить, но при этом сделать что-то полезное, например, сохранить объект архитектуры.

Серверная в часовне


Никогда не думали о серверной в часовне? А вот в Барселоне испанцы не только думали, но и построили. В 2005 году серверная площадью около 120 кв. м. успешно начала функционировать в бывшей часовне Torre Girona, где разместили один из самых мощных суперкомпьютеров Европы, производительностью около 94 терафлопс.



Читать дальше →
Total votes 117: ↑115 and ↓2 +113
Views 72K
Comments 50

ZigBee. Совместимость устройств, профили приложений, кластеры, конечные точки, привязки

Website development *System Analysis and Design *


Основное назначение сетей ZigBee – связь между устройствами в автоматизированных системах. Области применения сетей ZigBee – самые различные. Типы и назначение связываемых устройств – также весьма разнообразны. Связь может устанавливаться между выключателем и светильником в «умном доме», приборами учета и сервером сетевой обслуживающей компании, датчиком движения и пультом охраны. Возможно, просматривая этот топик, Вы, сами того не подозревая, пользуетесь сетью ZigBee – многие беспроводные мыши с USB адаптером 2,4 ГГц соответствуют ZigBee RF4CE specification.

В этом топике речь пойдет о регламентированных спецификацией ZigBee механизмах, обеспечивающих совместимость и взаимодействие устройств автоматики (приложений) через сеть ZigBee.
О построении и работе сетей ZigBee я писал в предыдущих топиках (можно посмотреть также здесь).

Читать дальше →
Total votes 7: ↑5 and ↓2 +3
Views 14K
Comments 0

Как мы создавали кластер из Raspberry Pi

Python *
Translation

12-14 февраля прошла известная конференция WSO2Con 2013. И её ведущим был Эбен Аптон (Eben Upton) — основатель и попечитель фонда Raspberry Pi Foundation.

Как все однажды началось...


Raspberry Pi будоражит умы гиков с тех самых пор, как была первый раз анонсирована. Мы были взволнованы услышать о том, что Эбен будет представлять конференцию и ещё больше удивлены, когда Sanjiva (прим. пер.: CEO WSO2, главный организатор конференции) предложил нам разместить бэкенд официального приложения WSO2Con на кластере из Raspberry Pi. Предложил что? Да, он всегда полон безумных идей. Первое совещание прошло 23 декабря 2012, за день перед уходом команды на рождественские каникулы. В то время мы даже не были уверены, возможно ли вообще запустить enterprise middleware на Raspberry Pi. Но исследование неизведанного — это обычное дело для WSO2, и достижение недостижимого — то, что мы делаем здесь на регулярной основе. Таким образом, группа отважных гиков бросила вызов созданию такой системы. Проект официально сдвинулся с мёртвой точки 2 января этого года.
Осторожно, трафик!
Total votes 92: ↑74 and ↓18 +56
Views 108K
Comments 68

Создание и использование Matlab кластеров

High performance *Matlab *
Sandbox
Цель статьи: хочу поделится опытом создания трех вычислительных кластеров Matlab, а также их удаленного администрирования.

Небольшое вступление

При исследовании/моделировании разных природных явлений (и не только), изредка появляется потребность в больших вычислительных способностях с которыми домашний ПК справится уже не в силе (каким бы мощным он небыл). В конце концов, эта потребность появились и у меня.

Моделирование, связанное с решением систем нелинейных дифференциальных уравнений на длинном промежутке относительного времени занимает достаточно много процессорного времени, поэтому было принято решение это все дело «расспаралелить».

Итак, обо всем — по порядку


Железо в наличии:

Дома: комп (Phenom II x4 840, 7x64) и ноут (Athlon II Dual-Core M320, 7x64) соединенные в одну сеть старым добрым маршрутизатором DIR-300.

Дома у девушки: комп (i5 4440, 7x64).

На работе: 10 компов (Athlon II Dual-Core, XPx86) (связанных в одну сеть) в одном помещении и 4 (Athlon II Dual-Core, XPx86) в другом (тоже связанных в одну сеть). Локальной сети между помещениями нет.

На всех вышеперечисленных ящиках присутствует доступ в интернет.
Читать дальше →
Total votes 10: ↑10 and ↓0 +10
Views 16K
Comments 15

Недорогая 10GbE инфраструктура для кластеров

HOSTKEY corporate blog
Мы в HOSTKEY регулярно сталкиваемся с необходимостью организации VLAN на скорости 10Гбит для кластеров виртуализации – своих и клиентских. Эта технология необходима для взаимодействия с СХД, для резервного копирования, для доступа у БД и для обеспечения живой миграции виртуальных машин. Всегда возникает вопрос — как сделать это надежно и с минимальными затратами?

До последнего времени минимальные затраты для такого решения были существенными. Самый маленький коммутатор 10GbE был на 24 порта, а самая простая карта – Intel X520 за 500 долларов. Бюджет на порт составлял около 700-1000 долларов, а входной билет был очень высокий.

Прогресс не стоит на месте, в начале 2015 года появился новый класс устройств 10GbE за приемлемые деньги со склада в Москве и под гарантией.
Так как мы в HOSTKEY регулярно строим на их базе выделенные сервера и частные облака, то хотим поделиться опытом.

Итак, у нашего Клиента 5 машин в кластере и ему нужен 10GbE VLAN – там 2 файлера, одна машина для резервного копирования и несколько нод. На гигабите все медленно и не хочется ставить в машины гигабитные четырехпортовки в тиминге. Надо 10GbE и бюджет ограничен. Звучит знакомо, не правда ли?
Читать дальше →
Total votes 18: ↑12 and ↓6 +6
Views 42K
Comments 35

Файловая система и Hadoop: Опыт Twitter (Часть 1)

1cloud.ru corporate blog Development of mobile applications *Big Data *Development for e-commerce *Hadoop *
Наш основной принцип работы заключается в том, что IaaS должен быть простым и понятным даже для тех, кто не сталкивался с ИТ-сферой. Поэтому мы проводим постоянную оптимизацию всех систем и рассказываем о том, что нам удалось сделать, в нашем блоге на Хабре.

Пара примеров:


Сегодня мы решили взглянуть на западный опыт и кратко проанализировать заметку команды инженеров Twitter, в которой они рассказали о своем подходе к работе с файловой системой для кластеров Hadoop.

Читать дальше →
Total votes 11: ↑11 and ↓0 +11
Views 12K
Comments 6

Файловая система и Hadoop: Опыт Twitter (Часть 2)

1cloud.ru corporate blog Development of mobile applications *Big Data *Development for e-commerce *Hadoop *
Наш основной принцип работы заключается в том, что IaaS должен быть простым и понятным даже для тех, кто не сталкивался с ИТ-сферой. Поэтому мы проводим постоянную оптимизацию всех систем и рассказываем о том, что нам удалось сделать, в нашем блоге на Хабре.

Пара примеров:


Сегодня мы решили продолжить краткий разбор заметки команды инженеров Twitter о создании файловой системы для работы с кластерами Hadoop.

Читать дальше →
Total votes 8: ↑8 and ↓0 +8
Views 9.5K
Comments 0

RTB: шаг навстречу новой технологии

RealWeb corporate blog Internet marketing Display advertising Contextual advertising
Рост интереса к работе с большими данными не мог обойти стороной рекламную отрасль, которая всегда тяготеет к использованию технических новинок. Несколько лет назад появилась новая технология RTB (real-time-bidding), которая быстро завоевала признание рекламодателей в США и Европе. На сегодняшний день RTB практически сравнялась по объёмам со стандартной медийной рекламой. В России рынок развивается гораздо медленнее, но тем не менее даже в условиях кризиса мы наблюдаем уверенный растущий тренд. Рекламный рынок всегда восприимчив к новинкам, и рекламодатели охотно пробуют новые способы взаимодействия с аудиторией. Однако RTB стала настолько востребованной, что появились целые ресурсы, полностью посвящённые системе. Чем же обусловлена такая популярность?

Читать дальше →
Total votes 13: ↑12 and ↓1 +11
Views 5K
Comments 0

Распределение ресурсов в больших кластерах высокой производительности. Лекция в Яндексе

Яндекс corporate blog System administration *IT Infrastructure *Server optimization *Cloud computing *
Большинство сложных задач с данными требуют немалого количества ресурсов. Поэтому почти у каждого дата-центра в мире не один, а множество клиентов — даже если все они выступают под общим брендом. Компаниям нужны мощности под самые разные сервисы и цели, да и в процессе достижения какой-нибудь одной из них приходится иметь дело с целым набором подзадач. Как дата-центру справиться с потоком желающих что-нибудь проанализировать или посчитать? Поступающие заказы на вычисления нужно выполнять в некотором порядке, стараясь никого не обделить ресурсами. Эта лекция — об основных методах распределения реальных задач на большом кластере. Способ, о котором рассказал Игнат Колесниченко, применяется для обслуживания почти всех сервисов Яндекса.

Игнат — руководитель одной из групп в нашей службе технологий распределенных вычислений. Окончил мехмат МГУ и Школу анализа данных, в Яндексе с 2009 года.



Под катом — подробная расшифровка лекции и слайды.
Читать дальше →
Total votes 57: ↑55 and ↓2 +53
Views 20K
Comments 3

Поиск Яндекса с инженерной точки зрения. Лекция в Яндексе

Яндекс corporate blog Search engines *Algorithms *Industrial Programming *Machine learning *
Сегодня мы публикуем ещё один из докладов, прозвучавших на летней встрече об устройстве поиска Яндекса. Выступление руководителя отдела ранжирования Петра Попова получилось в тот день самым доступным для широкой аудитории: минимум формул, максимум общих понятий о поиске. Но интересно было всем, потому что Пётр несколько раз переходил к деталям и в итоге рассказал много такого, о чём Яндекс никогда раньше публично не заявлял.

Кстати, одновременно с публикацией этой расшифровки начинается вторая встреча из серии, посвящённой технологиям Яндекса. Сегодняшнее мероприятие — уже не про поиск, а про инфраструктуру. Вот ссылка на трансляцию.


Ну а под катом — лекция Петра Попова и часть слайдов.

Total votes 61: ↑60 and ↓1 +59
Views 22K
Comments 5

zetcd от CoreOS: Заменяя ZooKeeper на… хранилище etcd

Флант corporate blog Open source *System Analysis and Design *NoSQL *Go *
На прошлой неделе компания CoreOS порадовала очередным Open Source-проектом — zetcd. На самом деле о нём было известно ещё с прошлого года, но теперь состоялся первый релиз, который перевёл продукт в статус бета-тестирования — заявил о готовности продукта к серьёзным испытаниям перед выпуском в мир production. Авторы позиционируют zetcd как готовую замену для ZooKeeper внутри таких распределённых/кластерных решений, как Mesos, Apache Kafka и Apache Drill. Их настрою не препятствует даже тот факт, что etcd предлагает «плоское» хранение ключей-значений против иерархического подхода своего конкурента. Как они к этому пришли?

Читать дальше →
Total votes 24: ↑22 and ↓2 +20
Views 13K
Comments 2

Центр правительственной связи Великобритании построил кластер из 66 Raspberry Pi

Gadgets Computer hardware Desktop PC's DIY


Центр правительственной связи Великобритании, который можно назвать аналогом NSA, разработал кластер из 66 мини-ПК Raspberry Pi. Цель, с которой кластер был разработан, озвучена, как «образовательная». К сожалению, представители органа это не расшифровывают, но проект действительно интересный. При этом в самом Центре использовать кластер для взлома кодов или мониторинга телефонных сетей не собираются.

Скорее всего, кластер был создан в рамках внутреннего исследовательского проекта, в ходе которого трое неназванных работников Центра решили создать собственный кластер из Raspberry Pi. Базовым унитом кластера служит восемь объединенных в сеть устройства, причем унит получил собственное название — «OctaPi». Размер юнита старались сделать оптимальным, принимая во внимание геометрический размер, энергопотребление, охлаждение и т.п. У каждого юнита есть LED-дисплей.
Читать дальше →
Total votes 14: ↑12 and ↓2 +10
Views 9.7K
Comments 5
1