Как стать автором
Поиск
Написать публикацию
Обновить
27.4

Облачные вычисления *

Концепция общего доступа к ресурсам

Сначала показывать
Период
Уровень сложности

Почему стоит использовать лимиты CPU в Kubernetes

Время на прочтение8 мин
Количество просмотров9.7K

Эту статью я написал в противовес статье “For the love of god, stop using CPU limits on Kubernetes” (Ради всего святого, прекратите использовать в Kubernetes лимиты CPU).

Мне та статья понравилась, и я считаю её хорошим чтивом. Более того, я согласен с высказанными в ней рекомендациями относительно установки объёмов запрашиваемой памяти и её лимитов для контейнеров, а также с советом всегда устанавливать запросы на выделение CPU.

При этом моё несогласие, явно выраженное в противоположном по смыслу заголовке, связано с той категоричностью, с которой в итоге автор рекомендует не устанавливать лимиты потребления CPU.
Читать дальше →

Что делать компаниям, которые не могут пользоваться классическим IaaS из-за требований к безопасности

Время на прочтение7 мин
Количество просмотров2.9K

В этом материале мы расскажем, что такое аттестованный сегмент ЦОД. Поговорим о преимуществах и проблемах IaaS и on-premise как собственного решения. Также разберем, как А-ЦОД закрывает потребности компаний, которые хотят использовать возможности IaaS, но не могут из-за разных ограничений — например, аттестации по 17 приказу ФСТЭК или строгих корпоративных правил безопасности.

Наконец ответим на вопрос, как экономить на IT-инфраструктуре, если нужно работать с чувствительными данными и сохранять контроль за безопасностью.
Читать дальше →

БД в облаках: кому и зачем — мнение специалистов Data Egret

Время на прочтение16 мин
Количество просмотров6.6K
Есть мнение, что будущее за DB as Service. Стоит ли всем подряд увольнять DBA и переходить в публичное облако или стремиться создать приватное облако на Docker с Kubernetes? Трое экспертов из Data Egret — Алексей Лесовский, Виктор Егоров и Андрей Сальников — на канале #RuPostgres в прямом эфире поделились мнением, для каких именно проектов подойдут облачные модели.

Модератором и ведущим беседы выступил Николай Самохвалов, основатель Postgres.ai и сооснователь сообщества RuPostgres.org.



Под катом — расшифровка беседы.
Читать дальше →

Облако Selectel — о супер-хабраэффекте, небольшой оптимизации, и расходах за 2 года

Время на прочтение2 мин
Количество просмотров16K
Почти 2 года назад я писал обзор о новых тогда «облачных» виртуалках Selectel-а (отличие от всех остальных было и остается в том, что расход памяти, дисковые операции, трафик — все это считается и оплачивается отдельно и весьма подробно).

Cейчас хочу подвести черту под результатами почти 2-х лет использования, поделиться небольшим хаком по экономии 600 рублей в год, и рассказать как я на нем пережил Über-эффект (репост на десятке популярных буржуйских сайтов).
Читать дальше →

Что делать если в Ваш Amazon EC2 instance ударила молния?

Время на прочтение4 мин
Количество просмотров4.3K
Как многим известно, недавно в Ирландии был обесточен один из датацентров Amazon. Об этом уже рассказывали. Как я понял из общения со своими коллегами, большинство пользователей Amazon EC2 получили разве что downtime, но вот мне не повезло больше — у меня не только инстансы остановились, но один из моих volume-ов перешел в состояние error.

Все бы ничего (ведь есть snapshot-ы), но вот незадача: отключать (detach) EBS volume-ы нельзя, если они подключены как root к какому либо инстансу. Во всяком случае через web.

Читать дальше →

Оптимизация промышленных видеокарт для машинного обучения и нюансы тюнинга на примере A30, A100, L4 и L40s

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров1.9K

Чтобы эффективно осваивать вложенные в покупку или аренду GPU ресурсы, важно использовать весь потенциал видеокарт. Первые сложности возникают при настройке оборудования в контексте его потенциальных возможностей. С одной стороны — недостаточная утилизация ресурсов, с другой — бесконечное горизонтальное масштабирование и кратное удорожание ИТ-инфраструктуры. 

В этой статье мы разберем базовые принципы и настройки оптимизации проверенных моделей GPU, чтобы эффективнее справляться с задачами машинного обучения. Посмотрим, как настраивать драйверы и библиотеки, управлять памятью, активировать Tensor Cores для ускорения вычислений, использовать технологию MIG для распределения задач и проводить разгон GPU для получения максимальной производительности. Следуя этим рекомендациям, вы сможете ускорить вычислительные процессы и сократить затраты на оборудование, увеличив эффективность работы с большими данными. Разбираться будем на примерах популярных моделей NVIDIA: A30, A100, L40s и L4.

Хочу больше знать

Новые процессоры, апдейт TimescaleDB, кешбэк за S3 и многое другое: что мы обновили в апреле

Время на прочтение5 мин
Количество просмотров3K

Привет! С вами снова Саша, технический писатель в Selectel. В этом дайджесте рассказываю, как обновились наши продукты в апреле, раскрываю подробности новых акций и напоминаю о квизе для новичков и профи в IT.
Читать дальше →

Пять книг, которые изменили мою карьеру программиста

Время на прочтение4 мин
Количество просмотров89K

"Читатель проживает тысячу жизней, прежде чем умрет.. Человек, который никогда не читает, проживает только одну "

- Джордж Р.Р. Мартин.

Читать далее

Конференция mailto:CLOUD — про облака и вокруг

Время на прочтение4 мин
Количество просмотров1.5K


Друзья, приглашаем вас 25 апреля в наш московский офис на конференцию mailto:CLOUD, посвященную российскому облачному рынку. Здесь встретятся бизнес и IT, чтобы обсудить актуальные проблемы и поделиться опытом.

Сегодня многие высокопроизводительные технологии задействуют облака. На mailto:CLOUD мы обсудим актуальные тренды, успешный опыт компаний и трудности, которые встречаются на пути к внедрению новых технологий. А в дискуссионных частях российские и западные провайдеры поделятся своим видением развития облачного рынка.
Программа конференции

Поиск на скорости 1 ТБ/с

Время на прочтение9 мин
Количество просмотров10K
TL;DR: Четыре года назад я покинул Google с идеей нового инструмента для мониторинга серверов. Идея состояла в том, чтобы объединить в одну службу обычно изолированные функции сбора и анализа логов, сбора метрик, оповещений и панели мониторинга. Один из принципов — сервис должен быть действительно быстрым, обеспечивая девопсам лёгкую, интерактивную, приятную работу. Это требует обработки наборов данных по несколько гигабайт за доли секунды, не выходя за рамки бюджета. Существующие инструменты для работы с логами часто медленные и неуклюжие, поэтому мы столкнулись с хорошей задачей: грамотно разработать инструмент, чтобы дать пользователям новые ощущения от работы.

В этой статье описывается, как мы в Scalyr решили эту проблему, применив методы старой школы, подход грубой силы, устранив лишние слои и избегая сложных структур данных. Эти уроки вы можете применить к собственным инженерным задачам.
Читать дальше →

Первый взгляд на FoundationDB, открытую Apple

Время на прочтение9 мин
Количество просмотров19K
В прошлой статье мы рассматривали ограничения и препятствия, которые возникают, когда нужно горизонтально масштабировать данные и иметь гарантию ACID-свойств транзакций. В этой статье рассказываем о технологии FoundationDB и разбираемся, как она помогает преодолеть эти ограничения при разработке mission-critical приложений.

FoundationDB — это распределенная NoSQL база данных с ACID-транзакциями уровня Serializable, хранящая отсортированные пары ключ-значение (ordered key-value store). Ключами и значениями могут быть произвольные последовательности байт. У неё нет единой точки падения — все машины кластера равноправны. Она сама распределяет данные по серверам кластера и  масштабируется на лету: когда в кластер нужно добавить ресурсов, ты просто добавляешь адрес новой машины на конфигурационных серверах и база сама подхватывает ее.
Читать дальше →

Plug — домашнее облачное хранилище

Время на прочтение1 мин
Количество просмотров52K


Сегодня очень популярны облачные сервисы, и на kickstarter'е появился проект домашнего облачного хранилища — Plug, который собрал уже более $600 тысяч (Необходимые $69 тысяч проект собрал всего за пять дней). Самые дешевые места по $59 закончились, но остались по $79.
Читать дальше →

Влияние дела Megaupload на хранение данных в облаке

Время на прочтение3 мин
Количество просмотров25K


В деле Megaupload на кону стоит гораздо больше, чем свобода его основателя Кима Доткома и его коллег.

Приватность и права собственности более 60 миллионов его пользователей также в опасности, равно как и приватность и права собственности любого, кто хранит данные в облаке – так считают в Фонде Электронных Рубежей (Electronic Frontier Foundation), который представляет одного из пользователей Megaupload в судебном деле против правительства. Это разбирательство может создать очень важный прецедент для всех пользователей облачных сервисов.
Читать дальше →

Ближайшие события

Dropbox отказывается от папки Public в новых аккаунтах

Время на прочтение1 мин
Количество просмотров17K
Сегодня пришло письмо от Dropbox следующего содержания:

After July 31, we will no longer create Public folders in any new Dropbox accounts. If your app depends on Public folders, we recommend switching to the /shares API call. Public folders in existing accounts, however, will continue to function as before.

Читать дальше →

Облачные вычисления, краткий обзор или статья для начальника

Время на прочтение11 мин
Количество просмотров100K
В своей работе очень часто сталкиваюсь с тем, приходится делать краткие обзоры ИТ технологий для начальника, коллег и др. Данная информация обычно оформляется в статью и отвечает на следующие вопросы:
— почему «это» лучше чем «то» (специально написал обезличено, так как такой вопрос задают очень часто и на различные тематики связанные с ИТ и не только);
— в чем достоинства и недостатки при переходе на «то» или «это»;
— как лучше сделать чтобы … и др.

Проблема в том, что написание краткой статьи по «этому» или «тому» неизбежно, хотя объяснить намного быстрее, чем набирать текст, но надо текст и с этим ничего не поделаешь, а так жалко времени, которое бесценно и убегает с каждой секундой. Я думаю, что я не один сталкиваюсь с такой проблемой, поэтому предлагаю начать раздел под названием – «Начальнику в помощь» в котором будем публиковать статьи подобного рода (тем более, что они и так будут написаны вами), тем самым сэкономим время и поможем друг другу. В один прекрасный момент и к вам обратятся с таким вопросом, и возможно, кто-то уже написал ответ на этом вопрос и будет легче написать статью или просто скинуть ссылку на уже написанную, сэкономив драгоценное время.

Итак приступим. Вопрос с которым ко мне обратились был следующим. «Почему облачные вычисления лучше, чем классическая схема построения сетевой инфраструктуры, какова основная причина того, многие организации „перебираются в облака“?». Далее мои мысли по этому поводу.
Читать дальше →

Мал золотник, да дорог: ученые из НИТУ «МИСиС» предлагают создать облачный супер-ПК из миллионов смартфонов

Время на прочтение4 мин
Количество просмотров5.5K

В идее распределенных вычислительных систем нет ничего нового. Идея реализована уже давно, плюс примеров таких реализаций множество, включая SETI, Folding@Home и другие. Идея в том, что специальное программное обеспечение использует незадействованные ресурсы локальных систем — например, ноутбуков и ПК, направляя их на выполнение полезных задач. Ну да, это может быть поиск сигналов внеземного происхождения или разных форм белка.

Но обычно такие системы и составляются из ноутбуков или десктопных ПК. А что, если задействовать ресурсы смартфонов или планшетов? Эта идея тоже не новая, но сейчас ее реализацией занялись российские ученые — специалисты из МИСиС.
Читать дальше →

Основы Ansible, без которых ваши плейбуки — комок слипшихся макарон, часть 2

Время на прочтение17 мин
Количество просмотров71K

Я продолжаю выразительно пересказывать документацию Ансибла и разбирать последствия её незнания (ссылка на предыдущую часть).


В этой части мы обсуждаем инвентори. Я обещал ещё и переменные, но инвентори оказалась большой темой, так что посвящаем ей отдельную статью.


Мы будем разбирать каждый элемент инвентори (кроме host_group_vars plugin) и обсуждать зачем он, как его использовать правильно, и как неправильно.


Оглавление:


  • Что такое хост? (и немного про транспорты)
  • Доступ IP vs FQDN; inventory_hostname vs ansible_host
  • ansible_user — писать или не писать?
  • Группы
  • Переменные: в инвентори или в плейбуку?
  • Классификация инвентори по происхождению.
Читать дальше →

Сравнение производительности виртуальных машин 6 облачных платформ: Selectel, MCS, Я.Облако, Google Cloud, AWS и Azure

Время на прочтение21 мин
Количество просмотров28K
Давеча на глаза мне тут попалось аж две статьи из одного корпоративного блога, касающиеся облаков — одна про Kubernetes, а во второй была попытка замера производительности по методике, которая мне показалась сомнительной (спойлер — и не зря).

Про K8s мне тоже есть что сказать, но поговорим про производительность.

Недоверие к результатам было вызвано многими факторами, но основными из них для меня стали следующие: параметров запуска тестов не было, количество итераций не озвучено, как выбирались машины не озвучено, подробной конфигурации тоже не было. Сомнительно, в общем.
В целом, я пользуюсь в основном Google Cloud и AWS (в сумме уже с десяток лет опыта по ним набежало) и с отечественными облачными провайдерам особо не работаю, но, по стечению обстоятельств, у меня есть активные аккаунты в Selectel, MCS, Я.Облаке и, после этого теста, еще и в Azure.

К счастью, все эти платформы публичные и что бы я не намерил, каждый при желании может пойти, повторить и проверить.

Итогом всего этого стала мысль — почему бы не потратить пару сотен рублей, все выходные и действительно вдумчиво не померить все шесть платформ и выяснить, какая из них дает лучшую производительность относительно стоимости и в абсолютных цифрах при одинаковых конфигурациях, а заодно и сравнить глобальных поставщиков с российскими.
А так же, как выяснилось, прояснить некоторые «особенности» в выделении ресурсов и напомнить себе и окружающим, что далеко не всегда и не на всех платформах за одни и те же деньги можно получить предсказуемую производительность.

Результаты получились не сказать чтобы феноменальными, но на мой взгляд крайне любопытными.

Интересующихся прошу под кат.
Читать дальше →
Microsoft Azure, как и все облачные решения, обладает самыми разными сервисами и услугами и годится для решения самого широкого спектра задач. Но не в каждой ситуации мы можем перенести данные в облако: правила безопасности, удаленность от цивилизации, требования регуляторов и множество других причин не позволяют развернуться по полной. Но что если мы создадим сервис, который перенесет всю мощность Azure в буквальном смысле в ваш персональный дата-центр? Поближе к пледу и чаю.
Подробности – под катом

Сервис OnLive закрывается?

Время на прочтение2 мин
Количество просмотров12K


В пятницу утром на очередном собрании сотрудников сервиса OnLive, пионера облачных игр, было объявлено что компания подаёт на банкротство решила передать всё своё имущество и права управлением компанией кредиторам. (в оригинале Assignment for the Benefit of Creditors) и более 200 работников потеряли свою работу в один день.
Читать дальше →

Вклад авторов