Как стать автором
Поиск
Написать публикацию
Обновить
28.01

Облачные вычисления *

Концепция общего доступа к ресурсам

Сначала показывать
Период
Уровень сложности

Лицензионное соглашение Облака Mail.Ru изменено

Время на прочтение8 мин
Количество просмотров137K
Я на них не работаю! Зная нелюбовь к ним, считаю нужным сообщить это сразу.

Что было


Тем, кто не в курсе — Mail.Ru решили раздать всем по 1ТБ на их облачном диске.
Пост на Хабре вызвал бурную дискуссию. Помимо отчётов о работе приложения и заявлений о недоверии к этой компании, всплыли интересные пункты лицензионного соглашения:

5.7. Лицензиат, размещая на Сервисе Контент, предоставляет Лицензиару, его партнерам и Конечным пользователям (при условии получения доступа к Персональному дисковому пространству Лицензиата) на условиях безвозмездной, неисключительной лицензии право использования данного Контента в течение всего срока действия исключительного права на соответствующий Контент на территории всего мира любыми способами, включая, но не ограничиваясь, доведение до всеобщего сведения, просмотр, воспроизведение, перевод и переработку.

5.10. Лицензиат, размещая на Сервисе Контент, предоставляет Лицензиару, его партнерам и Конечным пользователям (при условии получения доступа к Персональному дисковому пространству Лицензиата) на условиях безвозмездной, неисключительной лицензии право использования данного Контента в течение всего срока действия исключительного права на соответствующий Контент на территории всего мира любыми способами, включая, но не ограничиваясь, доведение до всеобщего сведения, просмотр, воспроизведение, перевод и переработку.

5.12. Лицензиат не вправе загружать или иным образом доводить до всеобщего сведения (размещать на Сервисе) Контент и прочие результаты интеллектуальной деятельности Лицензиара и иных лиц-правообладателей, при отсутствии явным образом выраженного согласия правообладателя и/или необходимого объема прав на такие действия.

6.4. Лицензиар имеет право:
6.4.2. удалять без каких-либо причин и без предупреждения любой Контент, в том числе Контент, который по усмотрению Лицензиара нарушает и/или может нарушать законодательство Российской Федерации, положения настоящего Соглашения, права других Лицензиатов или третьих лиц, причинять им вред или угрожать безопасности;

7.2.7. не размещать на Сервисе фотографии, на которых помимо Лицензиата запечатлены другие лица, без их предварительного согласия, за исключением случаев, когда в соответствии со статьей 152.1. ГК РФ такое согласие не требуется;

8.2. Лицензиар не несет ответственности за возможные сбои и перерывы в работе Приложения и вызванные ими потерю информации. Лицензиар не несет ответственности за любой ущерб персональному компьютеру Лицензиата, любому другому оборудованию или программному обеспечению, вызванный или связанный с использованием Приложения.

Результатом было мнение многих — «хорошая попытка, Mail.Ru но нет». И я ожидал, что на этом история закончится.
Однако продолжение следовало

Новости

Большие данные мертвы. Это нужно принять

Уровень сложностиСредний
Время на прочтение17 мин
Количество просмотров75K

Уже более десяти лет тот факт, что люди с трудом извлекают из своих данных полезную информацию, сбрасывают на чересчур большой размер этих данных. «Объем собираемой информации слишком велик для ваших хилых систем», — такой нам ставили диагноз. А лекарство, соответственно, заключалось в том, чтобы купить какую‑нибудь новую причудливую технологию, которая сможет работать в больших масштабах. Конечно, после того, как целевая группа по Big Data покупала новые инструменты и мигрировала с устаревших систем, компании снова обнаруживали, что у них по‑прежнему возникают проблемы с пониманием своих данных.

В результате постепенно некоторые начинали понимать, что размер данных вообще не был проблемой.

Мир в 2023 году выглядит иначе, чем когда зазвенели первые тревожные звоночки по поводу Big Data. Катаклизм обработки информации, который все предсказывали, не состоялся. Объемы данных, возможно, немного возросли, но возможности аппаратного обеспечения росли еще быстрее. Поставщики услуг все еще продвигают свои возможности масштабирования, но люди, которые сталкиваются с ними на практике, начинают задаваться вопросом, как они вообще связаны с их реальными проблемами.

А дальше будет и того интереснее.

Читать далее

Подборка сервисов для расширения возможностей вашего Dropbox

Время на прочтение1 мин
Количество просмотров80K
Сервис Dropbox любим многими хабровчанами, поэтому предагаю вашему вниманию подборку полезностей для работы с этим облачным сервисом.

Backup Box умеет синхронизировать разные облачные сервисы, а также делать бэкапы сайтов (FTP и MySQL).

Читать дальше →

Основы Ansible, без которых ваши плейбуки — комок слипшихся макарон

Время на прочтение12 мин
Количество просмотров157K

Я делаю много ревью для чужого кода на Ансибл и много пишу сам. В ходе анализа ошибок (как чужих, так и своих), а так же некоторого количества собеседований, я понял основную ошибку, которую допускают пользователи Ансибла — они лезут в сложное, не освоив базового.


Для исправления этой вселенской несправедливости я решил написать введение в Ансибл для тех, кто его уже знает. Предупреждаю, это не пересказ манов, это лонгрид в котором много букв и нет картинок.


Ожидаемый уровень читателя — уже написано несколько тысяч строк ямла, уже что-то в продакшене, но "как-то всё криво".

Читать дальше →

Dropbox: взгляд изнутри

Время на прочтение6 мин
Количество просмотров88K
В этой статье я расскажу о внутреннем устройстве популярного сервиса облачного хранения Dropbox. В частности, будет затронуто устройство протокола Dropbox, а также показана статистика его использования в некоторых странах Европы. Кроме этого, я сравню его с другими сервисами, такими как iCloud, Google Drive и SkyDrive.

Статья сугубо техническая. Не будет никаких сводных таблиц со стоимостью за Гб и анализом того, сколько еще можно получить за приглашенных «друзей».

Текст основан на научной статье “Dropbox изнутри: Изучаем сервисы облачного хранения” (Inside Dropbox: Understanding Personal Cloud Storage Services). PDF
Подробнее

Дата-центр Amazon EC2 упал, отправив в даун сотни сайтов и сервисов

Время на прочтение1 мин
Количество просмотров2.9K
Сегодня в районе 2 ночи по тихоокеанскому времени сервера, «находящиеся» в дата-центре Amazon в North Virginia (US-East), внезапно полегли.

Судя по странице статусов амазона, дата-центр всё еще в дауне.

По причине недоступности серверов лежат Quora, Foursquare, Reddit, множество facebook-игр, да и сотни разных стартапов.

P.S. Вроде как сегодня должна была начаться атака SkyNet-а. Они выбрали интересный способ :)

Upd. Список пострадавших

Запуск Google Drive состоится через неделю. Всем по 5 Гигабайт бесплатно

Время на прочтение1 мин
Количество просмотров2.6K
По информации Thenextweb.com, Google запустит свой сервис облачного хранения Google Drive в следующий вторник или среду. Каждому пользователю будет выделено 5 Гигабайт бесплатного пространства — в два с половиной раза больше, чем у Dropbox, но вдвое меньше, чем у Яндекс-Диска. Клиент Google Drive будет работать под Windows, Mac, iOS и Android.

Одному из редакторов TechCrunch.com — Джону Биггсу (John Biggs) удалось даже раздобыть клиент Google Drive для Mac и установить его. Версия приложения — 1.0.2891, оно запускается и соединяется с аккаунтом Google, но выдаёт ошибку «Google Drive ещё не включён для вашего аккаунта».
Читать дальше →

DevOps придумали разработчики, чтобы админы больше работали

Время на прочтение9 мин
Количество просмотров43K

Еще 4 года назад использование контейнеров в production было экзотикой, но сейчас это уже норма как для маленьких компаний, так и для больших корпораций. Давайте попробуем посмотреть на всю эту историю с devops/контейнерами/микросервисами ретроспективно, взглянуть еще раз свежим взглядом на то, какие задачи мы изначально пытались решить, какие решения у нас есть сейчас и чего не хватает для полного счастья?


Я буду в большей степени рассуждать про production окружение, так как основную массу нерешенных проблем я вижу именно там.

Читать дальше →

Большой гайд. Пишем микросервисы на Java и Spring Boot, заворачиваем в Docker, запускаем на EKS, мониторим на Grafana

Время на прочтение37 мин
Количество просмотров114K

Туториалы делятся на две больших категории: либо "как нарисовать сову", либо подробно расписанные тысячи шагов в формате "напиши туториал для дурака - и только дурак захочет его читать".

Как какой из двух категорий относится эта статья — решать вам.

В этой статье вы увидите пошаговое создание cloud-native микросервиса на Amazon AWS, пригодное для "чтения с листа". Чтобы понять, что здесь происходит, не нужно разворачивать проект - достаточно обладать живым воображением и прочитать текст по диагонали. Если же вы всё-таки захотите повторить шаги, вам будут жизненно нужны знания вида, как создавать классы в IDE и что такое Spring.

Вначале мы напишем пару простых микросервисов на Spring Boot, докеризуем их, зальём в AWS, настроим красивые доменные имена и HTTPS, прикрутим логирование и мониторинг, Prometheus и Grafana. Это небольшое путешествие по всем кругам ада, из которого вы не вернетесь прежним.

Текст написан на основе текстов и демо-проекта microservice-customer за авторством @kamaruzzaman. Если вы потеряли нить повествования, всегда можно зайти на GitHub и найти весь код в пригодном для запуска виде. Если захочется закопаться в тему, то бро Дима Чуйко (@Teapot) написал вам ещё две части статьи "Микросервисы: от CRUD до Native Image" (раз, два).

Последняя важная оговорка. В этом гайде будут использоваться технологии Amazon и обычные дистрибутивы OpenJDK. Автор осознает, что мы живём в России, и возможно, вместо Amazon куда лучше подойдет что-то вроде SberCloud или MTS Cloud, а вместо обычного OpenJDK - Axiom JDK с сертификацией по ФСТЭК. Особенности российских технологий - тема для отдельной статьи. Если вы захотите таковую после чтения этого гайда - отметьтесь в комментариях.

Читать далее

Яндекс открывает Облако. Архитектура новой платформы

Время на прочтение5 мин
Количество просмотров65K
image

Сегодня Яндекс.Облако стало доступно всем. Теперь любой пользователь может зайти в Облако и развернуть необходимые ему ресурсы, получив доступ к технологиям Яндекса. Например, к машинному переводу и распознаванию и синтезу речи.

Сегодня я хочу познакомить вас с Яндекс.Облаком и рассказать, как оно устроено внутри. Под катом вы узнаете немного об истории, команде и архитектуре нашей платформы.

Читать дальше →

Познаём Нирвану – универсальную вычислительную платформу Яндекса

Время на прочтение8 мин
Количество просмотров53K
Машинное обучение превратилось в модный термин, но при работе с большими объёмами данных оно уже много лет является жизненной необходимостью. Яндекс обрабатывает более 200 миллионов запросов ежедневно! Когда-то в интернете было так мало сайтов, что наилучшие из них помещались в каталог, а теперь за релевантность ссылок на страницы в выдаче отвечают сложные формулы, обучающиеся на новых и новых данных. Задача ложится на так называемые конвейеры, регулярные процессы, обучающие и контролирующие эти формулы.

Сегодня хотим поделиться с сообществом Хабра нашим опытом создания вычислительной платформы Нирвана, которая, среди прочего, применяется для задач машинного обучения.



Нирвана — неспециализированная облачная платформа для управления вычислительными процессами, где приложения запускаются в порядке, указанном пользователем. В Нирване хранятся нужные процессам описания, ссылки, блоки процессов и связанные с ними данные. Процессы оформлены в виде ациклических графов.

Нирваной для решения вычислительных задач пользуются разработчики, аналитики и менеджеры разных департаментов Яндекса — потому что далеко не всё можно посчитать на своем ноутбуке (а почему ещё — мы расскажем в конце статьи, когда перейдем к примерам применения Нирваны).

Мы расскажем, с какими проблемами столкнулись при использовании предыдущего решения, опишем ключевые компоненты Нирваны и объясним, почему для платформы было выбрано именно такое название. А потом посмотрим на скриншот и перейдем к задачам, для которых полезна платформа.
Читать дальше →

Google Drive теперь поддерживает публикацию веб-сайтов

Время на прочтение1 мин
Количество просмотров60K


На Хабре не раз появлялись заметки о том, как можно использовать Dropbox для поддержания работы небольшого веб-сайта. Подобная функция теперь есть и у Google Drive, причем танцевать с бубном для настройки поддержания веб-содержимого вовсе не обязательно. По словам разработчиков, нужно просто загрузить HTML файлы и прочую информацию, выставить права, и все — сайт готов, работает.

Читать дальше →

Ближайшие события

Сквозная облачность

Время на прочтение4 мин
Количество просмотров25K
Схема совместного использования Google Drive, Dropbox и SkyDrive

Пока Сеть азартно рассуждает и спорит (Хабр не исключение), какой из облачных сервисов файлового хранения лучше остальных, мне пришло в голову модернизировать личное решение по синхронизации и резервному копированию, используя все лидирующие продукты разом.

Зачем и как?

Яндекс запускает Диск

Время на прочтение1 мин
Количество просмотров5.2K


Не успели ещё утихнуть новости о скором запуске Google Drive и увеличении места за приглашённых пользователей в Dropbox, как сегодня, 5 апреля 2012 года, компания Яндекс представила свой сервис облачного хранения файлов «Яндекс.Диск»
Читать дальше →

Все, что нужно PostgreSQL: быстрые диски, дорогой процессор и терабайты RAM

Уровень сложностиСредний
Время на прочтение13 мин
Количество просмотров18K

В облачном мире PostgreSQL возникает много вопросов. Какую конфигурацию выбрать для старта кластера? Сколько оперативной памяти и ядер CPU нужно под мою базу данных? Нужны ли под такой профиль нагрузки высокочастотные процессоры? Какое должно быть соотношение RAM к Storage в кластере? Хватает ли ресурсов и на системные службы, и на кэширование запросов? Не переплачиваю ли я?

Всем привет! Меня зовут Гришин Александр, я руководитель по развитию продуктов хранения данных в Selectel, отвечаю за объектное S3-хранилище и облачные базы данных. В этой статье я поделюсь своими практическими рекомендациями и ориентирами по планированию использования ресурсов кластера в PostgreSQL — в зависимости от типа и профиля нагрузки, размера данных и характера доступа к ним. Погнали!
Читать дальше →

Google Drive в несколько раз снижает цены на облачные гигабайты

Время на прочтение1 мин
Количество просмотров43K
image

Облачное хранилище Google Drive сильно снижает цены. Об этом сегодня было объявлено в официальном блоге Google. Теперь 100 гигабайт в облаке обойдутся в 2 доллара в месяц вместо 5, терабайт подешевеет в пять раз — с 50 до 10 долларов в месяц, а цена на 10 и больше терабайт будет начинаться от 100 долларов. 15 гигабайт, как и раньше, можно получить бесплатно.

Сколько стоит ваш Wi-Fi?

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров47K

А вы задумывались когда нибудь, сколько стоит разгадать пароль вашего Wi-Fi? Понятно, что все прекрасно помнят, что с увеличением длины парольной фразы - увеличивается сложность и при достаточной длине, перебор занимает ХХХХ - лет.

Давайте разберемся - сколько это стоит...

Ghost in the Xen

Время на прочтение2 мин
Количество просмотров1.8K
Я продолжаю пристально изучать Xen Cloud Platform и в ходе экспериментов мне удалось создать «призрак»: виртуальную машину, которая (с точки зрения гипервизора) отсутствовала.

Эта виртуальная машина когда-то имела диск, но диск был удалён (и осталась только его кешированная копия в памяти), что, в принципе, не мешало на этот диск писать/читать.

Эта виртуальная машина когда-то имела виртуальный сетевой адаптер, но он был удалён, что в принципе, не мешало отправлять и получать ip-пакеты.

Эта виртуальная машина была — и её не стало. Её не было видно ни на высоком уровне, ни на низком. Её не существовало. Всё осложнялось тем, что я не знал, на каком из серверов облака эта виртуальная работала.

Другими словами, я имел настоящий полноценный призрак. После того, как я перегрузил нужный (лабораторный) сервер, виртуальная машина умерла. Но вопрос остался открытым:
Читать дальше →

Парсим 25TB с помощью AWK и R

Время на прочтение19 мин
Количество просмотров13K

Как читать эту статью: прошу прощения за то, что текст получился таким длинным и хаотичным. Чтобы сэкономить ваше время, я каждую главу начинаю со вступления «Чему я научился», в котором одним-двумя предложениями излагаю суть главы.

«Просто покажи решение!» Если вы хотите всего лишь увидеть, к чему я пришёл, то переходите к главе «Становлюсь изобретательнее», но я считаю, что интереснее и полезнее почитать про неудачи.


Недавно мне поручили настроить процесс обработки большого объёма исходных последовательностей ДНК (технически это SNP-чип). Нужно было быстро получать данные о заданном генетическом местоположении (которое называется SNP) для последующего моделирования и прочих задач. С помощью R и AWK мне удалось очистить и организовать данные естественным образом, сильно ускорив обработку запросов. Далось мне это нелегко и потребовало многочисленных итераций. Эта статья поможет вам избежать некоторых моих ошибок и продемонстрирует, что же у меня в конце концов получилось.
1
23 ...

Вклад авторов