Pull to refresh
  • by relevance
  • by date
  • by rating

Распределенная файловая система GFS (Google File System)

Website development *
В настоящее время, в условиях роста информации, возникают задачи хранения и обработки данных очень большого объема. Поэтому эти данные обрабатывается сразу на нескольких серверах одновременно, которые образуют кластеры. Для упрощения работы с данными на кластерах и разрабатывают распределенные файловые системы. Мы подробно рассмотрим пример распределенной файловой системы Google File System, используемую компанией Google. (Статья является, фактически, вольным и урезанным переводом оригинальной статьи ).
Читать дальше →
Total votes 81: ↑71 and ↓10 +61
Views 23K
Comments 49

Поиск подходящей распределённой кластерной файловой системы

Lumber room
Уважаемое Хабрасообщество!

Хочу просить вашего совета в выборе распределённой кластерной файловой системы, поскольку опыта работы с ними у меня нету, да и сами они достаточно сильно различаются и имеют кучу особенностей. К тому же ещё и ощущается относительный информационный голод в данном направлении — какая либо конкретика просто отсутствует.
Под катом немного информации о том, что я нашел, а так же приглашение к обсуждению темы.
Total votes 8: ↑8 and ↓0 +8
Views 2.3K
Comments 48

GPFS. Часть 1. Создание GPFS кластера

Оверсан-Скалакси corporate blog
GPFS (General Parallel File System)

После одной из моих последних статьей на хабре про серверную оптимизацию мне прислали множество вопросов про распределенные файловые системы. И теперь я нашел в себе силы и возможности написать про замечательную кластерную файловую систему GPFS.

Описание тестовой лаборатории:
  • Сервер виртуализации Xen. Dom0 под SLES11
  • 3 Xen DomU виртуальных сервера под quorum-ноды с двумя дополнительно проброшенными блочными устройствами
  • 2 Xen DomU виртуальных сервера под client-ноды

Тестовый стенд, основанный на технологии Xen, крайне удобен, ибо позволяет на ходу подцеплять/отцеплять диски от виртуалок, добавлять в них память и процессоры.

Подробнее в примерах
Total votes 54: ↑44 and ↓10 +34
Views 22K
Comments 27

GPFS. Часть 2. Эксплуатация GPFS кластера

Оверсан-Скалакси corporate blog
IBM GPFSВ продолжение моего предыдущего поста о настройке GPFS-кластера, как и обещал, перехожу к описанию весьма распространённых ситуаций, с которыми можно столкнуться при работе с GPFS.




Читать дальше →
Total votes 46: ↑39 and ↓7 +32
Views 13K
Comments 10

Приглашение к тестированию реализации распределенной файловой системы на базе Hadoop

Lumber room
Распределенная файловя система. (прототип)

Система первичное функциональное испытание. На винде и юниксе удалось воспользоваться основными функциями.

Есть ряд issues но они вполне могут быть устранены в рабочем порядке.

Теперь нужно провести более обьемное испытание, что тяжело сделать силами 1-2 человек.

Читать дальше →
Total votes 10: ↑9 and ↓1 +8
Views 465
Comments 9

Децентрализованный движок сообщений для форумов, блогов, соцсетей

Self Promo
Попробуем подойти к отображению и хранению сообщений между пользователями Сети как к единому общему серьёзному процессу обмена информацией и накопления знаний. Чтобы в результате мы могли извлекать (т.е. читать) и использовать (применять) движущиеся в этом процессе знания.

У нас есть всё более мощные компьютеры и видеокарты, всё более широкие мониторы и быстрые браузеры. И при этом имеем постоянно застывшие формы сообщений-ответов-цитирований. Только поисковики и функции поиска немного нарушают сложившийся порядок сообщений, выдавая результаты по ранжированию условий просмотра.

Дело даже не в поисковиках. У нас нет функций удобного представления и перестраивания представлений выбранных сообщений или их частей.

Есть список. Есть дерево, не очень удобное из-за двумерности ветвей. И есть много-много почти одинаковых типовых преобразователей представлений в читаемый вид — форумы, блоги и соцсети.
Читать дальше →
Total votes 40: ↑34 and ↓6 +28
Views 821
Comments 27

ВикиГуглоМетаТрекерная DNS

Crowdsourcing

Одно из главных препятствий к созданию столь желанного многим (и мне тоже) по-настоящему децентрализованного интернета — проблема поиска, классификации, именования и упорядочения сайтов и файлов в сети. Недостаточно создать среду для децентрализованной обработки и хранения информации, надо сделать так, чтобы в этой среде было удобно искать нужные куски данных.

А иначе получается — за что боролись, на то и напоролись. Вместо информационного изобилия получится помойка. Количество информации в сети таково, что невозможность найти нужные данные эквивалентна полному их отсутствию. Сигнал тонет в шуме. И еще ладно, если этот шум белый, но он ведь часто имеет ярко выраженную окраску — политическую или коммерческую.

Сегодня функции поиска и структурирования информации в интернете распределены между несколькими подсистемами. Они очень разные, некоторые из них возникли на заре интернета, некоторые бурно растут прямо сейчас.
Читать дальше →
Total votes 62: ↑58 and ↓4 +54
Views 1.2K
Comments 39

[UPD]Взрослеем с GlusterFS

Configuring Linux *System administration *
Sandbox
Всем привет.

Компания в которой я работаю довольно динамично развивается, соответвенно и растет количество серверов, пользователей. Вопросы отказоустойчивости становятся все более актуальными, чем ранее.
Исторически сложилось, что некоторые данные лежат в файлах и подключены клиентами к бекендам по NFS. Однако не хотелось, что бы центральный сервер был точкой отказа.
Rsync-варианты отмели сразу. После изучения вопроса и опыта других людей, а также некоторых тестов s3fs, которая к слову была кандидатом №1 на распределенное хранилище, была выбрана GlusterFS.
Читать дальше →
Total votes 14: ↑13 and ↓1 +12
Views 37K
Comments 27

Терабайты файлов веб-проекта — храним и раздаем

1С-Битрикс corporate blog Website development *
Всем привет!

В последнее время наметился интересный тренд — быстрое «распухание» веб-проектов до бесконечности. Объем данных многих популярных сайтов растет все быстрее и быстрее, их нужно куда-то девать, при этом эффективно бэкапить (весело будет, если файлы на 500Т потеряются :-) ), и конечно супербыстро раздавать клиентам, чтобы все их могли качать, качать, качать… на высокой скорости.

Для системного администратора задача даже редкого, ежедневного резервного копирования такого объема файлов навевает мысли о суициде, а менеджер веб-проекта просыпается в холодном поту от мысли о предстоящей профилактике датацентра на 6 часов (чтобы файлы перевести из одного датацентра в другой нужно пару раз загрузить багажник автомобиля винчестерами :-) ).

Коллеги с умным видом советуют приобрести одно из решений от NetApp, но, жаль, что бюджет у проекта в 1000 раз меньше, это вообще стартап… что делать будем?

В статье хочу разобрать частые кейсы дешевого и дорогого решения данной задачи — от простого к сложному. В конце статьи расскажу как задача решена в нашем флагманском продукте — всегда полезно сравнивать opensource-решения с коммерческими, мозгам нужна гимнастика.
Читать дальше →
Total votes 71: ↑43 and ↓28 +15
Views 21K
Comments 57

GlusterFS, опыт новой версии

Configuring Linux *System administration *
Всем привет.

В прошлый раз (Взрослеем с GlusterFS) я описывал как настроить для своих нужд GlusterFS 3.0.x. Недавно мы сделали апгрейд GlusterFS до 3.2.х., и так как между этими версиями обнаружилось масса различий в настройке, то решил описать процесс для общего ИТ разума.

Сразу оговорюсь, что переход на новую версию был обусловлен глюками старой.
Дело было после очередных сбоев Амазоновских EBS.
Читать дальше
Total votes 11: ↑10 and ↓1 +9
Views 18K
Comments 20

Тестируем распределение контента в GlusterFS

Configuring Linux *System administration *Server Administration *
Нашел несколько статей на хабре о базовой установке и настройке GlusterFS, но не нашел ничего о типах распределения контента, которые он поддерживает и с которыми я долго игрался. О чем и пойдет речь в данной статье.
image
Читать дальше →
Total votes 14: ↑13 and ↓1 +12
Views 36K
Comments 18

Sheepdog

*nix *Virtualization *Cloud computing *Data storage *Data storages *
Translation


Sheepdog — масштабируемая система, которая предоставляет виртуальным машинам распределенные блочные устройства. Его развитие началось в 2009 году разработчиками из японской компании Nippon Telegraph and Telephone Corporation. Sheepdog — это приложение с открытым исходным кодом под лицензией GPL2. Последняя версия 0.9.3, выпущенная в ноябре 2015 года станет наследиком версии 1.0, пригодной для коммерческого испрользования1. (уже стала — прим.пер.)


Чисто ради интереса, первая версия (0.1.0), была выпущена разработчиками в августе 2010 года — и в то же время поддержка sheepdog сразу была включена в основную ветку разработки QEMU.
Читать дальше →
Total votes 10: ↑10 and ↓0 +10
Views 4.7K
Comments 11

Что такое SOLID project и как его можно использовать прямо сейчас

Decentralized networks

Про Solid Project за 5 лет его существования было написано множество статей с громкими заголовками и захватывающими воображение картинами будущего, где связанные данные свободны, а пользователи не боятся бана в твиттере. В таких материалах подробно рассказывается какие изменения несет Solid, но весьма поверхностно затрагивается вопрос, что же это такое, из чего он состоит, какие в нем есть технические проблемы и подводные камни.

Мне понравились принципы, заложенные в Solid, и я захотел написать веб приложение для этой платформы - многоуровневый список задач. В процессе разработки я ознакомился с некоторыми существующими библиотеками и реализациями серверной части, прочитал некоторые спецификации. В данной статье я хочу изложить полученный опыт.

Читать далее
Total votes 2: ↑2 and ↓0 +2
Views 1.5K
Comments 0

Как прикрутить SQL к чему угодно при помощи Apache Calcite

Конференции Олега Бунина (Онтико) corporate blog High performance *SQL *Apache *Conferences

Сделать свою собственную SQL-базу данных или запускать SQL-запросы в NoSQL-базе данных — кажется, это очень непростая задача.  А если мы говорим о распределенной БД, то сложность возрастает многократно. Но, к счастью, Apache Calcite — фреймворк с открытым кодом — поможет сделать это довольно легко.

Роман Кондаков, Software Engineer в Querify Labs, на конференции HighLoad++ Весна 2021 рассказал об опыте интеграции Apache Calcite в распределенную in-memory-платформу Apache Ignite. Если ваша система распределена, и вы хотите завести в ней SQL, читайте про то, как устроен Apache Calcite и какие есть нюансы его использования для распределенных систем.  Видео его выступления можно посмотреть здесь.

Читать далее
Total votes 27: ↑27 and ↓0 +27
Views 6.9K
Comments 5