Pull to refresh
-1
0
mcdebugger @mcdebugger

User

Send message

Исследование производительности свободных хранилищ LINSTOR, Ceph, Mayastor и Vitastor в Kubernetes

Reading time10 min
Views17K

Кажется это уже стало традицией: каждый раз, когда я выхожу на новое рабочее место, моя деятельность начинается с бенчмарков различных SDS-решений. Мой приход во «Флант» не стал исключением. Я попал в команду разработки Kubernetes-платформы Deckhouse, где решили развивать возможность запуска виртуальных машин в Kubernetes. Но для этого сначала потребовалось найти простое и надежное хранилище блочного типа, которое можно предложить клиентам платформы.

Я взял несколько свободных решений и протестировал, как они поведут себя в тех или иных условиях. В первую очередь интересовала производительность DRBD в различных конфигурациях и сравнение с Ceph.

Но рынок программно-определяемых хранилищ не стоит на месте и постоянно растёт. Появляются новые амбициозные проекты, включая недавно релизнутый Mayastor и pet-проект моего товарища-соратника Vitastor. Результаты оказались очень интересными.

Читать далее
Total votes 38: ↑37 and ↓1+43
Comments22

Бинарные (файловые) хранилища, страшная сказка с мрачным концом

Reading time17 min
Views40K


Даниил Подольский (Git in Sky)


Доклад мой называется «Бинарные, они же файловые, хранилища», но, на самом деле, мы имеем дело со страшной сказкой. Проблема в том (и это тезис моего доклада), что сейчас не существует не то что хорошей, а хотя бы приемлемой системы хранения файлов.

Что такое файл? Файл – это кусок данных с именем. Что важно? Почему файл – это не строка в базе данных?

Файл слишком большой, чтоб можно было обращаться с ним как с одним куском. Почему? Есть у вас сервис, раз у нас HighLoad конференция, у вас сервис, который держит одновременно 100 тыс. соединений. Это не так уж много, если по каждому из соединений мы отдаем файл в 1 Мбайт размером, но нам нужно примерно 100 Гбайт памяти для буферов под эти файлы.
Total votes 69: ↑57 and ↓12+45
Comments43

Знакомство с хранилищем Ceph в картинках

Reading time11 min
Views294K
Облачные файловые хранилища продолжают набирать популярность, и требования к ним продолжают расти. Современные системы уже не в состоянии полностью удовлетворить все эти требования без значительных затрат ресурсов на поддержку и масштабирование этих систем. Под системой я подразумеваю кластер с тем или иным уровнем доступа к данным. Для пользователя важна надежность хранения и высокая доступность, чтобы файлы можно было всегда легко и быстро получить, а риск потери данных стремился к нулю. В свою очередь для поставщиков и администраторов таких хранилищ важна простота поддержки, масштабируемость и низкая стоимость аппаратных и программных компонентов.

Знакомьтесь: Ceph


Ceph — это программно определяемая распределенная файловая система с открытым исходным кодом, лишенная узких мест и единых точек отказа, которая представляет из себя легко масштабируемый до петабайтных размеров кластер узлов, выполняющих различные функции, обеспечивая хранение и репликацию данных, а также распределение нагрузки, что гарантирует высокую доступность и надежность. Система бесплатная, хотя разработчики могут предоставить платную поддержку. Никакого специального оборудования не требуется.



При выходе любого диска, узла или группы узлов из строя Ceph не только обеспечит сохранность данных, но и сам восстановит утраченные копии на других узлах до тех пор, пока вышедшие из строя узлы или диски не заменят на рабочие. При этом ребилд происходит без секунды простоя и прозрачно для клиентов.
Читать дальше →
Total votes 44: ↑42 and ↓2+40
Comments67

Что я хотел бы знать заранее, когда выкупал себе целую ASN

Reading time16 min
Views13K

Как вы, возможно, знаете, я сейчас пишу серию статей о BGP и о том, как устроен Интернет. Рассказываю об этом с собственной точки зрения — как оператор небольшой автономной системы, AS200 351. Притом, что теоретического материала на эту тему много, предположу, что мои читатели достаточно поднаторели в теории и умеют самостоятельно обустроить элементарную автономную систему. Не вынуждая вас заниматься самостоятельными исследованиями, основанными на неактуальной и потенциально ошибочной информации, взятой из Интернета, а тем более не подвергая вас риску столкнуться с мошенничеством, полагаю, было бы важно рассказать, каково это — приобрести собственную ASN.

Читать далее
Total votes 17: ↑16 and ↓1+24
Comments9

Мой поиск аналога Microsoft Visio

Level of difficultyEasy
Reading time5 min
Views56K

Доброго дня всем.

В сегодняшней статье хотел бы поделиться проведенным анализом приложений, потенциально способных заменить MS Visio для разного рода задач.

Читать далее
Total votes 31: ↑28 and ↓3+33
Comments64

Бесшовный Wi-Fi-роуминг: теория на практике

Reading time9 min
Views102K
Разбираемся с технологиями роуминга (Handover, Band steering, IEEE 802.11k, r, v) и проводим пару наглядных экспериментов, демонстрирующих их работу на практике.


Читать дальше →
Total votes 26: ↑25 and ↓1+24
Comments41

PWA — это просто

Reading time6 min
Views414K
image
Понятие Progressive Web Applications (PWA) на слуху давно, с весны 2018 года приложения этого класса поддерживаются всеми основными браузерами, однако распространенность технологий PWA несмотря на очевидные их «плюсы» пока очень низка.

Специалисты Google (в том числе и на Хабре) очень информативно и компетентно пишут о PWA, но их рекомендации полезны больше тем, кто уже знаком с предметом. Данная статья призвана показать, что Progressive Web Apps — это не сложно, и использовать эти технологии можно и нужно уже сейчас разработчикам любых сайтов.
Читать дальше →
Total votes 11: ↑9 and ↓2+7
Comments32

«Процедурное рисование» в ComfyUI

Reading time7 min
Views46K

Кто интересуется темой рисующих нейросетей знают, что сейчас самый продвинутый и часто используемый интерфейс для Stable Diffusion (далее SD) это Automatic1111. Он позволяет использовать, вероятно, все существующие возможности SD на сегодня. Множество расширений, регулярные обновления и поддержка сообщества делают его мощным и удобным инструментом для генерации изображений. Но есть и альтернативные решения, одно из которых я сегодня рассмотрю.

Статья подойдет как тем кто уже пользуется Automatic1111, так и тем кто только планирует более глубоко погрузиться в мир "процедурного рисования".

Читать далее
Total votes 70: ↑70 and ↓0+70
Comments26

WiFi от Ruckus – почему он лучший

Reading time2 min
Views109K
Каждый производитель WiFi оборудования хвалит себя, приводя разные аргументы. Но лишь немногим действительно есть чем похвастаться. Ruckus – один из таких. Серьезно, ни один производитель не умеет так управлять диаграммой направленности, как они. Но обо всем по порядку.



В чем тут собака зарыта?



Кстати, это официальное лого производителя Ruckus Wireless

Читать дальше →
Total votes 94: ↑68 and ↓26+42
Comments172

Кто такой погонщик нейросетей и как им стать: большая подборка ресурсов по ML для начинающих

Level of difficultyMedium
Reading time7 min
Views9.8K

Может ли искусственный интеллект прогнать нас от компьютеров и отправить работать на завод или собирать ягоды?

Большие языковые модели действительно меняют интеллектуальные профессии: взамен старых приходят новые, более разнообразные. И появляются люди, которых я называю погонщиками нейросетей — они могут обучать модели и ставить им задачи. В этой статье расскажу, почему считаю AI не соперником на рынке труда, а инструментом, который поможет нам стать более эффективными. А главное — поделюсь большой подборкой материалов для каждого, кто хочет сделать нейросети своими помощниками. 

300+ часов полезной инфы под катом
Total votes 17: ↑15 and ↓2+22
Comments10

Я написал одну из самых быстрых библиотек датафреймов

Level of difficultyHard
Reading time9 min
Views9.8K
image

1. Вступление


У меня в портфолио есть несколько готовых пет-проектов на Rust, и я заметил, что позиция «а у нас уже получилась DataFrame?» нисколько меня не устраивает. Поэтому я подумал, не сделать ли мне элементарный контейнер, который решал бы мою конкретную задачу. Но этот проект вышел из-под контроля.

Год спустя, написав немало кода, я создал одну из самых быстрых библиотек датафреймов, применимую в Rust и Python. Вот мой первый официальный «Hello World» на polars, размещённый у меня в блоге. Надеюсь, что с помощью этого поста я смогу пояснить читателю некоторые решения, которые мне довелось принять при проектировании, и вам станет понятнее, как Polars работает под капотом.
Читать дальше →
Total votes 32: ↑26 and ↓6+29
Comments9

Как превратить страх потери работы из-за ChatGPT в суперсилу продуктового аналитика

Level of difficultyMedium
Reading time8 min
Views4.8K

Привет! Меня зовут Владимир, я продуктовый аналитик в международной компании сервиса такси и автор телеграм-канала Data New Gold. Сейчас я использую 20+ чатов с ChatGPT, в которых общаюсь с нейросетью по работе и иногда за жизнь. Хочу поделиться опытом, чем она может помочь каждому аналитику и как облегчит жизнь. 

Важно воспринимать нейросеть как ещё один источник информации. И как любой источник информации важно её валидировать и относиться к ней критически, то есть перепроверять её своими знаниями и другими источниками.  

Бонусом в конце статьи поделюсь дополнительными источниками информации по теме.

Читать далее
Total votes 25: ↑10 and ↓15-2
Comments6

Дети, вашему Хабру 17, вы просто поверьте, а поймёте потом

Level of difficultyEasy
Reading time6 min
Views12K

Некоторые авторы уже 2–3 года как младше Хабра. 17 лет — большой срок для любого интернет-ресурса и прожить их в онлайне гораздо тяжелее, чем в оффлайне: ежемесячно появляются новые технологии, требования, законы, правила игры и им нужно соответствовать, если хочешь быть современным, актуальным и, что важно, своевременным. Хабр смог! Ежемесячно сюда заходят 12 млн. уникальных пользователей, которые находят что-то нужное, ценное, интересное: туториалы, ответы на вопросы, занимательное чтиво, свежие новости, активные дискуссии, возможность поделиться знаниями и опытом, да хоть новую работу. Чтобы всё это работало, команде Хабра иногда приходится работать 24/7.

Как любой герой, Хабр окружён мифами. Давайте сегодня поговорим про самые странные, прикольные и несправедливые (а что-то может и не миф вовсе)? А ещё под катом маленький конкурс!

Читать далее
Total votes 93: ↑91 and ↓2+154
Comments64

Настраиваем Syncthing. Синяя изолента в мелком бизнесе и дома

Reading time4 min
Views124K
image

image
У меня тут внезапно завалялся гайд по настройке syncthing. Я уверен, что многим это может пригодиться.

Про революцию в дистрибуции файлов, которую совершил torrent-протокол рассказывать излишне. Одна проблема была у классических версии технологии — статичность. Если данные в каталоге изменялись, приходилось заново создавать и передавать всем новый torrent-файл. И вдруг, внезапно появляется BitTorrentSync. Наступает всеобщее счастье, теперь можно синхронизировать целые массивы изменяющихся данных. Однако, спустя время проприетарность софта выливается в сильное урезание функциональности, привязку к своим серверам и довольно агрессивную монетизацию. Вот тут и выходит на сцену идеологически кошерный свободный преемник — Syncthing.
Читать дальше →
Total votes 57: ↑55 and ↓2+53
Comments82

Как я добился обещанного гигабита, использовав Mikrotik + мозг

Reading time5 min
Views187K

100 мегабит в секунду от предыдущего провайдера начал сильно замедлять рабочий процесс, поэтому я начал искать провайдера с нормальной скоростью. В моем доме, из быстрых был только МГТС, на чем я и остановился. Провели интернет быстро, два дня между заявкой и кабелем в квартире, оставили большую бухту оптики, за что спасибо…
Читать дальше →
Total votes 59: ↑57 and ↓2+83
Comments108

Мой «Евротур» по сектам: путешествие в один конец?

Level of difficultyEasy
Reading time28 min
Views101K

В моей жизни был период, когда я достаточно глубоко изучал тему манипуляций: читал книги, слушал лекции, участвовал в психологической экспертизе экстремистских материалов. Но это всё казалось слишком теоритезированным и оторванным от реальной жизни. Поэтому, будучи уверенным в своей «психологической неуязвимости», я решил на практике проверить свою «живучесть» и понять – а как же людей вовлекают в секты и прочие маргинальные организации и можно ли этому противостоять?

И течение трех лет я целенаправленно ходил во все места, где меня могли обмануть или сломать, ввести в заблуждение, разрушить мою личность и вовлечь в незаконную деятельность. Я внимательно слушал, записывал и даже иногда срывал занятия. Это мой «Евротур» и моя исповедь диверсанта. А в конце вас ждет бонусная история от февраля 2022 года, которая связана с манипуляцией и давлением, но уже не со стороны сект ;)

Очень долго читать
Total votes 322: ↑309 and ↓13+368
Comments324

Основы Postman для самых маленьких

Reading time8 min
Views305K

В этой статье поговорю про основы работы с Postman для начинающих тестировщиков. Сама я столкнулась с этим инструментом как раз на последнем проекте. 

Расскажу, как с его помощью создавать простейшие автотесты и уменьшать объем рутины с помощью переменных.

Читать далее
Total votes 32: ↑32 and ↓0+32
Comments7

Brython: заменяем JavaScript на Python на фронтенде

Reading time4 min
Views23K
Привет, Хабр!

К огромному удовлетворению нашей читательской аудитории, наша работа над обновлением книг по Python не прекращается. Но не прекращается и поиск в этом направлении — и сегодня мы хотели бы упомянуть Brython — Python для браузеров. Статья короткая, немного игривая и детективная, мы постарались сохранить авторский стиль.
Читать дальше →
Total votes 13: ↑11 and ↓2+14
Comments8

JIT-компилятор Python в 300 строк

Reading time11 min
Views30K

Может ли студент второго курса написать JIT - компилятор Питона, конкурирующий по производительности с промышленным решением? С учётом того, что он это сделает за две недели за зачёт по программированию.

Как оказалось, может, но с нюансами.

Читать далее
Total votes 110: ↑109 and ↓1+136
Comments37

Information

Rating
Does not participate
Location
Россия
Date of birth
Registered
Activity