Обновить
163.89

Хранение данных *

Что имеем, то храним

Сначала показывать
Порог рейтинга
Уровень сложности

Правда ли, что ленточные хранилища – самые надежные, и когда стоит покупать именно их, а не HDD

Уровень сложностиПростой
Время на прочтение8 мин
Просмотры9.7K

Ленточные накопители сохраняют свою актуальность даже в эпоху SSD и облачных технологий. Благодаря высокой надежности, экономической эффективности и уникальным свойствам они остаются незаменимыми в решении задач архивного хранения и резервирования данных. В этой статье мы рассмотрим, почему ленточные хранилища превосходят HDD, изучим их ключевые преимущества и ограничения, а также определим сценарии использования, в которых они наиболее уместны.

Читать далее

localForage — Что делать если localStorage уже не хватает?

Уровень сложностиПростой
Время на прочтение4 мин
Просмотры5.2K

localStorage и sessionStorage сильно ограничены в размере - всего 5 МБ, а использование IndexedDB для обхода этого ограничения не всегда является удобным из-за сложного API.

localForage решает сразу обе проблемы!

Читать далее

Как подключить Microsoft Office к Nextcloud 30

Уровень сложностиПростой
Время на прочтение4 мин
Просмотры6.2K

Привет! На связи Алексей, системный администратор Cloud4Y. Хочу поделиться с вами своим опытом подключения MS Office к Nextcloud 30. Это несложная задача, но если вы искали решение, то вот вам мой вариант.

Читать далее

Импортозамещение SCADA: опыт перевода крупного производства на отечественную платформу

Уровень сложностиПростой
Время на прочтение5 мин
Просмотры7.8K

В последние несколько лет российские предприятия столкнулись с необходимостью перевода своих систем управления с импортных SCADA-платформ на отечественные аналоги. Основными причинами стали санкции, разрыв отношений с зарубежными вендорами ПО, невозможность продления лицензий и получения техподдержки. Особенно острой эта проблема оказалась для непрерывных производств, где остановка технологического процесса даже на 30 минут может обернуться серьезными убытками и повреждением оборудования.

Летом 2023 года к к нам обратилось предприятие химической промышленности крупного Российского холдинга. На нем  много лет использовалась SCADA-система Wonderware InTouch. Из-за санкционных наложений, иностранный вендор расторг контракт на обслуживание и техподдержку. Более того, была предпринята попытка удаленно остановить производство путем отключения серверов SCADA. Последствия удалось минимизировать, изолировав промышленную сеть, однако функционал системы снизился на треть, а ее развитие и масштабирование оказалось невозможным. Нам было необходимо решить следующие проблемы:

1.     Отсутствие возможности обслуживания данной системы. Ввиду того, что данную SCADA систему разрабатывала и обслуживала иностранная компания, после начала СВО все контракты по обслуживанию и технической поддержке были расторгнуты. 

2.     Ограниченный функционал системы. После того как контракты были расторгнуты иностранная компания, имея удалённый доступ, попыталась дистанционно остановить производство путём отключения рабочих серверов. Заказчик, увидев странное в системе предпринял действия по изоляции своей производственной сети, однако иностранной организации всё-таки удалось  нарушить состав системы, тем самым снизив её функционал на треть.

Читать далее

Переиндексация в Manticore Search с использованием mysqldump

Время на прочтение3 мин
Просмотры611

Эта статья написана Мариусом Матилионисом, старшим разработчиком и экспертом по Manticore Search в компании Ivinco. Ivinco специализируется на предоставлении передовых решений для поиска, оптимизации баз данных, управлении инцидентами и настройке систем мониторинга, помогая бизнесам достигать более быстрых, эффективных и масштабируемых операций.

Читать далее

Merkle-tree: Как проверить целостность данных без полного доступа?

Уровень сложностиПростой
Время на прочтение2 мин
Просмотры2.1K

Хэширование — простой и надёжный способ проверить целостность данных. Но как быть, если нужно удостовериться, что часть данных принадлежит определённому набору? Например, проверить отдельную транзакцию в блоке Bitcoin или чанк файла в BitTorrent? Для этого используется уникальная структура данных — Merkle-tree. В этой статье вы узнаете, как с её помощью решать задачи проверки данных без доступа к их полному объёму.

Читать далее

Облачные хранилища в мире Top Gear

Уровень сложностиПростой
Время на прочтение12 мин
Просмотры8K

Привет, Хабр! Меня зовут Александр Гришин, я менеджер продуктов и отвечаю за развитие облачных баз данных и объектного хранилища в Selectel. Считаю, что новый год — отличное время, чтобы взглянуть на технологии по-новому. Например… через призму Top Gear.

Предлагаю вам немного развлечь себя разными аналогиями между миром транспорта и инструментами хранения данных. Ведь в мире облачных технологий, как и в программе Top Gear, для каждой задачи есть свой «транспорт».

Только представьте: выбирая подходящий инструмент хранения данных в облаке, вы словно решаете, какой вид транспорта использовать для своей задачи — от мощного корабля-контейнеровоза до стремительного гоночного болида. Давайте же погрузимся в экосистему облачных хранилищ и найдем, что подходит именно вам. Подробности под катом!
Читать дальше →

Сжатие медиа для экономии места

Уровень сложностиПростой
Время на прочтение51 мин
Просмотры6.5K

Вы наверняка имеете медиа файлы закодированные не самым эффективным кодеком (H.264, JPEG, MP3). И вы можете сократить их размер вплоть до 75% перекодировав медиа современными альтернативами (H.265, AVIF, OPUS).

Использовать для этого можно консольные утилиты ffmpeg и magick.

Рассмотреть альтернативы

Сквозное шифрование в облаках. Уязвимости — во всех сервисах

Время на прочтение3 мин
Просмотры6.8K


В наше время большинство пользователей хранят файлы в том или ином облачном хранилище: Google Drive, Яндекс.Диск, Dropbox, OneDrive и т. д. Благодаря низкой стоимости такие сервисы очень популярны. Их аудитория оценивается более чем в 4 млрд человек, а объём хранимых данных — порядка экзабайта. Почти все провайдеры шифруют файлы на своих серверах. Но если сам провайдер скомпрометирован, такая система не обеспечивает никакой защиты.

Поэтому отдельные сервисы реализовали сквозное шифрование (E2EE), когда не сервер, а пользователь контролирует ключи шифрования.

В основном, эти сервисы предлагают услуги для коммерческих клиентов. Например, MEGA, Nextcloud, Sync, Tresorit, Seafile, Icedrive и pCloud. К сожалению, реальность далека от рекламных заявлений. Независимое исследование показало, что все перечисленные провайдеры страдают от уязвимостей и архитектурных изъянов.
Читать дальше →

Деградация организации заметок одного программиста

Уровень сложностиПростой
Время на прочтение8 мин
Просмотры33K

О ведении и организации заметок пишут книги, создают приложения и плагины, продают курсы. Кажется, все должно быть значительно проще. Я сознательно веду заметки более 15 лет и хочу поделиться опытом.

Читать далее

Конфигурирование алертов prometheus или как мы настраивали алерты для бизнес-метрик

Уровень сложностиСредний
Время на прочтение4 мин
Просмотры2.6K

В статье расскажу, как настроить мониторинг Apache NiFi и алерты при переполнении очереди по достижении 8000 FlowFiles.

Зачем вам читать эту статью? Переполнение очереди FlowFiles в Apache NiFi может привести к замедлению или остановке обработки данных, мониторинг позволит своевременно среагировать на проблемы с производительностью и выявить узкие места.

Читать далее

Iomega home media drive — восстановление и открытие чакр

Уровень сложностиПростой
Время на прочтение4 мин
Просмотры4K

Лет 15 назад мною в подарок моей будущей супруге было куплено такое устройство — «Сетевое хранилище Iomega Home Media Network Hard Drive». В принципе, нормальная железяка, но она не нашла своего места. Главная проблема заключалась в том, что по самбе хранилище работало неоправданно медленно, а веб‑интерфейс — это не для ежедневного использования.

Так и валялось оно без дела, а когда я, спустя годы, попытался его включить, выяснилось, что диск приказал долго жить.

Спустя ещё пару лет было решено, что негоже вещи кануть в Лету, не оставив следа. Ну а заодно, как водится, можно хорошенько поковыряться во внутрянке, авось чего интересного выяснится.

Читать далее

Миграция данных: Понятие, виды и примеры на Python

Время на прочтение3 мин
Просмотры5.6K

Миграция данных — это важный процесс, который включает в себя перенос информации из одной системы хранения данных в другую. Это может быть необходимо по множеству причин, таких как обновление систем, интеграция новых технологий или соблюдение нормативных требований. В данной статье мы рассмотрим основные виды миграции данных и приведем примеры реализации некоторых из них на Python.

Читать далее

Ближайшие события

В PostgreSQL необходим официальный бенчмарк для функции uuidv7()

Уровень сложностиСредний
Время на прочтение4 мин
Просмотры4.6K

В 18 версии PostgreSQL появится функция uuidv7(). Она разработана для замены последовательных автоинкрементных идентификаторов SERIAL, BIGSERIAL и IDENTITY, которые могут привести к катастрофическому дублированию ключей при слиянии данных, и для замены более медленных UUIDv4.

Использование функции uuidv7() позволит упростить архитектуру информационных систем, упростить SQL-запросы, избежать некоторых ошибок, облегчить внесение изменений и благодаря этому повысить надежность и снизить стоимость разработки и сопровождения информационных систем.

Однако для объективной и корректной оценки использования функции uuidv7() необходим официальный бенчмарк в PostgreSQL. Без такого бенчмарка может быть сделан необоснованный выбор в пользу автоинкремента.

Читать далее

Как поднять на виртуальном сервере собственную интернет-машину времени с помощью ArchiveBox

Уровень сложностиПростой
Время на прочтение4 мин
Просмотры11K

Всем привет, на связи THE.Hosting! Меня зовут Игорь, начиная с 2024 года я работаю в техподдержке компании. А начиная с этого дня я еще буду писать для нашей нашей странички на Хабре ;)

И знаете, что я заметил за время работы? Многие считают, что виртуальный сервер или даже выделенный — это не очень интересно. Ну что максимум на нем можно сделать? Разместить интернет-магазин или любой другой сайт — так себе развлечение. 

Поэтому я взял на себя задачу добавить немного рок-н-ролла и показать, что сервер — это на самом деле гигабайты свежей информации виртуальная техно-лаборатория интересных проектов, экспериментов и даже профессионального роста. Главное, чтобы под рукой был смартфон или компьютер с установленным openssh. И это все по цене пары кружек кофе в месяц. 

В первом выпуске я расскажу о ArchiveBox — сервисе, который позволяет самостоятельно запустить аналог Wayback Machine. 

Читать далее

Эксперимент по ускорению SQLite

Уровень сложностиСредний
Время на прочтение5 мин
Просмотры7.8K

SQLite быстра, но можно ли сделать её ещё быстрее? Исследователи из Университетов Хельсинки и Кембриджа задались этим вопросом и опубликовали работу Serverless Runtime / Database Co-Design With Asynchronous I/O. В ней они продемонстрировали возможность 100-кратного снижения времени задержки, и ниже я в общих чертах эту их работу прокомментирую.

Речь пойдёт об исследовании возможностей Limbo — переписанной на Rust версии SQLite.
Читать дальше →

Гонка за ИИ уже оставляет свой след: Ирландия и её огромные дата-центры — предупреждающий пример

Время на прочтение7 мин
Просмотры12K

Опасения по поводу отключений электричества заставили ирландского оператора энергосистемы приостановить строительство новых дата-центров вблизи Дублина до 2028 года. Десятки огромных дата-центров на окраинах Дублина потребляют больше электричества, чем все городские дома в Ирландии.

Теперь страна, сделавшая себя вычислительной фабрикой для Amazon, Google, Meta, Microsoft и TikTok, задается вопросом, стоило ли это того, поскольку технологические гиганты ищут по всему миру места для постройки еще больше дата-центров, чтобы поддержать следующую волну искусственного интеллекта.

Читать далее

Мои результаты тестов сравнения быстродействия NVME-over-TCP и NVME-over-RDMA

Уровень сложностиПростой
Время на прочтение3 мин
Просмотры6.2K

На хабре уже было несколько статей, посвящённых технологии NVME over Fabric, которая в последнее время становится всё более популярной для сетевых дисковых подключений. Мы сейчас строим некую новую систему и у меня возникла мысль протестировать и сравнить несколько различных настроек. Возможно, кому-то из коллег будут полезны полученные мной результаты.

Читать далее

Корпус для домашнего NAS сервера. Как это было…

Время на прочтение4 мин
Просмотры39K

Всем привет! Эта статья продолжение первой, опубликованной раннее Домашний NAS сервер, где была разработана электроника и проведено первоначальное тестирование.

Но, без корпуса использовать данный NAS сервер крайне не удобно и есть риск повредить и сломать его, а также нет должного охлаждения, что тоже негативно сказывается на работе сервера.

В данной статье будут описаны разработка и сборка корпуса, надеюсь будет интересно!

Читать далее

Клинопись 21 века. Способ хранения данных с большей плотностью

Уровень сложностиПростой
Время на прочтение2 мин
Просмотры2K

Суть клинописи – в засечках, которые наносятся на глиняные таблички с помощью тростникового стилуса. Новый способ хранения данных использует наномасштабные углубления, сделанные на высокотехнологичном полимере с помощью тонкого зонда, и благодаря атомно-силовому микроскопу.

Читать далее

Вклад авторов