Как стать автором
Обновить
169.52

Хранение данных *

Что имеем, то храним

Сначала показывать
Порог рейтинга
Уровень сложности

Как я чищу диск на MacOS и какой внешний накопитель выбрал

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров4.1K

Привет, Хабр! Недавно брат поинтересовался, как я решаю проблему с вечно забитым диском на MacBook, и я решил не только ему ответить, но и поделиться своим опытом со всеми. Расскажу, как бороться с нехваткой места и какой внешний накопитель выбрать, чтобы не разориться и не разочароваться.

Читать далее

Новости

Как хранить кадровые документы в 2025 году: правила, сроки хранения, ЭДО и автоматизация

Уровень сложностиСредний
Время на прочтение20 мин
Количество просмотров1.8K

Хранение кадровых документов в организации — это уже не просто полки с папками в архиве. В России продолжается активный переход на электронный документооборот. Но вместе с новыми технологиями появляются и новые обязанности: хранить кадровые документы в электронном виде правильно — задача не только IT-специалистов, но и юристов, кадровиков, руководителей. Ошибка может обернуться штрафом, трудовым спором или полной утратой юридически значимых данных.

Читать далее

Побег от WSL или как превратить старый ноутбук в домашний сервер для хранения данных и удаленной работы

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров24K

Привет, Хабр! Хочу поделиться личным опытом превращения старенького ноутбука ASUS X552CL (Intel i5-5200U, 12 ГБ RAM, SSD + HDD), выпущенный 12 лет назад, в полноценный домашний сервер под Linux Ubuntu Server 24.04.5 LTS.

Получилось что-то вроде мини-датацентра на дому — он хранит файлы на жёстком диске с бэкапом в облаке, Docker-контейнеры крутит для дата-аналитики и даже имеет легковесный интерфейс XFCE, при этом есть потенциал к росту до терминала для управления умным домом. Расскажу, почему было решено отказаться от WSL на рабочем ноутбуке Huawei, как настроить удалённый доступ через xRDP (чтобы не было чёрного экрана), запустить там Docker, сборку Superset и JupyterLab с Anaconda (с разными версиями Python), прикрутить Samba-шару для домашнего использования и организовать бэкап в облачном хранилище. В этой статье будет немного технических деталей, щепотка шуток и парочка мемов с советскими плакатами.

Читать далее

Интеграция с Яндекс Метрикой и выгрузка данных .NET

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров931

В этой статье рассмотрим пример реализации .NET сервиса для работы с API Яндекс Метрики, включая авторизацию, получение данных и их синхронизацию с БД.

Читать далее

Эволюция хранилища ВКонтакте: от первой реализации до наших дней

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров2.2K

Привет, Хабр! Последние несколько лет я занимаюсь разработкой баз данных ВКонтакте. Аудитория такой крупной соцсети ежедневно генерирует огромные массивы информации. 

В этой статье я расскажу про хранилище ВКонтакте: как оно менялось, что мы делаем для оптимизации занятого места и как гарантируем сохранность данных.

Читать далее

MP3 устарел. Будущее за современными lossless-кодеками

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров13K
Сравнение производительности lossless-кодеков на материале CD-качества, то есть аудиофайлах PCM с битовой глубиной 16 бит и частотой дискретизации 44,1 кГц, источник

В своё время MP3 совершил революцию в распространении музыки. Больше не нужно было покупать дорогие компакт-диски. Достаточно поставить на ночь загрузку из «Напстера» — и к утру у тебя несколько файлов MP3, которые можно слушать совершенно бесплатно! Любые исполнители и альбомы. Это было невероятно.

Но сейчас времена изменились. Файлы скачиваются за секунды, а место на диске измеряется терабайтами. Нет смысла подвергать музыку калечащему сжатию с потерей информации. Можно спокойно скачивать и хранить её в lossless-форматах, причём со значительным сжатием.

Есть ряд lossless-кодеков, которые эффективнее .FLAC по степени сжатия.
Читать дальше →

Штрафы за утечку ПДн, от которых срочно надо защититься

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров1.3K

Всем привет! Меня зовут Анастасия Калиничева, я являюсь специалистом по информационной безопасности и ярым любителем поискать смысл в законодательстве о персональных данных (ПДн). Про оборотные штрафы написано уже много материалов, но в процессе анализа поправок невозможно обойтись без структурированного «разложить все по полочкам» и, конечно же, личного мнения о нововведениях. Делюсь с вами аналитикой на тему ужесточения ответственности за правонарушения в сфере законодательства РФ о ПДн.

Читать далее

Cloud4Y строит свой ЦОД. История третья

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров1.1K

Привет!

Продолжаем рассказывать о строительстве дата-центров Cloud4Y (часть 1, часть 2).  В прошлый раз мы подняли тему КЦОД — контейнерных дата-центров, которые первыми у нас примут рабочую нагрузку. У вас возникли вопросы, поэтому сегодня расскажем, что это такое, как выглядит и почему мы используем КЦОД вместе с традиционным зданием дата-центра.

Читать далее

Не файлы, а люди: Почему Knowledge Management начинается с кофе-брейков

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров1.6K

Представьте: в компании работает Алексей — senior-разработчик, который за пять лет стал незаменимым. Он знает каждый уголок legacy-кода, помнит, почему десять лет назад выбрали именно эту базу данных, и умеет чинить критические баги за минуты. Но Алексей увольняется. Руководство в панике: как передать его опыт? Проводят митинги, заставляют его записать всё в Confluence, а через месяц новый разработчик смотрит на эти документы и не понимает ни строчки. Знания Алексея ушли вместе с ним, а компания теряет клиентов из-за растущих багов.

Читать далее

Единый механизм указания значений по умолчанию для StorageClass: централизованный подход Deckhouse

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров815

В Kubernetes важно правильно настроить StorageClass, чтобы эффективно использовать место для хранения данных приложений. Выбирать StorageClass по умолчанию можно вручную, но такой способ часто приводит к ошибкам и усложняет работу. В статье расскажем, почему ручной способ — не самый удобный, и покажем подход, который реализовали в Deckhouse. Он помогает проще и надёжнее управлять хранением данных.

Читать далее

Как писать запросы для табличных моделей с помощью DAX

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров590

В этой статье мы погрузимся в мир запросов DAX для табличных моделей данных. ДAX (Data Analysis Expressions) — это мощный язык запросов, который используется для анализа и обработки данных в Power BI и других продуктах Microsoft. Мы рассмотрим, как с помощью DAX можно выполнять эффективные запросы к данным, начиная с простых операций, таких как получение всех строк из таблицы, и заканчивая более сложными задачами, например, использованием локальных мер и фильтрации данных.

Статья будет полезна как новичкам, так и опытным пользователям, стремящимся глубже понять возможности DAX и научиться использовать его для быстрой и точной аналитики.

Читать далее

Контролируем качество данных с помощью Python

Время на прочтение6 мин
Количество просмотров4.8K

В работе с данными одной из самых больших трудностей является обеспечение их качества. В процессе анализа и обработки информации приходится сталкиваться с множеством проблем, таких как отсутствие нужных значений, неправильно отформатированные данные или ошибки, появляющиеся при сборе данных с веб-ресурсов.

В этой статье мы рассмотрим, как с помощью Python можно автоматизировать процесс проверки и очистки данных, используя популярные библиотеки, такие как pandas и pyspark. Мы исследуем практические подходы к подготовке данных для анализа, включая поиск аномалий, постобработку и работу с пустыми значениями, что поможет обеспечить высокое качество данных для дальнейших исследований и принятия решений.

Читать далее

Отвечает ли CRM за сохранность ПД и как не нарушить закон при хранении ПД в обычной таблице

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров2K

Сегодня утром вы открыли глаза и четко осознали: бизнесу нужно развиваться!  Отлично, используйте все легальные доступные инструменты.

Только, пожалуйста, не развивайте свое дело, пренебрегая обязательными пунктами ведения бизнеса, которые установило законодательство. Я о работе с персональными данными. Не устаю напоминать, потому что это действительно важно.

Сегодня разбираю законность хранения ПД в обычных таблицах и CRM-системах. Вам нужно это знать, даже если в вашей компании работает три человека

Узнать про хранение ПД в таблицах и CRM

Ближайшие события

Obsidian: автоматизация простыми Шаблонами

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров14K

В этой статье я расскажу про то, как можно автоматизировать некоторые задачи с помощью встроенного плагина Шаблоны и подготовлю себя и вас к самому крупному и исчерпывающему руководству по плагину Templater , который я выпущу следующей публикацией. 

Читать далее

Книга: «Elasticsearch для разработчиков: индексирование, анализ, поиск и агрегирование данных. 2-е изд.»

Время на прочтение5 мин
Количество просмотров2.5K
Привет, Хаброжители!

Вы знакомы с Elasticsearch? Это мощный инструмент для работы с большими объемами данных. Его гибкость, масштабируемость и высокая производительность делают его незаменимым в современных IT-решениях. Книга Анурага Шриваставы «Elasticsearch для разработчиков» — это подробное руководство, которое шаг за шагом раскрывает все аспекты работы с этой технологией: от базовых принципов до сложных сценариев использования.

Шривастава начинает с основ, постепенно погружая читателя в мир Elasticsearch, и к концу книги даже новичок сможет уверенно работать с индексами, запросами, агрегациями и геоданными. Практические примеры и четкие объяснения помогают закрепить знания, а структура книги позволяет изучать материал в удобном темпе.
Читать дальше →

Создаем картотеку людей в Obsidian максимально лениво или «Тронул мышку — проиграл»

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров11K

Я уже писал на Хабре статью, что такое СДВГ и как он влияет на жизнь. Жизнь с СДВГ создаёт свои трудности и я (как имеющий этот синдром) ненавижу и максимально стараюсь избегать любую рутину.

Иногда это доходит до крайности — мне необходимо заполнить какие-то заметки, но они все одинаковые. Ты их копируешь, вставляешь, опять поднимаешь руку к мышке, пытаешься попасть в нужную строку иии... глючит при прокрутке ролик, ты промазываешь и эмоции такие, что хочется выкинуть всю технику в окно.

Поэтому я сделал для себя кучу шаблонов заметок, которые очень быстро заполняются по правилу игры «Тронул мышку — проиграл». Эти шаблоны сильно облегчили мою жизнь и одним таким шаблоном я и хочу поделиться.

Читать далее

(Почти) идеальный мини-NAS для мини-стойки

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров21K

Мини-ПК GMKtec G9  N150 с четырьмя  отсеками NVMe стоит 240  долларов — практически идеальное NAS-устройство для домашней мини-стойки. Он оснащен четырехядерным процессором Intel N150  с интегрированной графикой Intel UHD среднего уровня, 12  ГБ оперативной памяти LPDDR5, двумя портами Ethernet 2,5  Гбит/с, WiFi  6  и, что самое приятное, четырьмя  встроенными слотами M.2  NVMe.

Казалось бы, что не так?
Читать дальше →

Делиться знаниями — значит расти. 6 шагов к построению базы знаний на основе Data Warehouse (DWH)

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров1.9K

Этот текст — эссенция практического опыта креативного специалиста, который помогает бизнесу находить технические решения в области построения базы знаний. Решил поделиться своими заметками об архитектуре хранилища данных (DWH) и написать, почему важно хранить корпоративные данные в едином хранилище, как преодолеть внутренние барьеры (вроде страха критики и синдрома самозванца) для начала обмена знаниями и какими техническими и организационными решениями можно сделать этот процесс удобным и полезным. В статье — живой опыт, конкретные советы и немного вдохновения для тех, кто только начинает делиться знаниями внутри команды.

Читать далее

Как сделать компьютерную память из ржавых гвоздей и нейросети — из медных проволок?

Уровень сложностиСредний
Время на прочтение13 мин
Количество просмотров9.4K
Картинка — Kaboompics, Flatart, Freepik

Сегодня мы поговорим о таком интересном классе электронных компонентов, который носит название «мемристоры» и позволяет даже строить на их основе нейросети.

Их привлекательность заключается в том, что их вполне можно делать даже самостоятельно, из подручных компонентов.

В последнее время мы привыкли, что под понятием нейросетей подразумеваются определённые программные структуры. Однако мемристоры позволяют строить нейросети на физической основе! О_о

Аппаратные физические нейросети… Как вам такое? :-) Весьма близко к тому, что мы видим в природе, кстати говоря…
Читать дальше →

Что такое Ansible и как применяется в DWH-проектах? Сравнение Ansible с Puppet, Chef, SaltStack

Время на прочтение11 мин
Количество просмотров5.6K

В статье рассказываем, что такое Ansible и как инструмент может применяться в проектах DWH: от автоматического развертывания и настройки компонентов до восстановления после сбоев и централизованного управления параметрами.

Сравниваем Ansible с другими инструментами для автоматизации управления инфраструктурой: Puppet, Chef, SaltStack.

Читать далее
1
23 ...