Pull to refresh
3
Send message

Obsidian+Github вместо Notion: синхронизация, бекап и версионность (3-в-1)

Level of difficultyEasy
Reading time9 min
Reach and readers211K

О том, как сделать прозрачную синхронизацию заметок Obsidian между устройствами (Desktop, Android, iOS) через GitHub:

1. Без сторонних приложений (вроде iCloud, SyncThing, Termux и пр)
2. Бесплатно
3. Бонусом — резервная копия: как самих заметок, так и истории изменений.

В результате получается полноценная замена Notion: структурированные заметки с автоматической синхронизацией между устройствами.

Инструкция:

Управление секретами Kubernetes с Sealed Secrets и Helm: GitOps way

Level of difficultyMedium
Reading time5 min
Reach and readers8.6K

В этой статье рассмотрим, как можно организовать простое управление секретами для приложений в Kubernetes при использовании GitOps-подхода. Храним секреты в git безопасно и управляем ими из Helm-чарта приложения.

Читать далее

Как Linux создаёт и подсчитывает сокеты

Level of difficultyHard
Reading time12 min
Reach and readers27K

Подробно о том, что происходит под капотом в ядре Linux, когда вы выполняете очередной системный вызов при работе с сокетами.

Читать далее

Ceph: Путешествие к 1 ТБ/с

Reading time22 min
Reach and readers18K

«‎Не могу поверить, что они догадались до этого первыми». Именно такая мысль пронеслась у меня в голове в середине декабря после нескольких недель работы по 12 часов в день, когда я отлаживал причины медленной работы кластера. Это был, пожалуй, самый интенсивный анализ производительности, который я проводил со времен Inktank. 

В моем сознании промелькнули полузабытые суеверия из 90-х о том, как получить благосклонность богов SCSI. 90-х? Блин, я старею. Мы прошли примерно две трети пути, который позволил бы нам начать с самого начала. Кстати говоря, я начну с самого начала.

В 2023 (я почти написал «в начале года», пока не вспомнил, что уже 2024) году в компанию Clyso обратилась довольно популярная и передовая компания, которая хотела перевести свой Ceph-кластер с HDD на NVMe-диски объемом 10 петабайт. Они сразу же заинтересовали нас. У них не было особых потребностей в RBD, RGW или CephFS. У них было свое представление, о том какое оборудование необходимо, но, к моей радости, обратились к нам, прежде чем что-то покупать. 

Читать далее

Наш опыт эксплуатации Airflow в Kubernetes

Level of difficultyMedium
Reading time11 min
Reach and readers11K

Apache Airflow — это один из самых популярных ETL-шедулеров. ETL-процессы — это когда мы выбираем интересующие нас данные, приводим их к агрегированному виду и сохраняем для дальнейшего использования. И это присутствует везде, где есть необходимость анализа данных. Соответственно, Airflow предназначен для того, чтобы запускать пайплайны обработки данных.

Читать далее

Работа с MongoDB Oplog: Как отслеживать изменения документов

Level of difficultyMedium
Reading time9 min
Reach and readers7.2K

MongoDB — это популярная NoSQL база данных, широко используемая для хранения больших объемов данных. Одной из ключевых возможностей MongoDB является механизм Oplog (операционный журнал), который позволяет отслеживать изменения в коллекциях. В этой статье мы рассмотрим, как работать с Oplog, искать документы, преобразовывать временные метки и выводить результаты в читаемом формате, что крайне удобно для аналитиков.

Читать далее

Погружение в облака: K8S по следам Ænix с gohost. Часть 1. Установка Kubernetes-кластера под управлением Cozystack

Level of difficultyMedium
Reading time16 min
Reach and readers6.8K

Привет! Меня зовут Владислав Карабасов, я работаю в компании gohost в Казахстане. Ранее я более 20 лет проработал в университете, возглавляя Центр информационных технологий и телекоммуникаций.

В gohost.kz я занялся развитием Kubernetes as a Service. В процессе работы я познакомился с платформой Cozystack на базе Talos Linux и решил развернуть Kubernetes-кластер с её помощью. Cozystack привлекла меня следующими особенностями:

— Поддержка развёртывания на железе (Bare Metal).

— Высокий уровень безопасности Talos Linux.

— Активное участие разработчиков в русскоязычном сообществе Kubernetes.

Делюсь опытом установки и настройки кластера на платформе Cozystack. Надеюсь, это будет полезно!

Читать далее

Сетевые плагины (CNI) в Kubernetes

Level of difficultyHard
Reading time14 min
Reach and readers22K

Сеть Kubernetes — это сложная и увлекательная тема, наполненная множеством подвижных частей. Одним из ключевых компонентов, обеспечивающих сетевую связность и взаимодействие различных элементов кластера, является CNI (Container Networking Interface).

CNI  - это спецификация, разработанная CNCF (Cloud Native Computing Foundation) для стандартизации процесса подключения сетевых интерфейсов к контейнерам. CNI обеспечивает гибкость и адаптивность сетевой инфраструктуры, позволяя интегрировать различные сетевые решения в Kubernetes.

Давайте подробнее разберем, что такое Container Network Interface?

Читать далее

Мои эксперименты с искусственной жизнью

Level of difficultyEasy
Reading time8 min
Reach and readers19K

Сегодня я расскажу про свои эксперименты с симуляцией эволюции.

В мире, разделенном на квадратные клетки живут боты. Боты могут заниматься фотосинтезом, смотреть в 8 направлениях вокруг себя, перемещаться, атаковать друг друга и размножаться делением.

За то, что бот будет делать в текущий ход, отвечает геном. При размножении есть шанс 1/4, что новый бот мутирует. При мутации его геном немного изменяется. Если мутация была положительной - бот может оставить больше потомства, таким образом полезные мутации будут приживаться, а вредные - отсеиваться.

Читать далее

Замедление YouTube с технической стороны: ограничение и обход

Reading time5 min
Reach and readers669K

Привет, Хабр!

В последнее время замечаю огромное количество информации по поводу замедления Великого, но очень мало где видел конкретику о том, как именно это работает. Одно лишь отчаяние "мы все умрём".

Сразу скажу, что буду говорить обо всём, что известно на данный момент. Понятно, что с этим разбирался далеко не один я: огромное спасибо обывателям ntc party форума за проделанный ресёрч.

В конце статьи есть информация об известных на данный момент способах обхода, а также список ресурсов, с помощью которых можно еще глубже копнуть в замедление.

UPD 10.08.2024 Многие жалуются на недоступность ютуба в целом: не грузит домашнюю страницу. Переживать не стоит, оно обрабатывается всё тем же ТСПУ по всё той же стратегии, обходы должны работать.

Читать далее

Установка LLM на скромном VPS

Level of difficultyMedium
Reading time6 min
Reach and readers28K

«Я тебя завалю, если ещё раз упомянешь AI», — писал автор нашумевшей статьи. В самом деле, хайп вокруг ИИ всем надоел. Но мы всё-таки рискнём поговорить о том, какую LLM поставить на своём сервере и зачем.

Сразу упомянем, что на серверах RUVDS установлены видеокарты NVIDIA Quadro P4000 (на фото). Карты довольно слабенькие, так что подойдут скорее для проектов в образовательных целях и т. д. Тем более что под VPS выделяется максимум 1 ГБ видеопамяти. Но даже в таких спартанских условиях можно запустить LLM.

Кстати, о VPS с видеокартой. Несколько лет назад мы уже писали о сферах их применения и даже проводили тесты. Всё это можно найти здесь.
Читать дальше →

Что о признании ошибок говорит теория игр и когнитивная психология?

Level of difficultyEasy
Reading time11 min
Reach and readers15K

Признание ошибок — это базовый для рациональности навык. Но признание может быть как личным, так и публичным, и оба имеют свои особенности.

В первом блоке этой статьи мы поговорим о признании в ошибках самому себе. А ещё о когнитивном диссонансе, самообмане и стоимости этого самого признания. То есть обо всём том, что касается вас, даже если вы застряли в одиночестве, заблудившись в безлюдном лесу.

Во второй же части мы затронем тему публичного признания ошибок. Я расскажу о том, как среда влияет на то, будем ли мы признаваться другим в своих ошибках. А ещё об ударе по репутации и других издержках, которые делают выгодным промолчать.

Проявить любопытство

Замыкания и декораторы в Python: часть 2 — декораторы

Level of difficultyEasy
Reading time11 min
Reach and readers17K

Уважаемые читатели, рад вас приветствовать в новой статье. Этот материал является продолжением предыдущей публикации, посвященной замыканиям. В данной части обзора мы углубимся в тему декораторов.

Эта статья написана в первую очередь для тех, кто только начинает свой путь в программировании или начал изучать Python. Потому здесь я не буду рассматривать декораторы классов, чтобы сделать материал более доступным для новичков. Тем не менее, для тех, кто изучит данную статью, не составит труда разобраться в декораторах классов, так как они не имеют существенных отличий от рассматриваемых здесь декораторов функций.

Читать далее

Заказчик или исполнитель должен подавать отчеты в кабинете ОРД для исполнения закона о маркировке рекламы?

Level of difficultyMedium
Reading time5 min
Reach and readers5.7K

Вопрос о том, кто и как должен отчитываться в ОРД с получением токенов (erid), передачей статистики, заполнением актов и оформлением разаллокации остро стоит для каждого участника рекламной цепочки для исполнения закона о маркировке рекламы (статья 18.1 Закона о рекламе 38-ФЗ) и дьявол, как всегда, в деталях.

Читать далее

Bare-metal Kubernetes — спускайся с облаков

Level of difficultyMedium
Reading time13 min
Reach and readers36K

Эта статья предназначена для тех, кто только начинает свой путь в мире Kubernetes и хочет понять, как развернуть кластер Kubernetes на собственных серверах с отказоустойчивым балансировщиком в виде MetalLB.

MetalLB — это решение для балансировки нагрузки в средах Kubernetes, которые не имеют доступа к встроенным балансировщикам, как в облачных провайдерах. Этот инструмент предлагает простой и эффективный способ добиться внешней доступности для сервисов в Kubernetes с помощью собственной инфраструктуры.

Связка MetalLB, Longhorn и Kubespray позволяет обойтись меньшим количеством виртуалок и построить закрытую, высокоэффективную систему, способную удовлетворить специфические потребности вашего бизнеса.

Пойдём разворачивать

Свой S3-server: что делать, если ваши десятки петабайт уже не лезут в коробочные объектные хранилища

Level of difficultyMedium
Reading time24 min
Reach and readers60K

В 2024 году уже незачем рассказывать об S3-интерфейсе и сравнивать его с другими вариантами организации объектного хранилища. Вот и мы в Ozon, конечно, предоставляем такое платформенное решение широкому спектру внутренних потребителей. От сервисов, которые хранят картинки товаров для каталога, до бэкапов баз данных. От собственных внутренних разработок, до open-source-решений, таких как Gitlab и Thanos.

Пока у вас десятки терабайт и сотни RPS, вас устраивают такие решения, как MinIO. Но по мере роста объёмов и запросов приходится смотреть в сторону таких решений, как Ceph с RGW (RADOS Gateway / Object Gateway). Ну, а когда у вас 3 дата-центра, десятки петабайт данных, миллиарды объектов и десятки тысяч запросов в секунду — в таких условиях и у RGW начинаются проблемы.

Эта история началась с того, что и мы с проблемами масштабирования столкнулись. Под хабракатом вы узнаете, как мы прошли через отрицание проблемы, гнев на Ceph, торг с CTO и разработку собственного решения. Как выбирали технологии, на какие грабли наступили, и что в итоге получилось.

Читать далее

Пайплайны Gitlab CI: моя коллекция граблей

Level of difficultyEasy
Reading time4 min
Reach and readers20K

Привет, Хабр! Я Евгений Малышев, SRE-инженер в Купере (так теперь называется СберМаркет). Моя основная задача — это надежная работа сервисов фронтенда, и немалую роль в этом играют правильно построенные пайплайны CI/CD. В этом нам помогает Gitlab CI. В компании мы широко используем этот инструмент для создания общих шаблонов для сервисов на различных языках. На уровне отдельного репозитория легко расширить или настроить шаблонные джобы и добавить свои.

До этого у меня был опыт с Jenkins и Azure Devops, так что Gitlab CI мне показался довольно простым: есть стадии, есть правила запуска джоб с shell-подобным синтаксисом, да и скрипты джоб тоже используют bash-интерпретатор. Но в процессе близкого знакомства не раз возникали ситуации, когда поднимается то одна бровь, то обе, а то и руки в праведном гневе. Заходите посмотреть, какую коллекцию граблей собрал я.

Весь код с примерами граблей можно посмотреть в репозитории.

Пройтись по граблям

Как вернуть энергию и интерес

Reading time34 min
Reach and readers62K

В этой статье я постарался честно и вдумчиво проанализировать свой опыт выгорания и последующего восстановления нормального уровня энергии. Если что-то упустил, спрашивайте в комментариях.

Мне 48 лет, сидячий образ жизни, интеллектуальные задачи. С одной стороны вредных привычек нет, с другой, — спорта тоже явно не хватает. Похожая ситуация с питанием: не хожу в фастфуд, но и не сижу на ПП (полезное питание). Самый большой стресс для меня — это общение с людьми, которые мне не рады и выполнение задач, которые не интересны. Мне нравится глубоко изучать вопрос, так что, если статья покажется затянутой, не обессудьте.

Читать далее

FreeIPA под прицелом: изучение атак и стратегий защиты

Level of difficultyMedium
Reading time22 min
Reach and readers19K

Привет, Хабр!

Меня зовут Всеволод Саломадин, я ведущий аналитик-исследователь угроз кибербезопасности в компании R-Vision. Сегодня мы поговорим о системе FreeIPA, которая является одной из немногих альтернатив такого «комбайна», как Microsoft Active Directory (AD).

Учитывая закон о переходе на отечественное ПО на объектах КИИ к 2025 году, эта тема становится актуальной для многих компаний. Вместе с активным переходом на FreeIPA, у пользователей стали возникать вопросы о механизмах атак и стратегиях защиты от них. В этой статье мы рассмотрим некоторые примеры атак на инфраструктуру FreeIPA и предложим варианты их детекта с помощью SIEM-системы.

Читать далее

Опционы в стартапах: гайд для сотрудника

Level of difficultyEasy
Reading time18 min
Reach and readers13K

Представьте, что стартап ранней стадии предлагает вам 1,500 опционов. Сколько это в деньгах?

Как вообще работают опционы?

Я решил разобраться и поделиться с вами.

Цель этого руководства не дать поток финансовых терминов, как это обычно делают, а доступно разобрать механизм опционов и ответить на действительно важные вопросы с точки зрения сотрудника стартапа.

Читать далее

Information

Rating
Does not participate
Registered
Activity

Specialization

Системный администратор, DevOps-инженер
Linux
Python
Docker
Git
MongoDB
Bash