Как стать автором
Обновить
0
0

Пользователь

Отправить сообщение

Как спарсить любой сайт?

Время на прочтение6 мин
Количество просмотров203K

Меня зовут Даниил Охлопков, и я расскажу про свой подход к написанию скриптов, извлекающих данные из интернета: с чего начать, куда смотреть и что использовать.

Написав тонну парсеров, я придумал алгоритм действий, который не только минимизирует затраченное время на разработку, но и увеличивает их живучесть, робастность и масштабируемость.

Узнать как
Всего голосов 64: ↑55 и ↓9+60
Комментарии89

Моя клубничная чудо-коробка

Время на прочтение17 мин
Количество просмотров59K

Я собрал умную коробку для круглогодичного выращивания клубники у себя на балконе. Расскажу как сделал управление освещением, поливом, отоплением, какие датчики использовал, с какими проблемами столкнулся и покажу результат.

Читать далее
Всего голосов 172: ↑172 и ↓0+172
Комментарии106

Звездолеты на ДВС. Выжить в схватке с техническим долгом

Время на прочтение10 мин
Количество просмотров8.1K


Как выжить в схватке с техническим долгом? Что делать, если у вас легаси тяжелой стадии? В статье на примере трёх кейсов предлагаю разобраться, как построить процесс работы с техническим долгом и какие инженерные подходы для этого использовать.
Читать дальше →
Всего голосов 17: ↑16 и ↓1+21
Комментарии7

Как эффективнее использовать kubectl: подробное руководство

Время на прочтение23 мин
Количество просмотров21K

Если вы работаете с Kubernetes, то, вероятно, kubectl — одна из самых используемых вами утилит. А всякий раз, когда вы тратите много времени на работу с определенным инструментом, стоит хорошо его изучить и научиться эффективно использовать.

Команда Kubernetes aaS от Mail.ru перевела статью Даниэля Вейбеля, в которой вы найдете советы и приемы для эффективной работы с kubectl. Также она поможет глубже понять работу Kubernetes.

По словам автора, цель статьи — сделать вашу ежедневную работу с Kubernetes не только более эффективной, но и более приятной!
Читать дальше →
Всего голосов 51: ↑51 и ↓0+51
Комментарии3

«Умный дом» в каждую квартиру многоквартирного дома, или наш MVP

Время на прочтение6 мин
Количество просмотров18K


В прошлой статье мы рассказали о создании нашей команды, но в этой статье хотим рассказать как именно мы реализовали первый наш проект.

Описание объекта


Итак наш первый объект — жилой дом имеющий следующие характеристики:

  • 15 этажей
  • 135 квартир
  • Импульсные приборы учета холодного водоснабжения у каждой квартиры
  • Тепловые счетчики с M-bus у каждой квартиры
  • Счетчики электроэнергии с RS-485 интерфейсом у каждой квартиры
  • Датчик температуры в каждой квартире
  • Один клапан на подающем трубопроводе отопления в квартиру
Читать дальше →
Всего голосов 16: ↑14 и ↓2+20
Комментарии38

Автогенерация кода и стейта для существующих ресурсов в Terraform. Terraformer

Время на прочтение6 мин
Количество просмотров5.2K

Terraformer — консольный инструмент для генерации кода и стейта в форматах HCL и json для уже существующей инфраструктуры.

Читать далее
Всего голосов 10: ↑9 и ↓1+11
Комментарии8

Автоматизация тестов на Go + Allure

Время на прочтение16 мин
Количество просмотров20K

Привет всем. Меня зовут Таня. Я автоматизирую тесты на Go уже около года, до этого занималась 4 года автоматизацией на Java.

В этой статье расскажу:

- Как писала интеграционные тесты на Go + Allure

- С какими проблемами столкнулась

- С какими библиотеками и инструментами работаю

Читать далее
Всего голосов 10: ↑10 и ↓0+10
Комментарии11

Алгоритмы сортировки NumPy (и танцы, и мемы)

Время на прочтение5 мин
Количество просмотров6.6K

Вместо предисловия:

Да, наверное, нет более избитой темы, чем алгоритмы сортировки. Однако, меня в свое время так увлек процесс разбора того, какие алгоритмы задействованы в NumPy, что захотелось всем об этом рассказать. Возможно, слишком мелкая вещь, возможно, занудство какое-то, но тешу себя надеждой, что материал может быть полезным для тех, кто тему только начал! Особенно для таких же людей, как я, перешедших из смежных сфер (из телекома, например), где алгоритмы и структуры данных могут попросту не изучаться (бывает и такое). Если где-то что-то напутал (или наоборот материал оказался для вас полезным), буду рад обратной связи!

Читать далее
Всего голосов 5: ↑5 и ↓0+5
Комментарии6

Как управлять Kubernetes кластерами с помощью Flux, Helm Operator и Git submodules

Время на прочтение8 мин
Количество просмотров15K

Kubernetes используют так или иначе сейчас примерно все, но и задачи решаются совсем разные. Я расскажу про наши требования и разработанные под них решения для управления множеством кластеров. По теме GitOps не так много статей и обсуждений на Хабре, в отличие от англоязычных источников, поэтому будет интересно и услышать мнение тех, кто применял подход на своей практике.

Читать далее
Всего голосов 3: ↑3 и ↓0+3
Комментарии11

Как в восемь раз уменьшить количество DNS-запросов в Go

Время на прочтение6 мин
Количество просмотров13K

Привет, Хабр. Меня зовут Рустам. Я работаю в Ozon: админю Kubernetes и пишу на Go.

У нас очень много сервисов на Go — их количество исчисляется тысячами. Запускаются они внутри кластеров Kubernetes. А я плотно работаю с Kubernetes и заметил, что при запуске кода внутри Kubernetes для резолва одного адреса делается до десяти DNS-запросов. Это, конечно, влияет на производительность.

Я решил разобраться, как Go делает DNS-запросы. В результате мне удалось уменьшить их количество в наших проектах до одного-двух. Как у меня это получилось и можно ли использовать мой опыт в вашем проекте, я расскажу в статье.

Узнать больше про Go+DNS
Всего голосов 75: ↑55 и ↓20+51
Комментарии9

Review- или динамические окружения. Теория и практика в Kubernetes

Время на прочтение10 мин
Количество просмотров14K

Статья посвящена так называемым review-окружениям, реализуемым в рамках кластеров Kubernetes. Ранее эта тема затрагивалась, например, в нашем докладе «Лучшие практики CI/CD с Kubernetes и GitLab», но не была там основной темой, поэтому раскрывалась не во всех деталях. Попробую восполнить этот пробел, рассказав, для чего нужны и/или обычно используют review-окружения, как сделать pipeline c review-окружением в GitLab CI/CD, какие могут быть потенциальные проблемы и способы их решения.

Читать далее
Всего голосов 38: ↑38 и ↓0+38
Комментарии10

Как сделать конфигурационные файлы версионируемыми с инструментами Kubernetes

Время на прочтение10 мин
Количество просмотров5.8K

Если у ваших приложений есть конфигурационные файлы, то вам должна быть знакома такая ситуация: создаете приложение, создаете конфигурационный файл, документируете его и через какое-то время понимаете, что нужно добавить еще настроек. Старые настройки теперь уже не отвечают всем требованиям, да и в целом структуру лучше поменять. Что делать? Если формат конфигурации никогда не менять, то с годами конфиг-файл превратится в горы “исторически сложилось”. А если его менять... В таком случае вам всегда придется следить за тем, что конфиги подходят версии продукта, которую вы устанавливаете заказчику. Парни из эксплуатации, клиенты и много кто еще вас за это особо любить не будут.

Решение всех этих проблем — мульти-версионные конфигурации, которые мы подсмотрели у Kubernetes, развили и применили. А теперь мы готовы рассказать и вам, как это работает.

Давайте поговорим про конфиги!
Всего голосов 6: ↑5 и ↓1+7
Комментарии0

Смарт-тренажер Кегеля Elvie для укрепления интимных мышц — почему он нужен

Время на прочтение5 мин
Количество просмотров98K
Тема «ниже пояса» всегда кажется достаточно личной и деликатной, потому и обсуждается редко. Представить себе ситуацию, когда двое человек болтают о том, что для профилактики простуды попивают витамин C, — легко; а вот диалог о том, что для укрепления мышц тазового дна используют специальные шарики и т. п., — уже сложнее.

Подобные темы в индивидуальном порядке поднимаются в медицинских кабинетах, но это так и остается большей частью за закрытыми дверями и закрытыми обложками медкарт. Но диалоги, охраняемые медицинской тайной, порой и являются причиной тому, что человек долгое время не обращает внимание на ту или иную проблему: де-скать, похоже, что такое только у меня.



Что ж, мы рискнем поговорить о том, о чем обычно говорить не принято.
Читать дальше →
Всего голосов 97: ↑69 и ↓28+41
Комментарии137

Как автоматизировать составление объявлений в Google Ads

Время на прочтение9 мин
Количество просмотров11K
Как автоматизировать составление объявлений в Google Ads

Составление объявлений для контекстной рекламы — это рутинная задача. Хорошо, когда их всего несколько штук. Но если приходится составлять 50-100 и более объявлений, полезно знать о способах автоматизации процесса.

Читать дальше
Всего голосов 7: ↑7 и ↓0+7
Комментарии3

Закрепление в Linux. Linux Persistence

Время на прочтение12 мин
Количество просмотров24K

Получив доступ к системе, важно его не потерять. Выключение узла, завершение процесса - все это разрывает бек-коннект. И приходится начинать сначала. Даже если вы успели получить учетные данные валидного пользователя, смена пароля способна создать массу проблем. В статье я собрала в одном месте известные мне способы, начиная от простых и довольно шумных, но есть и элегантные варианты, на мой вкус. 

Я много внимания уделила тому, насколько та или иная техника может вас выдать. И надеюсь, что аналитики SOC вынесут из статьи хотя бы несколько вещей, на которые стоит обращать внимание.

Буду благодарна за любую обратную связь. Если вдруг вы знаете еще какие-то техники или интересные приемы, о которых я не написала, обязательно поделитесь. Потому что процесс закрепления в системе очень творческий. Особенно, если у вас есть права root.

Читать далее
Всего голосов 30: ↑28 и ↓2+35
Комментарии30

Записки о containerd

Время на прочтение7 мин
Количество просмотров22K

Когда в пятый раз у тебя появляется на работе падаван, которому надо все рассказать по нескольку раз, в какой-то момент приходит в голову светлая мысль все свои речи законспектировать, попутно хоть немного структурировав все это дело. Так что сия заметка о сontainerd для того, чтобы не повторяться в сотый раз. Возможно, кому-то еще это будет интересно, хотя тут все без рокет-сайнс.

Читать далее
Всего голосов 16: ↑16 и ↓0+16
Комментарии3

Разработка dApps на блокчейне Dash (интервью с разработчиком)

Время на прочтение8 мин
Количество просмотров3.6K
image

Формально, “Dash Platform — это технологическая среда для создания децентрализованных приложений (Dapps) на базе блокчейна и сети Dash — облака, которое разработчики могут интегрировать со своими приложениями.”

Недавно опубликована серия видео, объясняющих 4 ключевых составляющих Dash Platform: хранилище Dash Drive, децентрализованный API (DAPI), Имена пользователей на Dash Platform Name Service (DPNS) и Dash Platform Protocol (DPP). Отмечается, что DAPI Dash Platform будет первым в мире децентрализованным HTTP API.

«Промо-тексты» оригинального интервью я опустил, и по существу получилось:
Читать дальше →
Всего голосов 3: ↑1 и ↓2+1
Комментарии4

Использование journalctl для просмотра и анализа логов: подробный гайд

Время на прочтение6 мин
Количество просмотров200K


Journalctl — отличный инструмент для анализа логов, обычно один из первых с которым знакомятся начинающие администраторы linux систем. Встроенные возможности ротации, богатые возможности фильтрации и возможность просматривать логи всех systemd unit-сервисов одним инструментом очень удобны и заметно облегчают работу системным администраторам.

Эта статья рассматривает основные возможности утилиты journalctl и различные варианты ее применения. С помощью journalctl можно просматривать логи системы, чтобы решить возникшие проблемы на рабочей станции или сервере использующие дистрибутив linux с демоном инициализации systemd, де-факто уже ставшим стандартом в современных Linux-системах, например: RHEL, CentOS, Fedora, Debian и многих других.

Существует мнение, что systemd не так уж и хорош — он нагружает систему и это все еще предмет для споров на сегодняшний день, но нельзя отрицать, что он предоставляет прекрасный набор инструментов для управления системой и поиска проблем. Представьте, что вам приходится иметь дело с проблемным сервером, который даже не загружается — в таком случае можно загрузиться с live-дистрибутива, смонтировать системный раздел и просмотреть логи systemd, чтобы понять, в чем проблема.
Читать дальше →
Всего голосов 43: ↑41 и ↓2+60
Комментарии25

Полная домашняя автоматизация в новостройке

Время на прочтение8 мин
Количество просмотров220K
Три года назад стал претворять свою давнюю мечту в реальность — максимальная домашняя автоматизация квартиры, купленной в новостройке с нуля. При этом «отделку от застройщика» пришлось принести в жертву умному дому image и полностью переделать, а вся электрика, не связанная с автоматикой приехала с известного китайского сайта. Паяльник не потребовался, но знающих мастеров, электриков и плотников пришлось искать долго.


Панель управления квартирой в феврале 2020 года (Home Assistant)

В этой статье расскажу о выборе технологий умного дома, используемых в квартире, а также приведу мои схемы разводки, фотографии всего что было сделано, получившиеся электрические щиты и конфигурации всех устройств, дам ссылку на гитхаб.


Строительство нашего дома в процессе — ноябрь 2016 года
Умный дом в самом соку...
Всего голосов 104: ↑101 и ↓3+132
Комментарии514

RabbitMQ против Kafka: отказоустойчивость и высокая доступность

Время на прочтение20 мин
Количество просмотров34K


В прошлой статье мы рассмотрели кластеризацию RabbitMQ для обеспечения отказоустойчивости и высокой доступности. Теперь глубоко покопаемся в Apache Kafka.

Здесь единицей репликации является раздел (partition). У каждого топика один или несколько разделов. В каждом разделе есть лидер с фолловерами или без них. При создании топика указывается количество разделов и коэффициент репликации. Обычное значение 3, это означает три реплики: один лидер и два фолловера.
Читать дальше →
Всего голосов 48: ↑45 и ↓3+42
Комментарии3
1
23 ...

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность