Обновить
-30
@Alex500ISread⁠-⁠only

Пользователь

Отправить сообщение

Что в глубинах Data Lake? Строим архитектуру, укладываем слои, распределяем ответственность

Время на прочтение8 мин
Охват и читатели29K
Привет, Хабр! Меня зовут Григорий Коваль, я технический руководитель Core Data Lake центра Big Data МТС. Сегодня я расскажу о том, какие слои находятся внутри Data Lake, как построить архитектуру базы данных и чем распределенный Data Mesh-подход отличается от монолитного хранения данных.



Для создания Data Lake нужен итерационный подход – agile и все, что с этим связано. Еще необходимо правильно организовать работу команд, синхронизировать их распределить ответственность между участниками. Тогда получится прямая связь между пользователями и людьми, которые развивают витрины данных или домены. В этой статье поговорим о задачах, архитектуре и проблемах развития Data lake, а также обсудим способы решения возникающих проблем, специфику процессов и перспективы развития.
Читать дальше →

Укрощаем одноглазого змея. Разбираемся с WireGuard и делаем свой умный VPN

Время на прочтение29 мин
Охват и читатели760K

Забавная ситуация: сайтов и сервисов, доступных только через VPN, все больше, но при этом многие российские компании закрывают доступ из-за границы. В результате приходится целыми днями теребить ползунки «вкл-выкл», что утомительно. Я расскажу, как с помощью магии маршрутов и WireGuard, решить эту проблему и сделать «умный» VPN, который не надо отключать.


Если ты пользуешься VPN, то и сам наверняка сталкиваешься с блокировками зарубежного трафика. К примеру, могут не открываться pochta.ru, leroymerlin.ru, rt.ru, avito.ru.


Получается мем.



Каждый с этим борется как может. Например, на устройствах Apple родными средствами можно настроить автоматизацию, которая будет запускать VPN, когда открываешь определенные приложения (например, Twitter), а когда выходишь из них — выключать обратно. Но это костыль, а хочется все сделать красиво, да еще и прокачать навык работы с сетью.


Поэтому мы сейчас попробуем «включать VPN чуть-чуть».

Читать дальше →

Отвечаю на вопросы про экономический эффект машинного планирования на уральских цехах

Уровень сложностиПростой
Время на прочтение4 мин
Охват и читатели4.2K

Недавно я тут писала о системе календарного планирования для завода НЛМК в Калуге. В комментариях было много вопросов об эффектах этого решения и о том, кто в итоге лучше справлялся с планированием: система или может быть рабочий с 20-летним опытом. Этот пост своего рода развернутый ответ вопросы и комментарии.

Кому интересно узнать, какую экономию дает «машинное» планирование на примере прокатного цеха НЛМК-Урал, прошу под кат.

Читать далее

Backup and Restore — виртуальные машины в облаках/хостингах

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели17K

Постановка задачи — есть виртуальная машина в облаке — мы хотим решить две задачи:

1. Резервировать ее по расписанию на наш сервер(а), находящиеся под нашим полным контролем.

2. Иметь возможность в любой момент сконвертировать нужную версию из резервной копии в виртуальную машину (в любом формате) и запустить ее на нашем оборудовании (т. е. приземлить виртуальную машину из облака на грешную...).

И так, поехали!

Читать далее

Мониторинг пользователей OpenVPN с помощью Zabbix и визуализации в Grafana

Уровень сложностиСложный
Время на прочтение32 мин
Охват и читатели13K

Всем привет. Меня зовут Игорь, я Tech Lead команды DevOps-инженеров и активно развиваю направления мониторинга в компании. В продолжение статьи своего коллеги по цеху @EvgenNet хочу познакомить вас с шаблоном для Zabbix и дашбордом в Grafana для визуализации активности пользователей OpenVPN. Возьмите вкусняшек, чайку и присаживайтесь поудобнее.

Читать далее

Будь всегда в курсе: мониторим сертификаты с помощью Prometheus и Telegram

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели23K

Почему важно следить за сертификатами: сертификаты – это канал доверия между вашими системами и пользователями. Если канал рушится, доверие пропадает. И это может привести к невиданным техническим и, что еще хуже, бизнес-проблемам.

Поэтому, поговорим о том, как сохранить репутацию, удержать клиентов и обезопасить свой бизнес от неожиданных "сюрпризов" с помощью мониторинга.

Читать далее

Настройка авторизации через ssl сертификат на уровне nginx

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели22K

Привет уважаемые, хабровчане!

Иногда возникает потребность выдать доступ пользователям только к одному веб ресурсу в компании. Самый очевидный вариант сделать это через урезанный VPN, но тут возникают препятствия в виде девайсов, с которых подключаются пользователи, и качество интернета, которым они пользуются. OpenVPN, который мы пробовали использовать для этих целей, не дал желаемого результата, подключение было медленным и нестабильным. Поэтому было найдено альтернативное решение.

Читать далее

Как оптимизирован завод: вопросы оптимальной загрузки и «иридиевых чапельников»

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели7.9K
image
Наш прокатный стан

И снова привет из глубин металлургического комбината! В прошлый раз я рассказывал, откуда завод знает, что производить и когда. Мы эту задачу выводили на более-менее понятную математическую модель не один год и будем рефакторить и оптимизировать отдельные участки всю оставшуюся жизнь, поскольку точки роста есть всегда.

Сегодня речь пойдёт про графикователи производства — системы, лежащие ниже уровнем, чем календарное планирование. Они берут обещания отгрузок по датам и в перспективе ближайших нескольких дней строят оптимальную загрузку каждого агрегата по единицам продукции.

Итак, к нам пришёл заказ, пускай условно это будет сталь Ивановского машиностроительного завода. Дальше мы планируем производство: в диапазоне нескольких недель работает система календарного планирования (стратегическое планирование), а в диапазоне двух-трёх дней работают графикователи (тактический уровень) – они разбирают заказы на серии работ, чтобы оптимизировать производство.
Читать дальше →

How to Set Up Your Own VPN Server in 15 Minutes

Время на прочтение3 мин
Охват и читатели74K

If you use Habr, chances are, you’re conscious about privacy on the web. As governments and corporations tighten their grip on people’s online activities, the issue of keeping your browsing data to yourself becomes more and more relevant.


Numerous tech websites say VPN is no longer a geek-only thing, and regular people should use it, too (Fast Company, Mashable, PCMag). But as a tech-savvy person, you know there isn’t a service you can trust as much as the one you host and manage yourself.


With this post, you’ll deploy your own instance of Outline VPN on AWS.

Read more →

Установка Outline WiKi на Debian/Ubuntu с KeyCloak

Уровень сложностиПростой
Время на прочтение12 мин
Охват и читатели29K

Очередная статья про настройку Outline + KeyCloak. С одной стороны, статьи в сети есть. С другой стороны - начинаешь по ним делать и выплывают подводные камни, которые в статьях почему то не приведены. После полугода периодического мучения с установкой данного продукта решил собрать в кучу все мысли и приемы.

Первоисточник: Основной алгоритм был взят из статьи: https://wenkdth.org/posts/keycloak-outline-setup/.

Читать далее

Настраиваем двухступенчатый WireGuard для выхода из страны

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели102K

У Wireguard есть немало прекрасного, включая его простоту реализации, скорость и минималистичные клиенты, которые не вызывают проблем у пользователей.

В начале августа некоторые интернет операторы и провайдеры начали блокировку протокола WireGuard в РФ по его рукопожатию.

Лично испытывал блокировку у Мегафон и Теле2, но не заметил у Ростелеком. VPN по-прежнему работал через последнего.

Очень не хотелось отказываться от Wireguard в пользу прокси-серверов в духе VLESS+TLS-Vision, в виду того, что все наши пользователи уже сильно привыкли именно к Wireguard.
Поэтому вариант с кардинальной сменой клиентского софта не рассматривался.

Поскольку трафик Wireguard блокируется только на зарубежные адреса было принято решение добавить еще один хоп в систему, а начальное подключение осуществлять к серверу в РФ.

Читать далее

Бестолковые телеграм боты и статический адрес в Outline

Уровень сложностиПростой
Время на прочтение4 мин
Охват и читатели25K

Во времена блокировок некогда популярного VPN протокола Wireguard слава перешла к другому, еще более упрощенному по способу подключения через протокол Shadowsocks, многие из вас знаю о нем по приложению Outline.

Вот только многие из авторов надежных и доступных персональных vpn-сервисов быстро забывают о комфорте пользователя, ваши статичные ключи, привязанные к IP вашего сервера за 500р выглядят максимально безнадежно.

Очень грустно, что люди, готовые брать ответственность за ваш трафик - не готовы уделить время на чтение документации по генерации динамических ключей, с помощью которых, можно не затрагивая пользователей менять координаты хоть на каждый факт подключения.

Читать далее

Проксируем OpenVPN через Shadowsocks или чиним OpenVPN во время блокировок

Уровень сложностиПростой
Время на прочтение3 мин
Охват и читатели68K

В данной статье рассмотрим как настроить существующее подключение к OpenVPN серверу, которое могло или может перестать работать, через shadowsocks (Outline VPN) туннель на OpenWRT любых версий с помощью openvpn-openssl и shadowsocks-libev.

Понадобятся:

Существующий сервер OpenVPN и настроенный клиент на OpenWRT

Конфиг shadowsocks (Outline) вашего либо чужого сервера.

Свободные 650кб памяти в роутере

Читать далее

Заблокирован ли протокол OpenVPN? И как теперь быть?

Уровень сложностиПростой
Время на прочтение3 мин
Охват и читатели226K

Один мой знакомый держит свой OpenVPN сервер, он поделился со мной хронологией блокировки популярных VPN протоколов в России. С его разрешения, я публикую детальную информацию о том, как это происходило с точки зрения клиента и администратора OpenVPN.

Читать далее

Настраиваем клиент Outline на OpenWRT за 5 минут с помощью tun2socks

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели46K

Установка клиента Outline (shadowsocks) одним скриптом.

Понадобится любая версия OpenWRT (проверялось на 19.07, 21.02, 22.03 и 23.05-rc1) и установленные пакеты kmod-tun и ip-full, а так же настроенный сервер Outline (shadowsocks).

Рекомендую роутер не меньше чем с 128 Мб ОЗУ, будут показаны варианты установки в ПЗУ и ОЗУ.

Использоваться будет пакет xjasonlyu/tun2socks.

Читать далее

Shadowsocks-туннелирование корпоративного VPN

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели99K

Если у вашей компании имеются серверы, работающие за границей, и доступ для внутренних пользователей вы предоставляете посредством VPN-протоколов (достаточно типовая схема, особенно после Covid — 2019, когда удалённая работа стала особенно популярной), то настало время действовать на опережение. Конечно, применение административного ресурса, возможно, защитит ваши интересы от тотальных проблем в будущем, но лучше подстраховаться, чем в один прекрасный день получить 100500 сообщений от систем мониторинга о недоступности опекаемых клиентов. Статья демонстрирует, как скрыть от противодействия со стороны систем глубокого анализа трафика сервисы компании, доступ к бизнес-процессам которых обеспечивается посредством VPN, используя для этого туннели shadowsocks.
Читать дальше →

Виды презентаций для стартапа

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели11K

Когда я взялась делать первую презентацию для своего стартапа, мне казалось, что Pitch Deck — это все, что мне нужно. Но потом я начала изучать - что может еще пригодиться, и передо мной открылся огромный и чудный мир различных стартап-презентаций. Я понимала, что презентация — это не просто слайды с информацией, это целая стратегия, направленная на разные цели и разную аудиторию, от привлечения инвесторов до поиска команды, от продажи продукта до получения грантов, где каждая цель требует своего подхода, но даже не догадывалась как много придется еще сделать.

В этой статье я попробовала коротко описать разнообразие типов презентаций, которые каждому стартапу стоит иметь в своем арсенале и расписать список слайдов по каждой.

Читать далее

Мой опыт перевода Grafana под управление Terraform или что делать если надоело тыкать на кнопки в GUI

Уровень сложностиСредний
Время на прочтение21 мин
Охват и читатели11K

Вам сказали развернуть систему мониторинга, вы выбрали связку Prometheus + Grafana. Развернули Grafana на своих серверах (VM/Docker/Kubernetes) и подключили Data Source Prometheus (а возможно вам еще сказали развернуть логирование и вы используете Grafana Loki) и далее по гайдам из ютуба начали создавать свои дашборды и настраивать алерты.

Все работает идеально, но в один момент вы начинаете думать о том, чтобы хранить созданные сущности Grafana в коде, чтобы их можно было легко восстановить в случае потери данных или же развернуть при создании новой среды (dev/prod). Экспортировать дашборды не составит труда, это можно сделать и через GUI, но как же источники данных, политики уведомлении, contact points и сами алерты?

Знакомая история? Возможно, что нет. А у меня да!

Читать далее

Машинное обучение для прогнозирования выхода из строя дизельных двигателей

Время на прочтение9 мин
Охват и читатели7.6K

Привет, Хабр! Меня зовут Владимир Лебедев, я руковожу группой разработки департамента горнодобывающих решений компании «Рексофт». В предыдущей статье я рассказывал о задачах в области использования машинного зрения для контроля горной техники, которые решает наша команда.

Сегодня расскажу про ещё одно перспективное направление нашей работы для автоматизации добывающих предприятий, да и вообще промышленности. А именно — как машинное обучение может помочь предсказать момент выхода из строя двигателя на примере карьерного самосвала.

На Хабре уже есть материалы о системах предиктивной диагностики и прогнозирования отказов оборудования в промышленности. В своем материале я в деталях расскажу о бизнес‑контексте их использования в горной отрасли, о подходах к сбору данных и их анализу. И постараюсь ответить на вопрос «как именно инструменты искусственного интеллекта могут предсказать выход из строя двигателя?»

Те, кто знаком со спецификой горнодобывающей отрасли, знают, что в карьере используется множество самосвалов. Условия их эксплуатации достаточно тяжёлые. Техника эта дорогая, поэтому, когда самосвал стоит в ремонте, предприятие несет убытки. Особенно большие убытки возникают, если внезапно в процессе работы отказала силовая установка.

Читать далее

Снятие с воинского учета. Дистанционно. Пакет документов

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели66K

По состоянию на лето 2023, в военных комиссариатах разных регионов и даже районов одного города требования к пакету документов отличаются, запись через Госуслуги может не гарантировать прием, а без личного присутствия заявителя могут вообще не захотеть общаться. Информация ниже не является полным гайдом по снятию с учета, это шаблоны документов + рекомендации из практики.

Если вкратце, то рабочий кейс, это когда: (А) имеется основание для снятия: уже живете зарубежом полгода, либо имеется иностранный ВНЖ, (B) грамотно составлено заявление на снятие с учета и подписано вашей подписью, (C) в военкомат идет ваш представитель по доверенности, которая оформлена у российского нотариуса или в зарубежном консульстве РФ.

Ниже пояснения и документы. Делайте все красиво, грамотно, и тогда результат будет ?

Читать далее

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность

Специализация

Директор по продукту, Директор по информационным технологиям
Управление проектами
Управление людьми
Ведение переговоров
Организация бизнес-процессов
Автоматизация процессов
Управление компанией
Управление бизнес-процессами