В этой статье мы опишем наш опыт работы с очень большой системой управления проектами, реализованной на SP, с какими ограничениями мы столкнулись и как добились похудения данной ИС.
Павел @paffnutiy79
Системный Инженер
Как мы оцифровывали каждый шаг производства, чтобы завод точно знал, что, как и когда делать
6 min
Подручный сталевара берёт пробу химсостава металла на установке печь-ковш
Привет с Новолипецкого металлургического комбината! В крупном проекте самое ценное — данные. В нашем случае — технологические карты производства и параметры всех изделий и агрегатов: как и что мы делаем, на чём, как долго, и какие параметры каким образом влияют на результат.
Производство — живая система: возникают новые процессы, изменяются существующие, перестраиваются агрегаты, меняется код. Мы построили процесс так, что, когда что-то начинает производиться, все актуальные данные уже есть в системе. Код и данные не отстают, не опережают, а идут рука об руку.
У нас есть два гипермозга:
- Календарное планирование играет в оптимизацию на стороне клиентов. Оно знает, что нужно производить и когда, чтобы отгрузить заказы максимально оперативно и вовремя.
- Графикователи же пытаются из этих условий собрать оптимальную загрузку оборудования и, возможно, произвести ещё что-то, что можно присоединить к имеющимся сериям. Они отвечают за максимальную эффективность производства в коротком горизонте.
Обе системы используют огромный модуль маршрутизации технологических процессов. Там хранятся все возможные маршруты всей продукции, технология производства по агрегатам — в общем, путь со всеми переделами, который проделывает металл от входа в сталеплавильное производство до попадания в вагон, который поедет к заказчику. Для этого модуля нам пришлось собрать все данные о производстве, привести их к единому виду, установить общие протоколы обмена данными и договориться со всеми-всеми, что они будут вводить, хранить и использовать данные именно так, как в них указано.
Оцифровка завода из бумажного вида заняла год. Пришлось многое переформатировать, чтобы оно уложилось в понятную логику таблиц и данных. Это было основным и очень трудным челленджем, который вырос в непрерывный процесс и продолжается до сих пор.
Интерфейсы для производств — это не сайты штамповать
Easy
8 min
Стоит только коснуться производственной специфики, как стандартные подходы разваливаются на куски — даже если у вас уже есть огромная дизайн-система на основе популярной методологии Material Design. Я — Аня Труфанова, делаю дизайн для MES (manufacturing execution system). Нам пришлось взять дизайн-систему и наполнить ее уникальными фичами и кастомными компонентами, адаптированными под нестандартные условия. Сейчас я поделюсь, что именно мы переосмыслили и какие фичи добавили.
Учимся жить с Kafka без Zookeeper
13 min
При всех достоинствах Kafka как распределенного хранилища потока сообщений, боль вызывало раздельное хранение метаданных (топологии разделов, конфигурации кластера и прочего) и необходимость запуска в кластере рядом с Kafka еще и Apache Zookeeper. Побочным эффектом такого соседства (кроме дополнительных забот об администрировании и мониторинге) является долгое время восстановления после сбоя при больших размерах кластера, значительном количестве разделов или сложной топологии групп. Но ситуация улучшается и отличная новость появилась полторы недели назад в KIP-833, что в ближайшей версии Kafka 3.3 новый протокол согласования метаданных (KRaft), работающий внутри Kafka без Zookeeper, будет признан Production-Ready и далее постепенно зависимость от Zookeeper будет помечена как deprecated и удалена. В этой статье мы поговорим об особенностях протокола KRaft и разберемся как настроить новый кластер Kafka без необходимости установки Zookeeper.
Основы репликации в Kafka
Easy
5 min
Привет, Хабр!
Репликация в Apache Kafka - это механизм, который обеспечивает доступность и надежность в обработке потоков данных. Она представляет собой процесс дублирования данных с одной части темы в другие, называемые репликами.
В этой статье рассмотрим основы репликации в кафке.
Когда мы с МТС готовили опрос, нам хотелось узнать, насколько глубоко использование Big Data проникло в российские IT. В результате однозначного ответа нам получить не удалось: мнения сторонников и противников применения этой технологии поделились примерно поровну. Что ж, тем интереснее было анализировать ваши ответы. Под катом мы рассказываем, что в больших данных хорошо, а что можно сделать ещё лучше.
От Hadoop до Cassandra: 5 лучших инструментов для работы с Big Data
6 min
Translation
Перед вами перевод статьи из блога Seattle Data Guy. В ней авторы выделили 5 наиболее популярных ресурсов для обработки Big Data на текущий момент.
Сегодня любая компания, независимо от ее размера и местоположения, так или иначе имеет дело с данными. Использование информации в качестве ценного ресурса, в свою очередь, подразумевает применение специальных инструментов для анализа ключевых показателей деятельности компании. Спрос на аналитику растет пропорционально ее значимости, и уже сейчас можно определить мировые тенденции и перспективы в этом секторе. Согласно мнению International Data Corporation, в 2019 году рынок Big Data и аналитики готов перешагнуть порог в 189,1 миллиарда долларов.
Сегодня любая компания, независимо от ее размера и местоположения, так или иначе имеет дело с данными. Использование информации в качестве ценного ресурса, в свою очередь, подразумевает применение специальных инструментов для анализа ключевых показателей деятельности компании. Спрос на аналитику растет пропорционально ее значимости, и уже сейчас можно определить мировые тенденции и перспективы в этом секторе. Согласно мнению International Data Corporation, в 2019 году рынок Big Data и аналитики готов перешагнуть порог в 189,1 миллиарда долларов.
Reach Out Top Hadoop Consulting Companies To Leverage Big Data In 2020
7 min
Hadoop is divided into different modules, each of which delivers a distinct task crucial for a computer system and is uniquely designed for big data analytics. Apache Software Foundation developed this incredible platform. It is extensively utilized by worldwide developers to build big data Hadoop solutions amazingly and easily.
Big data offers several perks, some of them are; examining root causes of failures, recognizing the potential of data-driven marketing, improving and enhancing customer engagement, and much more. By offering multiple solutions in a single stream it helps in lowering the cost of the organization.
In various industries such as Retail, Manufacturing, Financial insurance, Education, Transportation, Agriculture, Healthcare, Energy, etc big data is utilized and that’s why it’s demand is expanding day by day. The Global Hadoop Market is envisioned to grow to $84.6 billion by 2021, with an expected CAGR of 63.4%.
Шесть мифов о Big Data
7 min
Наталья Гараханова, директор по маркетингу в агентстве Black Engine и аспирант курса «Управление продуктом», развенчивает мифы в области Big Data.
Big Data в последнее время стали трендом. Но что это такое, понятно не всем.
Многие думают, что большие данные — это либо просто огромный массив данных, либо простой и дешевый способ их хранения.
Большие данные вовсе не предмет, а совокупность подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов. Это технологии, которые помогают решать важные задачи для бизнеса и науки. Из-за непонимания сути технологии возникли мифы, которые я попыталась развенчать в этой статье.
Big Data в последнее время стали трендом. Но что это такое, понятно не всем.
Многие думают, что большие данные — это либо просто огромный массив данных, либо простой и дешевый способ их хранения.
Большие данные вовсе не предмет, а совокупность подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов. Это технологии, которые помогают решать важные задачи для бизнеса и науки. Из-за непонимания сути технологии возникли мифы, которые я попыталась развенчать в этой статье.
Отладка Makefile /часть 2/
6 min
Translation
Методы отладки
В этой части поговорим об общих методах и проблемах отладки. В конечном итоге, отладка — это солянка из всего, что работает в данной конкретной ситуации. Эти методы работают для меня и мне приходится полагаться на них даже в случае проблем с простейшими makefile. Может быть, они помогут и тебе тоже.
Экспресс-исследование корпоративных коммуникаций в России 2023
6 min
Analytics
Результаты опроса 500 верифицированных специалистов, которые внедряют и обслуживают системы видеосвязи и корпоративные мессенджеры. География: 13 городов России.
Как моделируют эпидемии. Разбираемся на примере вируса гриппа
8 min
Антон Долгих, руководитель отдела AI, Healthcare and Life Sciences в компании DataArt
В 2020 году мир как будто забыл о сезонном гриппе благодаря пандемии коронавируса. Однако грипп никуда не делся. Некоторые эпидемиологи ожидают вспышку заболеваемости уже в сезоне 2021–2022. Грипп может проявиться агрессивнее, потому что наша иммунная система, привыкшая к ежегодной эпидемии, ослабила хватку. При этом, говорят эксперты, из-за дефицита информации в сезоне 2020–2021 труднее спрогнозировать ситуацию и определить, какие штаммы будут распространяться.
Действительно ли так сложно прогнозировать эпидемию? Ведь мы с гриппом сосуществуем не одно десятилетие, в отличие от COVID-19 и, должно быть, все о нем знаем. Предлагаю разобраться — с минимумом уравнений, без которых никуда, и сложных терминов.
От чего зависит цена оперативной памяти: отличия дорогой и дешевой RAM
Easy
6 min
Opinion
Оперативная память, хоть и является одним из наиболее унифицированных видов комплектующих для ПК, в отличие от, скажем, процессоров или видеокарт, все-таки довольно разнообразна. Даже если брать в расчет только планки одного форм-фактора, можно удивиться (кончено, если вы — не профессионал в сфере сборки ПК), насколько сильно они могут отличаться друг от друга по цене. Для этого им совершенно необязательно иметь разный объем. В этой статье мы поговорим о том, почему стоимость планок памяти может отличаться в разы, а также обсудим, насколько вам вообще нужна (или не нужна) более дорогая память.
Превращая всех в супергероев. Экзоскелеты в медицине, в быту и на войне
5 min
Экзоскелет — атрибут многих уважаемых компьютерных игр и научно-фантастических картин, причем настолько привычный, что его обычно не замечаешь.
Между тем, живьем такие штуки встречаются редко, но это пока: многие компании старательно воплощают носимые роботизированные костюмы в реальность. Выбрали пять самых примечательных.
Набор гика в дорогу
4 min
Мы часто путешествуем, как в поиске новых гаджетов по долгу службы, так и просто катаемся по миру и ищем приключения. За это время у нас накопился опыт, которым мы хотим поделиться в подборке гаджетов и аксессуаров, проверенных временем и командой Madrobots.
Как стать VPN провайдером за один вечер
Medium
13 min
Tutorial
Рассказываю о своём опыте использования Xray (с протоколом VLESS-Reality) - одного из лучших решений для преодоления интернет-цензуры на сегодняшний день. Я потратил много времени на то, чтобы разобраться с ним - теперь вам достаточно одного вечера, чтобы поднять свой сервер на несколько десятков пользователей, c xray на борту!
• скрипт ex.sh для простой настройки и установки; есть поддержка Docker
• легко добавлять пользователей; клиентские конфиги в форме url-ссылок
• правильные конфиги: скрытность + удобство
• трафик популярных российских сайтов идёт напрямую, a не через сервер
• для xray есть приложения под все популярные ОС - делюсь инструкциями
• только https, нет udp; торренты через сервер блокируются по возможности
• мой проект на гитхабе: easy-xray
От астролябии до MIMO: как необходимость определять местоположение привела к развитию систем спутниковой и сотовой связи
15 min
С древних времен людям было важно определять свое местоположение в пространстве, чтобы проложить маршрут до цели или просто вернуться домой. В современном мире мы уже не ориентируемся по солнцу и звездам, чтобы понять, где находимся мы или целевой объект. Просто достаем смартфон и получаем всю необходимую информацию: где курьер с едой, далеко ли заказанное такси, сколько времени пробираться сквозь пробки на работу и каков оптимальный путь.
Все это было бы невозможно без эволюции технологий, систем спутниковой и сотовой связи, а также методов, которые вычисляют местоположение мобильных объектов. О них и поговорим под катом. Я Надежда Никулина, ведущий системный аналитик в телеком-команде YADRO. Давно работаю в сфере телекоммуникаций, участвовала в развитии сетей 2G и 3G в России, обеспечивала разработку узлов связи. В статье расскажу, как развивались методы определения позиционирования объектов и почему будущее за гибридными методами и технологиями 5G.
Сам себе мобильный интернет. Запускаем базовую станцию стандарта 4G LTE
Hard
13 min
Tutorial
Приветствую всех!
Я уже не раз рассказывал про то, как в домашних условиях поднять сотовые сети разных стандартов. Но всё же все они были уже весьма древними. Самое время замахнуться на кое-что поинтереснее — LTE.
Итак, в сегодняшней статье поговорим о том, что детально в нашем сообществе не описывал практически никто — о том, как запустить базовую станцию самого нового из поддерживаемых большинством телефонов этой страны стандартов. Поговорим об особенностях её работы и о трудностях, с которыми, возможно, придётся столкнуться при запуске. Традиционно будет много интересного.
Я уже не раз рассказывал про то, как в домашних условиях поднять сотовые сети разных стандартов. Но всё же все они были уже весьма древними. Самое время замахнуться на кое-что поинтереснее — LTE.
Итак, в сегодняшней статье поговорим о том, что детально в нашем сообществе не описывал практически никто — о том, как запустить базовую станцию самого нового из поддерживаемых большинством телефонов этой страны стандартов. Поговорим об особенностях её работы и о трудностях, с которыми, возможно, придётся столкнуться при запуске. Традиционно будет много интересного.
Как запустить собственную GSM-сеть за пять минут при помощи SDR
Hard
10 min
Tutorial
Приветствую всех!
Давным-давно я уже рассказывал про то, как в домашних условиях поднять GSM-сеть при помощи комплектующих, доступных любому школьнику. И в той статье я мельком упомянул, что идеальным в плане производительности вариантом будет запускать сети при помощи SDR, а не телефонов.
Итак, в сегодняшней статье поговорим о том, как быть владельцам SDR, желающим запустить свою GSM-сеть. Узнаем, какой софт нужен, чтобы заставить её работать в прямом смысле слова за пять минут. Попутно запустим GPRS и ненадолго побываем в 2007 году. Традиционно будет много интересного.
Давным-давно я уже рассказывал про то, как в домашних условиях поднять GSM-сеть при помощи комплектующих, доступных любому школьнику. И в той статье я мельком упомянул, что идеальным в плане производительности вариантом будет запускать сети при помощи SDR, а не телефонов.
Итак, в сегодняшней статье поговорим о том, как быть владельцам SDR, желающим запустить свою GSM-сеть. Узнаем, какой софт нужен, чтобы заставить её работать в прямом смысле слова за пять минут. Попутно запустим GPRS и ненадолго побываем в 2007 году. Традиционно будет много интересного.
Передача данных по радиоканалу
4 min
Case
Идея для этой статьи зародилась, когда мы проводили анализ защищенности в удаленном районе в условиях отсутствия Интернета и любых средств связи. У нас были только рации, через которые мы переговаривались. Но нам также нужно было удаленно обмениваться небольшими файлами. Так у нас появилась идея проверить, возможно ли передавать информацию с одного ноутбука на второй, используя рации.
Важно! Здесь не будет информации о юридических особенностях использования радиосвязи, а также о частотах, мощности передачи, позывных и т. п. Применение радиосвязи имеет ограничения и регулируется Федеральным законом N 126-ФЗ «О связи».