ATOM: автоматизация сети ЦОД начинается с решения рутинных задач

Всем привет! Это наша первая статья про нашу систему автоматизации. Мы активно занимаемся разработкой системой автоматизации и визуализации АТОМ для сетей ЦОД в компании Ростелеком, о которой пойдёт речь.

В статье я расскажу о практических кейсах и сложностях, возникающих (и возникавших) в процессе миграции данных между СУБД (Oracle -> Postgres), а также о собственном инструменте миграции данных, который вы также можете попробовать.

Представьте: Один неоптимизированный запрос от неопытного коллеги - и вот уже 40 ТБ SPILL-файлов парализуют систему.

Срабатывает лимит на уровне Greenplum, запрос завершён. Никто ничего не знает.

Создаются заявки, пишутся письма, пользователь недоволен.

Это не какая-то выдуманная история, а обычный будний день в большом Greenplum. Вернее, так было раньше.

Привет, Хабр! Эта история началась не со стратегической сессии и не с приказа сверху. Она началась с того, что в 2023 году наши разработчики, как и многие в IT-сообществе, подхватили хайп вокруг LLM и начали в свободное время ковырять Llama 2 и другие модели. Все это происходило на личных и рабочих машинах, и довольно быстро стало понятно: для серьезных экспериментов мощностей не хватает.

Шаг 1. Искра: как низовая инициатива разожгла пламя. От любопытства к общему железу

Точкой невозврата стал момент, когда группа энтузиастов пошла к руководству с простой идеей: «Давайте купим в офис одну общую, но мощную видеокарту для всех». К нашему удивлению и радости, руководство идею поддержало и выделило бюджет. Это была не просто покупка GPU, а инвестиция в зарождающееся комьюнити.

Привет! Меня зовут Роман Ляшенко, и я лид команды RPA в Эксплуатации ИТ ПАО «Ростелеком».

От автоматизации к гиперавтоматизации

Абсолютно любой бизнес рано или поздно испытывает потребность в улучшении корпоративных процессов и повышении операционной эффективности. Оптимизация: как усовершенствовать качество и скорость работы, не привлекая дополнительных ресурсов? Этот вопрос постоянно волнует как крупные корпорации, так и представителей средних и малых структур. Способов его решения огромное количество. Выбирая среди множества, «Ростелеком» пошел путем развития RPA-процессов.

RPA (Robotic Process Automation) – те самые технологии, которые используют программных роботов, позволяющих автоматизировать повторяющиеся/ рутинные задачи в бизнесе. Это направление стремительно развивается из некогда «местечковых» решений до комплексных стратегий гиперавтоматизации. 

Впервые ЭВМ были использованы в бизнес-процессах в пятидесятые годы (UNIVAC, IBM 702). В те времена компьютеры выполняли простые задачи в бухгалтерии, складском учёте, статистике.  Сегодня же речь идет о сквозном подходе, который направлен на создание взаимосвязанной экосистемы автоматизированных процессов, включая внедрение ИИ-инструментов.

Больше, чем стандартные решения

Настройка прямых интеграций между системами — это долгая и дорогостоящая история, требующая дополнительных затрат на аналитику и разработку. В особенности это касается тяжеловесных legacy-систем, где доработка особенно трудоемка и болезненна, – иногда нет нужных специалистов, а переход на новые методики требует еще больших бюджетов и перестройки всех процессов. 

В версии ОС «Аврора» 5.2 наш браузер получает долгожданную поддержку Progressive Web Apps (PWA) - технологии, которая позволяет веб-приложениям выглядеть и работать как полноценные нативные приложения.

Казалось бы, в результате пользователь видит лишь простую иконку в общем списке приложений, но на деле реализация PWA требует тесной интеграции браузерного движка с самой операционной системой. Именно о технических подробностях этой интеграции, а также о внутреннем устройстве PWA в целом, я и хочу рассказать в этой статье.

Меня зовут Тимур Валеев, я руковожу командой, которая занимается развитием браузера для ОС «Аврора», и сегодня мы разберем, как это было реализовано.

"Что будет, если взять Канбан, смешать его с Гантом и весь этот соус вылить на релизную политику? Давайте разбирать на практике!"

Недавно прочитала утверждение Сергея Брина о том, что нейросети лучше работают, если их припугнуть. Стало любопытно, ведь звучит, как миф или сюжет триллера про искусственный интеллект. Но вдруг это действительно работает, раз уж такую идею озвучил сам сооснователь Google? И тогда мы с коллегами из Центра компетенций по проведению исследований, где я работаю аналитиком, решили проверить это на практике.

Всем привет! Меня зовут Алексей, и я работаю Java‑разработчиком с 2018 года. В статье расскажу, как столкнулся с проблемой обработки MultipartFile в многопоточном режиме. Почему эта проблема возникает и какие решения существуют.

Изначально стояла задача организовать фоновую обработку Excel-файлов: принимать файл, мгновенно возвращать клиенту HTTP-200 (без данных), а обработку содержимого выполнять асинхронно в отдельном потоке.

Вроде задачка тривиальная. Делаем контроллер:

В статье хочу поделиться кейсом, с которым столкнулся на одном из проектов. И расскажу о своем варианте его решения.

Стояла задача автоматизации регресса для сервиса миграции из системы Jira во внутреннюю систему «Яга».

Привет, Хабр! Меня зовут Вячеслав. В какой-то момент мне надоел произвол, творимый управляющей компанией в доме, где я живу. Вечная грязь, обшарпанные коридоры, отсутствие видеонаблюдения, эпопеи в случае аварий с отоплением, водоснабжением, электрикой. Я задался вопросом: “А можно ли в принципе как-то решать эти проблемы?”. Оказалось, можно! В статье расскажу, как я начал борьбу с управляющей компанией за комфортную жизнь. А начал я с самого сложного - организовал собрание собственников. Да, звучит страшно! Некоторые боятся даже думать о том, что их ждет, если они возьмутся за этот вопрос. Но не тот это черт, которого надо бояться, с ним надо просто разобраться! Вооружившись сильным желанием, энтузиазмом, законами и знаниями, я преодолел этот путь, а значит, и вы сможете. В статье расскажу, что вас ждет, если вы решите сменить управляющую компанию, какие подводные камни и неожиданные повороты могут встретиться на этом пути, как можно оптимизировать процесс и не потратить все свои нервы. А если останутся вопросы, с радостью отвечу на них.

Для того, чтобы быть максимально полезным читателю, я решил влить сюда немного теории (законодательства) и описать свой личный опыт.

1. Начало

Я живу в Санкт-Петербурге, в небольшом 14-ти этажном кирпичном доме 70-ых годов постройки. Дом в спокойном спальном районе с малоэтажной застройкой, вокруг много зелени, детских площадок, в соседних кварталах торговые центры, поликлиники, фитнес-центры.  В самом доме всего 97 квартир с удобными планировками, два лифта, мусоропровод. На площадке всего по 7 квартир, нет ощущения общежития. С соседями по этажу быстро сложились дружеские отношения.  Единственная проблема – плохая работа управляющей компании. Надоела вечная грязь в холле, в лифтах, на этажах, периодически забитый мусоропровод. На придомовой территории вечно разбросанный мусор. В случае аварий чаще всего проблемы приходится решать самим жителям (отопление, вода, электрика). О текущем ремонте вообще бесполезно говорить. Даже простейшие работы вроде замены перегоревшей лампочки и замены разбитого стекла выполняется в среднем за полгода.

Данная статья является пробой пера в желании поделиться личным опытом и наблюдениями по работе с искусственным интеллектом и его внедрению в современной компании. Она может быть интересна руководителям продукта, аналитикам, проектным менеджерам, да и просто всем тем, кто как и я интересуется технологиями ИИ и хочет глубже погрузиться в их потенциал.

Перед нашей командой встала задача сделать продукт управления данными удобнее, добавив алгоритмы искусственного интеллекта. Но какое решение выбрать? Какой процесс нуждался в автоматизации больше всего? С какими ограничениями и сложностями мы столкнулись? Какой бизнес-эффект мы получили в результате? На эти вопросы ответит статья.

Искусство общения с респондентами: «вредные» и практические советы.

В современном мире исследования стали неотъемлемой частью принятия решений — от выбора фильма на вечер до разработки инновационных технологий. Но что делает их по-настоящему ценными? Конечно, люди, которые делятся своим опытом — респонденты.  В этой статье я поделюсь опытом общения с разными участниками исследований, а также дам практические советы, как сделать интервью максимально эффективным. 

Меня зовут Рустам Галимов, я начальник отдела эксплуатации средств защиты информации (СЗИ). Моя команда занимается поддержанием, развитием и эксплуатацией СЗИ, и участвует в разнообразных проектах по внедрению этих самых СЗИ внутри компании. Кроме того, у нас проходят сессии планирования целей на следующий год, и иногда возникает внезапная необходимость включиться в какое-либо очень важное мероприятие.

Таким образом у нас множество источников, откуда может материализоваться очередная задача, с разными категориями важности и срочности, при этом определёнными по неизвестным нам критериям. Когда задач с высоким приоритетом стало больше половины, я изобрёл велосипед разработав фреймворк для оценки важности задачи. Который, на мой взгляд, подойдёт и такому же начальнику отдела, и простому специалисту для определения приоритетности задач, и даже студенту или школьнику для сортировки своих todo листов.

В статье я постараюсь раскрыть, почему не стоит пренебрегать оценкой приоритетов, расскажу, как это делать быстро и весело, и конечно же, поделюсь самим фреймворком.

Однажды мне пришлось испытать на себе последствия кибератаки. Компанию, в которой я работал, атаковал вирус-шифровальщик: в одно прекрасное утро все компы превратились в груду шлака (когда системные блоки — теперь просто шлакоблоки), файлы — в набор невообразимых «кракозябр», а вся проделанная работа и созданные за несколько лет рабочие документы накрылись медным тазом. Ощущения эти не из приятных, скажу я вам.

Меня зовут Алексей, почти всю свою трудовую карьеру я в телекоме (уже более 20 лет). Не технарь, мой профиль — коммерс и маркетолог. Моя задача — делать телеком‑услуги и продукты более доступными и удобными для людей и бизнеса. Сменив около года назад компанию, по роду деятельности пришлось столкнуться с продуктами информационной безопасности. Начав погружаться в тему, я столкнулся с вопросом, который вынес в заголовок статьи. Испытав на своей шкуре «прелести» быть хакнутым, я задумался о том, насколько серьезно к проблеме инфобеза относятся руководители и собственники бизнеса. В статье поделюсь с вами мнением людей из индустрии и порассуждаю о том, почему ИБ не так сильно заботит тех, кто, казалось бы, должен быть в этом кровно заинтересован. Лайфкахов и нового опыта не предложу — сорри. Поделюсь лишь своими мыслями и выводами. И кто готов высказаться и поделиться опытом — милости прошу!

Поздравляю, нас хакнули!

Итак, опускаю описания всех стадий принятия неизбежного, приведу сухой остаток — в результате атаки я и мои коллеги оказались отброшены в текущей работе примерно на 3–5 месяцев. Вместе с тем, не могу сказать, что для меня, работы моего подразделения и проекта, которым я занимался, это стало чем‑то непостижимо сложным. Также не могу судить и не знаю, каких финансовых потерь этот инцидент стоил компании. К чести самой компании работа всех основных информационных систем была восстановлена за 1–1,5 недели, работа клиентских сервисов была приостановлена на совсем короткое время и то, по‑моему, не повсеместно, а лишь частично. Да, конечно, IT‑подразделениям (и не только) пришлось вкалывать от зари до зари, всем остальным — восстанавливать рабочие файлы по заначкам и по памяти, последствия аукались еще около года. Но в целом, катастрофы не случилось (слава Богу!). Возможно, могло быть и хуже.

Привет, я бизнес‑аналитик Светлана Каразеева. Мой опыт работы в телекоме более 20 лет.

Я работаю бизнес‑аналитиком в компании «РТК ИТ Плюс», которая занимается развитием ИТ‑экосистемы «Лукоморье». Наша экосистема управляет бизнес‑процессами, а также проектной деятельностью. В нее входят no‑code решения, собственная ESMP‑система, система цикла разработки и управления проектами. Все продукты компании обогащены искусственным интеллектом.

В этой статье я хочу поделиться кейсом оптимизации каталога услуг, которая помогла Заказчику сэкономить значительную сумму при переходе на новую ITSM‑платформу — наш продукт ESMP. Покажу как важен этап сбора данных, разберу самые распространенные методы анализа и покажу, какой из них был применен в данном кейсе.

Всем привет! Меня зовут Макс, и уже 14 лет как я вошел в ИТ и пока не планирую отсюда выходить. Последние 7 лет я не только сам пишу код, но и занимаюсь «выпасом котов». К написанию статьи меня побудила моя любовь к ссылкам на методы и желание поделится «кастомными» способами их использовать вне базовых классов java. Если вы задумывались об усилении гибкости приложения и преимуществах AOP, но вас отпугивают его недостатки, в статье предлагаю рассмотреть вариант получения тех же (ну или почти тех же преимуществ), но без раздражающих (по крайней мере меня) недостатков. Для использования идей из статьи не требуется каких‑то особых магических знаний, достаточно знать, что такое функциональный интерфейс.

Всем привет! Меня зовут Алексей, и я работаю Java‑разработчиком с 2018 года. В свободное от работы время я три года разрабатывал свой pet‑проект. В статье расскажу, как трудился над этим проектом и почему в итоге всё бросил. А ещё поделюсь мнением о том, помогают ли pet‑проекты в поиске работы. Спойлер — не особо.Также эта статья может быть полезна тем, кто хочет написать свой первый pet‑проект, и тем, кто пилит свой проект слишком долго, но не знает, стоит ли его бросить.

Поиск идеи проекта

Было это в 2019 году, я тогда уже год работал Java‑разработчиком в аутсорс компании и решил сделать крутой проект в свободное от работы время, чтобы свои знания в Spring прокачать и, глядишь, стартап стрельнет он при трудоустройстве поможет.

Какую же идею выбрать? Хотелось прям что‑то одно сделать и потом этот проект развивать, а не делать кучу проектов‑«набросков».

Игры про автоматизацию затягивают с головой, если хоть раз прочувствовать их прелесть и красоту. Часами смотришь на бесконечные цепочки производств, продумываешь, как всё оптимизировать, а окружающие недоумевают, чем ты вообще занят.

Если вы бывали в этой ситуации, провели сотни часов в Factorio или Satisfactory, но не слышали о других представителях жанра — эта подборка для вас. А для тех, кто никогда не пробовал играть во что-то подобное или всегда избегал Factorio, считая её слишком громоздкой — это отличная возможность найти что-то по душе и открыть для себя новое увлечение.

Мы не только рассмотрим свежие игры в этом жанре, но ещё и проведём аналогии с разработкой ПО: обсудим, какие качества эти игры развивают и как на их примере учиться на ошибках. А также посмотрим на игры с открытым исходным кодом для тех, кто хочет углубиться в их внутреннее устройство.

Если вы только начинаете осваивать профессию, эти игры помогут вам понять преимущества и недостатки различных подходов на более простых аналогиях, а позже перенести этот опыт в реальную разработку. Например, необходимость масштабируемости, удобства хорошо настроенного CI/CD, или компромиссы, которые приходится принимать при использовании микросервисной архитектуры.