Каждая команда разработчиков сталкивается с тем, что в ней появляется кто-то молодой и неопытный. Это естественно. Компания рассчитывает, что новый сотрудник как можно быстрее начнет оправдывать вложения, но по факту это прежде всего зависит от действий остальной команды. Далее в посте мы дадим ряд советов, чтобы этот этап завершился как можно быстрее и эффективнее.
Одно, чтоб править всеми: как мы сделали хаб для сопровождения СУБД
Работа в СУБД — это множество разноплановых задач: создание новых продуктов, плановые обновления, работа с инцидентами. По мере цифровизации компании количество таких задач растёт, очередь запросов наполняется. Всё больше времени уходит не на решения, а на подготовку — сбор данных, аналитику и прочие «ветряные мельницы». Разрешить эту проблему помогают графические инструменты управления базами данных.
Меня зовут Иван Пушкарь, и вместе с командой я разрабатываю один из таких инструментов — Platform V Kintsugi. В этой статье расскажу, как появились первые платформы и оркестраторы для работы с СУБД, что сейчас есть для управления PostgreSQL и как мы решили создать собственный инструмент, который стал бы кольцом Всевластья для множества баз данных Сбера.
Роботы–доставщики и беспилотные фуры: как трансформируется логистика
Тягачи для перевозки грузов, выполняющие работу без участия человека становятся повседневной реальностью. Машины автоконцерна КамАз и СберАвтоТеха успели перевезти более 12 тыс тонн товаров, пройдя 600+ тыс км. Эксперимент начат в июле 2023 года. Ретейлер «Магнит» также присоединился к программе — в его активе ~3,5 тыс тонн перевезённых грузов. Компания X5 выполнила 245 рейсов, на счету логистического оператора ПЭК 160 перевозок разной продукции от одежды до автозапчастей. По результатам будет дана оценка экономической эффективности технологии.
Пока оживление замечено только на трассе Москва–Петербург. Для страховки в грузовиках были водители. В ближайшем будущем полезную практику масштабируют по всей России уже без человека в кабине. Расскажем, чего можно ожидать от логистики в самое ближайшее время.
История импортозамещения: от BluePrism к SaluteRPA
Привет, Хабр! Я Смолин Максим, разработчик и администратор баз данных в продуктах RPA BluePrism и SaluteRPA в Блоке Технологий Сбербанка, руководитель ИТ-направления. Мы с командой развиваем продукт SaluteRPA — роботизированная автоматизация процессов Сбербанка. Я расскажу, почему нас не устраивала платформа от зарубежного вендора, и почему мы решились на создание собственной платформы роботизации.
В 2017 году в банке начали использовать систему RPA BluePrism. На этапе MVP всё было великолепно, но потом началось много вопросов. ЦПУ (центральное процессорное устройство) сервера БД зашкаливали за 95 %, процессы тормозили и не успевали отрабатывать в нужное время, инциденты сыпались как из рога изобилия. С этого момента началась наша работа по превращению софта, рассчитанного на малый бизнес, в софт уровня предприятия с тысячами роботов. В итоге она привела к написанию собственного продукта SaluteRPA.
Архитектура RPA BluePrism достаточно проработана. Но вот реализация на уровне БД имела много замечаний с нашей стороны. Что-то мы отправляли на переделку вендору, что-то дорабатывали сами, а что-то смогли реализовать только в своём продукте.
Забегая вперёд, скажу, что внедренные нами изменения позволили преодолеть ограничение RPA BluePrism в 100 роботов на одну БД и уверенно держать нагрузку до 500 роботов на одну БД.
Конвертация в один клик! Как перенести код из Teradata в GreenPlum без лишних затрат и усилий
Привет, Хабр! Миграция баз данных из одной СУБД в другую представляет собой особо сложную задачу, требующую тщательного планирования, подготовки и исполнения. В 2023 году в Сбербанке завершился масштабный проект по миграции крупного аналитического хранилища данных с платформы Teradata на GreenPlum. Особое внимание уделялось таким направлениям, как:
Повышенная трудоёмкость ручного переписывания SQL‑скриптов из‑за разницы в диалекте и специфических встроенных функций Teradata.
• Перенос архива данных из Teradata, объемом более 400 Тб.
• Кросс‑платформенная проверка качества данных в ходе и после завершения миграции.
Этой статьёй мы открываем небольшую серию, посвящённую технологическим решениям вышеупомянутых сложностей. И начнём с рассмотрения сервиса миграции кода из Teradata в GreenPlum, который автоматизирует и упрощает конвертацию сложных запросов.
Путь от монолита к разделению Compute и Storage: пример поиска «хранилища мечты» для большой аналитической платформы
Для запуска и эксплуатации высоконагруженных ИТ-решений с петабайтами данных в активе, нужно проработанное решение, позволяющее гибко управлять ресурсами. Одним из критичных аспектов этого решения, является разделение Compute & Storage — разделение ресурсов инфраструктуры под вычисление и хранение соответственно. Если не реализовать такое разделение в крупном проекте, инфраструктура рискует превратиться в «чемодан без ручки» — эффективность использования ресурсов будет низкой, а сложность управления ресурсами и средами будет высока. На примере команды SberData и их корпоративной аналитической платформы я расскажу, когда требуется разделение Compute & Storage и как это реализовать максимально нативно.
Статья подготовлена по мотивам доклада на VK Data Meetup «Как разделить Compute & Storage в Hadoop и не утонуть в лавине миграций».
Эпоха цифровых двойников: как виртуальные модели выводят промышленность на новый уровень
Мы обратили внимание, что за последние два года новости о цифровых двойниках стали выходить чаще. Причина понятна: в 2022-ом случился прорыв в изучении и внедрении искусственного интеллекта (ChatGPT и Midjourney), который сильно «взбодрил» сферу. Технологии применяют, чтобы предсказать приток посетителей в гостинице, удаленно отремонтировать автомобиль или выяснить, что будет с небоскребом под внешними агрессивными факторами. Рассмотрим подробнее, как виртуальное моделирование помогает оптимизировать все производственные процессы и не только.
Обзор релиза Apache Ignite 2.16.0
Apache Ignite — это высокопроизводительная распределенная база данных с открытым исходным кодом, предназначенная для хранения и распределенной обработки больших объемов данных в кластере узлов. В СберТехе есть команда, которая занимается ее развитием. Мы создали Platform V DataGrid — продукт, основанный на Apache Ignite, с enterprise‑функциональностью.
Я был релиз-менеджером Apache Ignite 2.16.0, вышедшей 25 декабря 2023 года, спустя полгода от предыдущего релиза. Хочу ознакомить с основными разработками этой версии:
Учим большие языковые модели описывать продукты данных
Привет, Хабр! В этой статье мы рассмотрим использование больших языковых моделей на этапе подготовки описания продуктов данных для дальнейшего использования в аналитике. Это может улучшить автоматизацию процесса, предоставляя инструмент для создания описаний продуктов.
Как Сбербанк Онлайн готовится к пиковым нагрузкам
Какие проблемы появляются при переходе из монолитной архитектуры к микросервисной? Как с ними справляться в пиковые нагрузки? Ответим на эти вопросы на примере Сбербанк Онлайн.
Меня зовут Артём Арюткин, я руковожу проектным офисом в Сбере. Весь мой профессиональный опыт завязан на то, чтобы сделать Сбербанк Онлайн надёжнее. Расскажу про основные принципы отказоустойчивой архитектуры и весь путь эволюции Сбербанк Онлайн.
Конец программирования, как мы его знаем, или Что нас ждёт с LLM
«Большие языковые модели и конец программирования». Под таким заголовком в прошлом году прошла серия лекций доктора Уэлша, профессора информатики в Гарварде. В этом посте мы раскроем основные тезисы выступления, и в заключение попробуем взглянуть на будущее так же воодушевлённо, как автор.
Фича-пати и что в ней важнее: фича или пати?
Привет, Хабр! Мы — ИТ-команда департамента Блока «Сеть продаж», отвечаем за физическую сеть Сбера: банковские отделения, банкоматы, работу выездных сотрудников и многое другое. Поделимся опытом внутренних мероприятий, нацеленных на развитие сообществ, вовлечённость сотрудников и обмен опытом.
SETI@Home, или Как миллионы людей искали следы внеземного разума
SETI@Home — краудсорсинг-проект для обработки данных радиотелескопов, запущенный в 1999 году, и первый масштабный проект в сфере распределенных вычислений в принципе. В этом посте мы подробней расскажем предысторию проекта, в котором на протяжении более 20 лет в разное время были задействованы несколько миллионов пользователей по всему миру. А кого-то даже увольняли за «использование рабочих компьютеров в личных целях» — и это ещё до бума майнинга.
Целое море микропластика: он повсюду — в воде, еде и нас самих
Мы — то, что мы едим. Если это утверждение верно, то как изменился наш мир, учитывая последние исследования? Ученые предоставили убедительные доказательства того, как нанопластик и микропластик проникает в нашу кровеносную систему, кишечник и другие органы. Результаты новейших работ специалистов вызывают тревогу не только у ученых. Беспокоиться могут и те из нас, кто старается вести здоровый образ жизни.
Энергетика будущего: как прогрессирует сфера альтернативных источников энергии
В России созданием новых видов топлива занимаются множество исследовательских центров. Например, ТПУ при поддержке федеральной программы «Приоритет 2030» развивает стратегический проект «Энергия будущего», направленный на дополнительное образование студентов и школьников. Среди других центров — Кузбасский государственный технический университет имени Горбачева, Самарский университет имени Королева, Казанский федеральный университет, Тюменский государственный университет. У всех единые цели: тестирование перспективных технологий, обучение кадров, поиск принципиально новых видов топлива. Сегодня мы подробнее рассмотрим сферу альтернативных источников энергии и попробуем спрогнозировать будущее энергетики.
Разговариваем с BI на естественном языке
Всем привет! Искусственный интеллект уже научился писать простые запросы к базам данных, но можно ли совсем избавиться от кода в работе аналитиков? Мы расскажем про наши нейросетевые эксперименты, в которых мы научили BI-систему слушать, понимать и отрабатывать запросы аналитиков на естественном языке.
В команде R&D SberData мы ищем и разрабатываем технологии обработки, хранения и анализа данных Сбера. Мы исследуем все перспективные технологии, которые появляются на рынке, разрабатываем новые продукты, которые использует Сбер и его партнёры. Одно из приоритетных направлений для нас — это анализ данных. В Сбере более 100 тысяч пользователей BI (Business Intelligence). Естественно, что у такого количества аналитиков самые разные потребности и требования к сервису и продукту. И возможность сделать их работу проще и удобнее — это большой вызов и интересная задача для нашей команды. В этот раз мы пробовали научить LLM-модель написать правильный SQL-код по запросу на естественном языке.
От дощечки к компьютеру. Путь от ткачества к ЭВМ
Привет, Хабр! Меня зовут Арина Шахтарина, я — инженер в Сбере, а ещё занимаюсь ткачеством. Сегодня поговорим о том, откуда появились первые компьютеры и разберём одну из версий — путь от ткачества к ЭВМ.
Кажется, что компьютеры начали разрабатывать совсем недавно, лет 50-70 назад. Но на самом деле предпосылки к этому были очень давно.
Подводные дата-центры и хранение информации в QR-кодах: новшества индустрии ЦОД
По данным TAdviser, в России зафиксирован небывалый «бум» строительства ЦОДов. Схожая картина наблюдается и в остальных странах: по итогам 2022 года общий объем данных в мире составил 97 зеттабайт, в 2023 году — 110-120 зеттабайт, а к 2025 году — прогноз вплоть до 180-ти. Всю эту информацию нужно где-то обрабатывать и хранить — потребность в дата-центрах растет ежемесячно. По данным «Коммерсанта», спрос на услуги дата-центров в значительной степени превышает предложение. Именно поэтому на сферу направлено сейчас пристальное внимание, а где внимание, там и высокие технологии.
VR, комбайны–роботы и дроны: как инновации спасают сельское хозяйство
Передовые технологии и сельское хозяйство — ещё недавно такая связка выглядела футуристично, но сегодня российские и мировые аграрии уверенно используют новейшие достижения для круглогодичного выращивания культур, получения зимостойких и неприхотливых сортов с высокой урожайностью, улучшения структуры почвы, методов полива и внесения удобрений. Расскажем, как дроны, роботизированные аппараты, круглосуточное отслеживание химического состава почвы и другие новации помогают снизить затраты на продукцию и обеспечить её высокое качество.
5 самых крутых мониторов, показанных на техновыставке CES 2024: чем смогли удивить производители
Крупнейшая технологическая выставка CES, как всегда, удивляет разнообразием самых разных гаджетов, систем и приспособлений. Компании стараются удивить как обычных пользователей, так и потенциальных бизнес‑партнеров своими продуктами. Сегодня поговорим о мониторах — как оказалось, здесь у разных компаний тоже есть, что показать. Под катом — самое интересное.
Информация
- Сайт
- www.sber.ru
- Дата регистрации
- Дата основания
- Численность
- свыше 10 000 человек
- Местоположение
- Россия