Привет, Хабр! Буквально недавно стали известны итоги открытого соревнования по машинному обучению Data Fusion Contest 2022. Это уже второе соревнование, причём более масштабное, чем первое. В конкурсе с общим призовым фондом 2 млн рублей приняли участие более тысячи человек. Участники соревновались не один и не два дня, битва умов продолжалась целых 3,5 месяца. За это время организаторы получили 6,5 тыс. решений.

Что нужно было делать участникам? Если кратко, то главная задача была такой: при помощи машинного обучения решить проблему сопоставления из двух совершенно разных массивов данных. Требовалось сопоставить данные клиентов из датасета с транзакциями клиентов ВТБ по банковским картам и данные кликстрима (информация о посещении web-страниц) клиентов Ростелекома. Нужно было установить соответствие между клиентами двух организаций. Оно устанавливалось, если два клиента из датасетов – один и тот же человек. Конечно же, данные были деперсонализированы, сохранялась лишь весьма ограниченная информация о самом поведении пользователей. Сопоставлять всё это обучали искусственный интеллект. Подробности – под катом. А ещё там будет ссылка на исходники крутой библиотеки для ИИ, которую использовали победители конкурса. Поехали!

Привет, Хабр!

Сегодня хотим обсудить «вечную» тему нынешнего века – эффективное и надёжное хранение данных. По исследованиям некоторых учёных, в год человечество генерирует данных больше, чем вся цивилизация с древнейших времён и до начала нашего столетия.

Куда нам столько и что делать с этой информацией? Кроме того, при таких объёмах встаёт вопрос не только хранения, но и извлечения данных. Поэтому мы решили вспомнить, какие способы для этого существуют и какой из них выбрать. Итак, начнём.

«Фанился на Фуре, прилетел на b тарить дезолятор, не хватало 150 монет, я решил ультануть дабы фастом нафармить голды. И вот я ультую и ловлю дабл килл))) Ваншотные  морф и магнус рипнулись».

Если вы поняли хотя бы половину этой фразы, значит, мир компьютерных игр не обошёл вас стороной. Возможно, вы провели не одну бессонную ночь за «Цивилизацией» Сида Мейера или вместо пар в университете зависали в компьютерных клубах своего города. Удивительное дело, многие люди не в состоянии вообразить свою жизнь без видеоигр, и если не играли в них сами, то заядлым геймером обязательно оказывался друг, сосед или одноклассник.

Бродилки, стрелялки, стратегии и квесты — кажется, будто они существовали всегда.  Но ещё 50 лет назад не было даже намёка на скорый расцвет гигантской индустрии видеоигр и киберспорта. И, может быть, новейшая история человечества повернула бы в другое русло, если бы ровно полвека назад в этот день компания Magnavox не представила первую в мире коммерческую домашнюю игровую приставку — Magnavox Odyssey.

Привет! Я Олег Зеленый, Scrum-мастер команды «Анализ финансов» и «Цели» внутри направления PFM в Сбере. В этой статье хочу поделиться основными практиками и лайфхаками, которые я вывел за 3 года работы в Сбере. Если вашей команде не хватает прозрачности и структуры рабочего процесса, эти советы могут помочь наладить его или если просто интересно узнать, как работает одна из продуктовых команд в Сбере, тогда тоже welcome.

Сначала давайте немного расскажу, что такое PFM. Personal Financial Management – персональное финансовое управление. Это не core-продукт, а целый набор решений, встроенных в СберБанк Онлайн, среди них: Анализ финансов, Цели, Бюджет, Автонакопления, Всего средств, Календарь выплат. Все сервисы направлены на упрощение пользовательского опыта в управлении финансами, автоматизацию рутины и на безболезненное обучение финансовой грамотности. Если захотите подробнее почитать об этом, то прошлом году мы уже писали про PFM, модель Дэвида Колба и финансовую грамотность трудоспособного населения России.

Переходя к основной теме, важно отметить, что многие считают Agile карго-культом и не верят, что он будет полезен. Я поделюсь с вами основными поинтами, которые помогли нам освоить многогранный Scrum, благодаря регулярной работе и включённости в том числе. В этой статье мы хотим рассказать о нашем опыте, надеемся, что он будет полезен и вам.

Всем привет!

В нашем блоге мы много рассказываем о финтехе, но Сбер сегодня — это уже не только банк. Это целая экосистема сервисов, которые помогают сделать повседневную жизнь удобнее. И поскольку одним из самых востребованных за последние годы стал вопрос заботы о своём самочувствии, мы решили рассказать о нашем сервисе СберЗдоровье. 

За 2021 год сервисом воспользовались почти 2 млн человек. А всего у нас более 15 млн клиентов. Как мы защищаем их данные и как уживаются в одной команде врачи и айтишники — читайте в этой статье.

Привет!

Сегодня с вами Максим Козлов, руководитель Sber AR/VR Lab.

Устраивайтесь поудобнее, зовите кота, включайте лампу — это будет длинная история. О цифровых двойниках, volumetric-съёмке и о том, чем это всё обернётся для нас уже в скором будущем.

Привет, Хабр!

Деплоймент приложений в мультикластерной среде Kubernetes — одна из самых актуальных тем. Подход позволяет расширить возможности для масштабирования сервисов, обеспечить локальность трафика за счёт географического расположения кластеров, добиться роста надёжности и отказоустойчивости развёртываемого решения, а также исключить риски взаимного влияния приложений в рамках одного кластера. 

Вместе с тем управлять жизненным циклом подобных федеративных приложений довольно сложно. Под катом я предлагаю рассмотреть ключевые задачи в рамках создания федеративных сервисов и построить референсную архитектуру мультикластерного деплоймента, которую можно имплементировать в разных облачных инфраструктурах.

Привет, Хабр! Продолжаем рассказывать, как быстро и просто создавать микросервисные приложения. В прошлой статье мы написали frontend с помощью Platform V DataSpace. В примере был использован TypeScript, но, как мы и говорили, это необязательное требование.

Теперь рассмотрим, как разрабатывать backend-приложения на языке Java с помощью сервиса Platform V Functions и инструмента DataSpace SDK.

Platform V Functions — это FaaS-решение, позволяющее загружать исходный код сервиса в виде функции в OpenShift/k8s без создания docker-образов и настройки окружения.

Но основное внимание в статье уделим даже не Functions, а DataSpace SDK. Это инструмент для удобного взаимодействия с DataSpace по протоколу JSON-RPC. По ходу статьи мы рассмотрим основные фичи, которые DataSpace SDK предоставляет Java-разработчику.

Привет, Хабр!

На связи Руслан Остропольский, Директор по производству ИТ в СберЗдоровье. Он расскажет, как команда сэкономила кучу времени и денег и добилась колоссального роста производительности благодаря грамотному подходу к автоматизации UI-тестов.

Микросервисы становятся стандартом для энтерпрайза. Это эффективный подход к построению архитектуры, но и у него есть свои минусы. Например, отсутствие функционала на старте проекта в сравнении с коробочными модульными версиями, сложности с отладкой и поддержанием целостности контура.

Меня зовут Виктор Бирюков, я главный руководитель IT-направления в СберТехе — компании, которая создаёт основные технологические решения для Сбера. В статье я расскажу, как с помощью PaaS-инструментов упростить и ускорить разработку микросервисов так, чтобы в конечном счёте на создание полноценного продукта у вас уходило не больше 15 минут.

У этой статьи будет продолжение. В этой части мы познакомимся с сервисом Platform V DataSpace и напишем frontend-приложение, используя DataSpace как сервис (Backend-as-a-Service3). Во второй статье разберём Platform V Functions, напишем backend-приложение как облачную функцию и разместим наше frontend-приложение также как функцию (Function-as-a-Services4).

Задавшись таким вопросом, новички гуглят рейтинги популярности языков. Кажется логичным, однако большинство исследований о популярности того или иного языка строятся на основе выдачи поисковиков, соцсетей, сайтов с вакансиями и крупных сообществ разработчиков. То есть туда попадает и Google Search, и Twitter, и Reddit — довольно «грязная» выборка.

Чтобы увидеть реальную картину, стоит подумать: почему тот или иной язык внезапно набирает популярность? Иногда причина частого упоминания в интернете не имеет отношения к востребованности языка. Так, например, в ежегодном рейтинге языков программирования Института инженеров электротехники и электроники (IEEE) за 2020 год язык COBOL неожиданно занял 7-е место по популярности в Twitter. А произошло это потому, что в апреле 2020 года в самый разгар пандемии COBOL часто мелькал в новостях Twitter, когда губернатор Нью-Джерси Фил Мёрфи объявил, что штат отчаянно нуждается в добровольцах, обладающих навыками работы с COBOL. Это объявление вызвало много удивления. Оказалось, что американская система страхования была перегружена из-за всплеска заявок на пособие по безработице, что привело к задержке в обработке дел, так как было недостаточно программистов, знакомых с языком из эпохи динозавров. Это и стало причиной частого упоминания, но сам язык не стал популярнее среди разработчиков.

Технологические прорывы часто случаются в результате совместной работы научного сообщества и бизнеса. Поэтому помимо хороших айтишников, мы приглашаем работать в Сбер учёных и инженеров. Они публикуются в научных журналах и проводят доклады на международных конференциях, которые мы решили собрать в сборник «Наука в Сбере-2021». Сегодня, в День российской науки, мы расскажем про этот сборник и сделаем мини-обзор некоторых статей. 

Так сложилось, что если мы пишем о людях, то почти всегда — о сделавших некий прорывной проект. Сегодня в определённом смысле не исключение. Мы расскажем о ребятах, которые реализовали крупные проекты в своей жизни — сменили сферу деятельности и пришли в IT через «Школу 21». Подробнее о ней написано здесь. 

Мы знаем, что нас читают люди, которые очень хотят, но пока не решаются изменить свою жизнь. Если вы ждали знак, может быть, это он?

На этот раз мы расскажем о событиях далекого прошлого.

А именно про Mundaneum – работающий бумажный интернет Поля Отле. 100 лет назад он уже обрабатывал 1500 поисковых запросов в год со всего мира. Это было за 55 лет до того, как Тед Нельсон представил гипертекст, за 79 лет до рождения Всемирной паутины и на 84 года раньше появления W3Catalog.

Прочитайте несколько принципов работы поисковой системы Поля Отле. Знакомо?

Книга – надёжный, но неудобный источник информации, поскольку требует длительного поиска ответа на конкретный вопрос.

Документы, содержащие ответы на вопросы пользователей, должны быть небольшими, удобного универсального формата.

Документы должны ссылаться друг на друга, раскрывая информацию и дополняя её.

Нужно индексировать разные источники. Не только книги и справочники, но и фотографии, прессу и даже открытки. Соответственно, в результатах поиска могут быть не только текстовые документы, но и медийные.

Запрос пользователя должен быть вначале обработан до универсального, в виде ключевых слов – а по ним уже должен идти поиск.

В соответствии с ними и работал Mundaneum. Это проект, опередивший своё время по всем фронтам – и морально, и технологически. Тем удивительнее, что это была не просто идея, а работающая система. Причём проект действовал с разной мощностью целых 29 лет – с 1910 по 1939-й.

Самое обидное, что его нельзя назвать дедушкой интернета и поисковых систем. Mundaneum был заброшен к началу Второй мировой войны, вскоре умер его создатель, а большинство идей не получили дальнейшей жизни и разрабатывались независимо от него другими учеными. Впрочем, обо всём – по порядку.

Новогодние праздники ― время для полезного контента. Если вы уже посмотрели второй сезон «Ведьмака», новую «Матрицу» или очередную часть «Человека-паука», мы можем предложить 10 документалок о технологиях, играх и людях, которые изменили этот мир. 

Добавляйте статью в избранное, смотрите фильмы по ссылкам и делитесь мнением в комментариях. Хороших праздников!

В декабре в отсветах полыхающих дедлайнов бывает трудно разглядеть то, что давало нам вдохновение и помогало двигаться вперёд весь этот год. А ещё труднее распознать вещи, которые могут стать прорывными и, скорее всего, будут иметь долгие позитивные последствия для развития технологий в будущем.

В этой статье мы собрали шесть самых важных, на наш взгляд, трендов, событий и технологий 2021 года в области финтеха, кибербезопасности, digital-маркетинга и других связанных сфер. Ко многим из них имеет отношение и Сбер. Конечно, это далеко не всё, что происходило и двигало нас вперёд. Если вам есть чем дополнить наш список, будем рады пообщаться в комментариях.

Итак, поехали.

Всем привет! Меня зовут Николай Когель, я главный инженер по разработке Управления технологий MIS Департамента ИТ-блока «Финансы» в Сбере.

Сейчас в Сбере существует несколько крупных систем, в которых происходит построение управленческой отчётности и расчёт финансового результата. Как правило, это предполагает обработку огромных массивов исторических данных нетривиальной структуры из различных систем, загружаемых в аналитическое хранилище данных. По этой причине хранилище данных строится на основе MPP-систем, а с недавнего времени в Сбере наряду с Teradata появилась альтернатива в виде GreenPlum.

С профессиями копирайтера и UX/UI-дизайнера сегодня уже знакомы все. Один отвечает за тексты, а другой за визуал, и всё это в конечном счёте сливается в понятный, красивый и удобный сервис. Правильно? Не совсем. В некоторых компаниях, в том числе и в Сбере, над текстами для интерфейсов работают отдельные специалисты – UX-редакторы.

В этой статье расскажем, что это за профессия, чем она отличается от похожих по названию, чем занимаются такие редакторы и что они должны знать и уметь.

Эта статья будет полезна:

• редакторам или копирайтерам, которые хотят развиваться в UX;

• дизайнерам, тестировщикам, разработчикам, словом, всем участникам проектных команд в IT, которые пилят приложения и сервисы;

• и просто всем, кто интересуется современными профессиями.

Ранее наши коллеги уже освещали вопрос необходимости Enterprise Service Mesh в компании. В этой статье мы хотим подробнее рассказать об интеллектуальных сервисах, которые позволяют облегчить жизнь администраторам, повысить надёжность систем и сделать их быстрее.

В настоящий момент наш продукт включает в себя следующие сервисы:

Predictive Colocator – размещает связанные между собой приложения на одинаковых нодах, уменьшает задержку при передаче данных;

Discovery R&L – находит начальные лимиты (limit) и реквесты (request) для любых приложений с целью их гарантированного старта при применяемой конфигурации;

Anomaly Detection – выявляет аномалии в работе элементов облачной инфраструктуры;

Predictive Autoscaler – определяет будущую нагрузку на приложения, заранее поднимает или опускает необходимое количество подов.

В рамках этой статьи кратко рассмотрим некоторые аспекты работы двух сервисов: Predictive Autoscaler и Anomaly Detection.

4 декабря 1948 года считается днём рождения информатики в России. Именно эта дата стоит в авторском свидетельстве № 10475 – патенте на изобретение Исаака Брука и Башира Рамеева. А изобретением этим была ЭВМ, или, если более точно, – АЦВМ («Автоматическая цифровая вычислительная машина»). Это название не прижилось, но изобретение дало старт разработке вычислительных машин в СССР и вызвало интерес к теме автоматизированной обработки данных, который не исчезает и сегодня.