Привет, Хабр! На связи Дмитрий Пшевский @pshevskiy и Семен Попов @samansay, технические лидеры юнита Data в Сбере.

Уже более 6 лет мы заботимся о клиентских данных Сбера — храним, дедублицируем, стандартизируем, маркируем. А сегодня хотим поговорить о производительности сервисов при работе с Ignite или другой подобной системой из облачной инфраструктуры. Мы не будем рассматривать аспекты развертывания и оптимизации работы самого кластера и обсудим производительность сервисов именно на прикладном уровне. Расскажем про сложности перехода на микросервисную архитектуру, работу с толстым и тонким клиентом и отказ от транзакций. Эта статья — обзор нашего доклада на JPoint 2023.

Разработка системы аутентификации может показаться начинающему разработчику простой задачей. Пользователь создает учетную запись, данные сохраняются, и в дальнейшем по логину-паролю происходит вход. Но когда начинаешь копать глубже, система аутентификации, точно луковица, открывает всё новые слои. В этой статье мы разберём некоторые общие проблемы, связанные с этим, и оценим возможные способы реализации.

Соблазн выдать текст, написанный ИИ, за оригинальный собственный стал особенно велик в последние годы, когда нейросети сделали огромный шаг вперёд. Вместе с этим, конечно же, появилась потребность определять тексты, написанные ИИ, а не человеком. Дошло до того, что некоторые учителя не засчитывают сочинения всему классу, хотя большинство работ действительно было написано учениками. Их тексты просто вызвали ошибочное срабатывание системы — ложноположительное (false positive). В этой статье мы разберём, почему инструменты определения сгенерированных текстов так неточны и можно ли с этим что-нибудь сделать.

Делимся своими открытыми библиотеками для разработки рекомендательных систем. Что? Да! Рассказываем подробнее. Всем известно, что Сбер это уже не просто банк, а огромная технологическая компания, которая включает в себя и сервисы компаний-партнёров: электронную коммерцию, индустрию развлечений и даже медицину. Количество пользователей достигло 108 млн, и для каждого из них мы создаём персональные рекомендации, которые помогают не потеряться в разнообразии предложений и выбрать лучшее.

За пределами всем известного GitHub Copilot лежит огромный мир полезных приложений для программистов, и каждую неделю в нем появляется что-нибудь новенькое. В этом посте мы расскажем об этих инструментах — как полноценных конкурентах продукта GitHub, так и более специфических плагинах, а также о нашей собственной разработке в этом направлении.

Ура! Ваше резюме рассмотрели, вам сделали оффер и вы приземляетесь на позицию джуниор-разработчика. Не время расслабляться, начинается новый этап вашего развития. В этом посте мы дадим ряд советов, как провести это время наилучшим образом, если вы начали путь в большой компании (хотя и для стартапов кое-что вполне справедливо).

Традиционно рынок серверов, систем хранения данных и сетевого оборудования в России был представлен зарубежными компаниями — Dell, HP, Cisco и другими. В 2022-2023 гг data-центры взяли активный курс на импортозамещение при поддержке государства и отечественных поставщиков, поэтому приходится менять устоявшиеся годами бизнес-цепочки. При этом цифровизация требует все новых и новых ресурсов. Сегодня мы заглянем на рынок ЦОДов и постараемся понять, какие у него перспективы, и как российские data-центры справляются с огромным спросом. 

В марте 2022 года американская компания Microsoft объявила о постепенном сворачивании бизнеса в России. Легальное использование ее главного продукта — операционной системы Windows — было поставлено под угрозу. Интересно, что уже в апреле IT-гигант начал «мягко» возвращаться, в июне президент Microsoft Брэд Смит заявил о «планомерном уничтожении бизнеса в стране», а весной 2023 года многие отечественные корпоративные клиенты стали получать письма с предложениями продлить лицензию на Windows. Но еще задолго до череды этих непоследовательных действий поставщика российские госорганы стали плавно переходить на отечественные решения, потому что их на рынке достаточно. 

В ноябре 2022 года стало известно, что эксперты Минцифры выбрали 3 наиболее перспективные российские операционные системы, которые получат всестороннюю поддержку от государства — Astra Linux (ГК «Астра»), ОС «Альт» («БазАльт СПО») и «Ред ОС» («Ред Софт»). Сегодня мы поговорим об этих и других ОС из реестра ПО, а также оценим перспективы вытеснения Windows с российского рынка.

На Хабре не раз и не два обсуждались эргономичные клавиатуры разных видов. В частности — сплит‑клавиатуры, которые представляют собой две половинки целой клавиатуры, соединённые между собой либо проводами, либо беспроводным каналом связи. Я расскажу о собственном пути к сплитам, который занял много лет.

Вчера прошла наша технологическая конференция SmartDev на которой мы подарили заслуженные призы победителям «Конкурса красоты кода». Свои работы прислали больше 1000 талантливых программистов. Некоторых мы даже пригласили к себе работать. Код оценивало очень большое жюри из экспертов Сбера и других компаний.

Напомним, что в конкурсе было пять категорий: Python, Java, Mobile (Android), Data Science, Fronted, — и в каждой из них было по три номинации.

Начиная с первой версии Python, развитием языка занимался его создатель — голландский программист Гвидо ван Россум, нареченный в рамках языка неофициальным, но очень солидным для open-source сообщества титулом Benevolent Dictator for Life (BDFL), что можно перевести как Бессрочный Великодушный Диктатор. По мере усложнения Python всё большую роль в его развитии стало играть комьюнити, и в июле 2018 года Гвидо отказался от титула. Начиная с версии 3.8, за будущее Python отвечает руководящий совет в составе нескольких известных разработчиков. В этом посте мы подробней расскажем о том, кто и как направляет развитие одного из главных языков программирования в современном мире.

Привет, Хабр! Меня зовут Илья Степанов, я работаю в СберТехе в команде продукта Platform V DataGrid — распределённой базы данных, основанной на Apache Ignite и доработанной до enterprise-уровня надёжности и безопасности. В статье расскажу, как мы обеспечиваем промышленный мониторинг критических систем и визуализируем метрики наших кластеров.

Периодически к нам обращаются пользователи и клиенты с вопросом: «Как лучше визуализировать то или иное состояние кластера?» В нашем продукте есть несколько способов получения метрик из кластера. В том числе «классические» для Java-приложений: можно прочитать метрики через JMX, экспортировать в формате Prometheus, сбрасывать в log-файл, получать в результате SQL-запроса или через вызов управляющего скрипта. То есть, с метриками может работать практически любая система мониторинга.

В жизни очень сложно встретить людей, с которыми готов пройти свой путь, но не менее сложно сформировать команду мечты и найти того самого идеального кандидата.

^{Герасимова Любовь, HR команды Сбера}

Однажды передо мной стояла задача в кратчайшие сроки найти Java‑разработчика уровня Senior на приоритетный проект Сбера. Когда я нашла подходящего кандидата, у него, естественно, уже было несколько офферов от крупных игроков на рынке. Наше предложение, как и другие, было привлекательным, но требовало обдумывания. На принятие решения кандидат попросил неделю, но я постоянно оставалась с ним на связи: могла позвонить и спросить, как дела, просто поболтать с ним, поделиться новостями, которые кто‑то из нас услышал. Мотивация кандидата была для меня прозрачна, я понимала, что он уже достиг определенного профессионального уровня и что ищет от нового места работы. Это помогло мне расставить акценты на интересных моментах и важных для него факторах: кандидата интересовали не столько деньги, сколько возможность реализовать свои идеи. Я в красках рассказала ему, что где, как не в Сбере, можно раскрыть свой потенциал, описала преимущества работы в конкретной команде, и он выбрал нас раньше, чем закончилась неделя.

Меня зовут Александр Певненко, я Java developer в СберТехе. Вместе с командой развиваю Platform V DataSpace — BaaS-продукт, обеспечивающий базовые сервисы для работы с данными.

В этой статье я собрал примерный список алгоритмов, которые использую в работе с высоконагруженным проектом с большой кодовой базой. Материал будет интересен всем, кто на практике решает задачи оптимизации и вообще задумывается, обязательно ли разработчику глубоко погружаться в математику.

Если скорость и производительность критичны для системы, то оптимизация кода перестает быть пустой тратой времени. А использование сторонних библиотек без понимания их устройства становится риском, так как может обернуться падением производительности.

Поэтому здесь я приведу несколько «базовых» алгоритмов, знание которых помогает мне работать с прицелом на эффективность кода, и дополню примерами на Python и Java.

Привет, Хабр! Меня зовут Михаил Сапрыкин, я ведущий инженер разработки в Сбере. Наша команда развивает систему антифрода. Раньше мы работали с Apache Ignite, но затем перешли на Platform V DataGrid — распределённую базу данных в оперативной памяти для высокопроизводительных вычислений, которую разрабатывает СберТех.

Расскажу, как и зачем мы это сделали и как это помогло нам справиться с задачей горизонтального масштабирования.

Привет! Меня зовут Антон Казачков, я специалист вендорской поддержки СУБД Platform V Pangolin. Это реляционная СУБД уровня enterprise, которая разработана в СберТехе на основе PostgreSQL и доработана до корпоративного уровня надёжности и производительности. Сегодня Pangolin — целевая СУБД Сбера, основа для миграции всех существующих приложений и разработки новых.

Расскажу о ситуациях, с которыми сталкиваются команды на последних этапах миграции СУБД и в начале производственного цикла. На Хабре часто обсуждаются нюансы переезда СУБД из разных проприетарных версий на PostgreSQL. А вот информации о том, как вводить базы в эксплуатацию и выявлять производственные «болячки», на мой взгляд, не так много.

Три года назад, весной 2020, пандемия COVID-19 только начиналась и все переходили в режим самоизоляции. Мы в один миг оказались в ситуации, когда у нас имеется огромное количество данных, доступ к которым можно получить лишь из офиса, в который, разумеется, невозможно попасть. Работать без доступа к документам нереально, нам критически необходимо продолжать размечать данные, а значит нужно разработать подход, при котором можно это делать удаленно. Именно тогда мы в очередной раз подняли тему, которая и так периодически возникала в наших обсуждениях — а так ли нам нужны настоящие данные? Ответ очевидный: нет, если мы сохраняем их вид (ФИО меняем на ФИО, адрес на адрес и т. д.). Данный процесс называется обезличиванием.

Сбер проводит международный открытый отбор статей AI Journey Science. Что получат авторы? Возможность опубликовать свою работу в научном журнале и шанс презентовать ее на международной конференции «AI Journey 2023» и получить приз в 1 миллион рублей. Что нужно сделать? Подать статью по AI/ML в срок до 31 августа.

Продолжается прием заявок на участие в открытом оборе статей AI Journey Science: лучшие статьи опубликуют в журнале «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии «Doklady Mathematics». Журнал индексируется в базах научного цитирования РИНЦ, Scopus, Web of Science, входит в квартиль Q2 в категории «Прикладная математика» Scopus.

К участию принимаются неопубликованные научные и обзорные статьи по AI/ML с оригинальными результатами.

Хотите внести свой вклад в науку?

Мы собрали для вас краткое руководство, как написать научную статью.

В марте 2023 года компания Tecno представила свой первый складной смартфон в истории — PHANTOM V FOLD. Новый гаджет имеет толщину сгиба всего 0,11 мм и выдерживает более 200 тыс. складываний. Теперь практически у всех ведущих производителей телефонов, если не считать Apple, есть свое «гибкое решение». На фоне инфоповода вспомним, как развивалась индустрия складных экранов, оценим существующие решения на рынке и постараемся заглянуть в будущее для оценки перспектив.

Прекращение поддержки софта — это проблема, которая так или иначе касается многих, но внимания ей при этом уделяют недостаточно. Представьте, что вы, поддавшись рекламе, покупаете не обычный, а дорогой умный холодильник, с wi-fi и кучей фичей для умного дома. А через два года производитель холодильника прекращает поддержку серверов этой модели. Аппаратная часть, которая могла прослужить еще десятки лет, перестает работать, потому что программная часть больше не функционирует. То же самое справедливо и для индустрии разработки: совместимость устаревшего софта с постоянно обновляемыми платформами — это головная боль.

Пост подготовлен по материалам подкаста Software Engineering Radio. В этом выпуске Росс Андерсон, профессор компьютерных наук и инженерии из университета Кембриджа, автор книги Security Engineering, a Guide to Building Dependable Systems, рассказал о проблемах, связанных с циклом поддержки софта, на примере автомобильного и других рынков.