Как стать автором
Обновить
321.85
Сбер
Технологии, меняющие мир
Сначала показывать

Всё, что нам нужно — это генерация

Время на прочтение 10 мин
Количество просмотров 28K

Применяем ruGPT-3 в популярных задачах и показываем, зачем языковым моделям триллион параметров


С наступлением 2021 в NLP продолжается гонка «больше — лучше», захватывая новые архитектуры. Пальма первенства самой большой языковой модели в 2020 году принадлежала GPT-3 от OpenAI с 175 миллиардами параметров — но недолго. Модель GShard с помощью Mixture-of-Experts повысила планку до 600 миллиардов параметров, а затем и Google Brain заявил о разработке архитектуры Switch Transformer с 1,6 триллионами параметров (и тоже является MoE). Насколько повышение результатов за счет объема полезно для индустрии? Тот же Switch Transformer с его триллионом параметров далеко не на 1 месте в лидербордах.

Огромные языковые модели (Enormous Language Models, теперь это термин, им посвящен отдельный воркшоп конференции ICLR 2021) показывают действительно интересные результаты — не только в традиционных задачах ML, но и в новых сферах применения: генерации всего того, что раньше генерировать без ошибок было нельзя — музыку, изображения попиксельно, программный код и т.д. Из всех традиционных форм NLP-задач — классификация, классификация элементов последовательности, seq2seq, — по сути, у нас остается только одна: seq2seq. С приходом больших языковых моделей все задачи NLP сводятся теперь к форме генерации, при должном качестве этой самой генерации.

Seq2seq — самая «человеческая» форма решения задач: человек использует тот же формат,  отвечая на сообщения в чате, общаясь устно, сортируя имейлы в почте.  

  • Лично нам в SberDevices не терпелось поскорее применить такой формат к различным задачам — поэтому мы открываем доступ к самой большой русскоязычной нейросети ruGPT-3 XL с 1,3 млрд параметров. 

Инженерный запал вылился в кропотливую работу по распараллеливанию обучения, очистке данных и тестированию. Но зато… теперь в open-source модель ruGPT-3 XL с 1,3 млрд параметров!



А также ее публичное API:


Читать дальше →
Всего голосов 21: ↑21 и ↓0 +21
Комментарии 80

Введение в разработку типичного Open Source решения

Время на прочтение 7 мин
Количество просмотров 6.6K
11 сентября в Санкт-Петербурге прошел Java Meetup, полностью посвященный Apache Ignite. Огромное спасибо организаторам за приглашение и возможность рассказать об Open Source от лица разработчика этого самого Open Source. Учитывая позитивную реакцию зала, я решил поделиться презентацией и с теми, кто не смог присутствовать на митапе.

Под катом вас ожидает текстовая версия презентации, полная субъективного восприятия Open Source, как позитивного, так и негативного.


Читать дальше →
Всего голосов 25: ↑23 и ↓2 +21
Комментарии 6

История одного API: как мы превратили Франкенштейна в красавчика

Время на прочтение 5 мин
Количество просмотров 9.4K
Что нужно, чтобы построить экосистему небанковских сервисов, да и вообще любую подобную экосистему? Мастер-система хранения и обработки данных, а также API. В этом посте мы разберем две версии созданного нами API — первую и удачную — и подробно остановимся на том, в чем их важные отличия друг от друга.


Читать дальше →
Всего голосов 35: ↑28 и ↓7 +21
Комментарии 8

Умный дом: новое измерение комфорта и стремление к совершенству. Часть первая

Время на прочтение 10 мин
Количество просмотров 17K
Эта статья – логическое продолжение поднятой ранее темы мониторинга систем загородного дома. Тому, кто не читал предыдущую статью, некоторые мысли в данной статье могут показаться странными. Напомню: уже в процессе проектирования и выбора базовых компонентов стало понятно, что мониторингом работы систем загородного дома дело не закончится и что нужно делать не просто мониторинг, а фундамент умного дома. Теперь посмотрим, как развивались события. Как и прежде, я не буду приводить полные листинги программ или детальные схемы. Моя задача – показать ход мысли и, возможно, инициировать дискуссию.


Читать дальше →
Всего голосов 27: ↑24 и ↓3 +21
Комментарии 32

Как мы предсказываем дату окончания и оценку проекта с помощью нейросети

Время на прочтение 4 мин
Количество просмотров 10K
Осенью 2017 года в Сбертехе провели внутренний хакатон по машинному обучению. Один из победителей Николай Желтовский представил проект нейросети, которая прогнозирует даты завершения производственных задач. После этого мы решили попробовать ее на других задачах — прогнозировать дату закрытия и внутреннюю итоговую оценку проекта на основе анализа данных по закрытым проектам. Сейчас эта система вырастает в виртуального помощника, который будет помогать руководителям находить потенциальные проблемы в проектах и наилучшие способы их решения. В этом посте мы расскажем о технической реализации.
 

Читать дальше →
Всего голосов 37: ↑29 и ↓8 +21
Комментарии 20

Про технику безопасности, ядерную физику и любовь: о противоречиях современной ИТ-архитектуры фронтальных решений

Время на прочтение 8 мин
Количество просмотров 7.7K
Продолжение осмысления самых маленьких бесконечных множеств в архитектуре приложений через игры с зависимостями, из первых уст.

Больше изоленты!


У меня есть друг, его профессия связана с электромонтажом. Когда он был моложе и циничнее, он любил травить байки про электриков, которые работали на необесточенных сетях. Конец всегда был занимательный, но печальный для главного героя. С компонентной архитектурой так же: где-нибудь не изолируешь один функционал от другого, «ударит током» и тебя, и того, кто будет после тебя. Разница в том, что изоляция в IT пока более затратное удовольствие, чем в электрике.

Читать дальше →
Всего голосов 23: ↑22 и ↓1 +21
Комментарии 14

Фича-пати и что в ней важнее: фича или пати?

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 1.6K

Привет, Хабр! Мы — ИТ-команда департамента Блока «‎Сеть продаж», отвечаем за физическую сеть Сбера: банковские отделения, банкоматы, работу выездных сотрудников и многое другое. Поделимся опытом внутренних мероприятий, нацеленных на развитие сообществ, вовлечённость сотрудников и обмен опытом.

Читать далее
Всего голосов 22: ↑21 и ↓1 +20
Комментарии 9

GraphQL и микросервисная архитектура: объединяем сервисы в федерацию

Уровень сложности Средний
Время на прочтение 4 мин
Количество просмотров 5.4K

Меня зовут Владислав Гончаров, я разработчик в команде Platform V DataSpace СберТеха. Расскажу, как мы решаем вопрос с объединением сервисов в GraphQL и микросервисной архитектуре, которая позволяет разбить любое большое приложение на маленькие сервисы. С одной стороны, их проще написать и поддерживать небольшой командой. А с другой — некоторые задачи теперь требуют выполнения сразу нескольких запросов вместо одного.

Читать далее
Всего голосов 22: ↑21 и ↓1 +20
Комментарии 0

Металлические друзья: зачем разрабатывают роботов-собак

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 2.6K

В октябре 2023 года стало известно, что инженеры НИИ механики МГУ в рамках проекта «Братья Вольт» разработали вторую версию своего робота-собаки — первая была показана в 2021-ом. Конструкторы пересмотрели подход к внешнему виду, облегчили корпус, научили «щенка» новым движениям и упростили доступ ко внутренним подсистемам. Теперь у него есть лидар, система распознавания препятствий, режимы обнаружения угроз и т. д. Умный «пес» получил повышенное внимание в рамках «Экспоцентра» на Красной пресне. Но самый популярный вопрос, который звучал от обывателей в сети и на выставке — «Зачем это нужно?».

Читать далее
Всего голосов 26: ↑23 и ↓3 +20
Комментарии 6

Два программиста — пара. Теория и практический опыт Сбера в парном программировании

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 5.1K

Привет, Хабр! Сегодня поговорим о парном программировании, с передачей опыта Сбера — наши разработчики знают о методике парной работы не понаслышке. Команда программистов становится командой только при постоянном взаимодействии. Если один кодит, а другой просто смотрит — это просто наблюдение, а не парное программирование. Как же заниматься этим правильно? Подробности под катом.

Читать далее
Всего голосов 26: ↑23 и ↓3 +20
Комментарии 19

Взлет и падение языка COBOL. Где и как язык программирования, которому 60 лет, применяется и в наше время?

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 11K

В 2023 году языку COBOL исполнилось уже 64 года. Это один из старейших языков программирования, которые применяются на практике. Кроме того, он же — один из лидеров по объему написанного кода. Язык не собирается умирать, наоборот, он развивается. Конечно, конкурентом популярным ныне ЯП он не является, причины его популярности в другом. Об этом поговорим под катом.

Читать далее
Всего голосов 26: ↑23 и ↓3 +20
Комментарии 47

Кто отвечает за развитие Python

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 6.4K

Начиная с первой версии Python, развитием языка занимался его создатель — голландский программист Гвидо ван Россум, нареченный в рамках языка неофициальным, но очень солидным для open-source сообщества титулом Benevolent Dictator for Life (BDFL), что можно перевести как Бессрочный Великодушный Диктатор. По мере усложнения Python всё большую роль в его развитии стало играть комьюнити, и в июле 2018 года Гвидо отказался от титула. Начиная с версии 3.8, за будущее Python отвечает руководящий совет в составе нескольких известных разработчиков. В этом посте мы подробней расскажем о том, кто и как направляет развитие одного из главных языков программирования в современном мире.

Читать далее
Всего голосов 24: ↑22 и ↓2 +20
Комментарии 0

PostgreSQL: обходим подводные камни при миграции

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 7K

Привет! Меня зовут Антон Казачков, я специалист вендорской поддержки СУБД Platform V Pangolin. Это реляционная СУБД уровня enterprise, которая разработана в СберТехе на основе PostgreSQL и доработана до корпоративного уровня надёжности и производительности. Сегодня Pangolin — целевая СУБД Сбера, основа для миграции всех существующих приложений и разработки новых.

Расскажу о ситуациях, с которыми сталкиваются команды на последних этапах миграции СУБД и в начале производственного цикла. На Хабре часто обсуждаются нюансы переезда СУБД из разных проприетарных версий на PostgreSQL. А вот информации о том, как вводить базы в эксплуатацию и выявлять производственные «болячки», на мой взгляд, не так много.

Читать далее
Всего голосов 20: ↑20 и ↓0 +20
Комментарии 1

Общение в ритме Jazz: как мы создали сервис видеоконференций и продолжаем улучшать его

Время на прочтение 9 мин
Количество просмотров 18K

Привет, Хабр! Сегодня хотели бы поделиться историей разработки сервиса видеоконференций, рассказав о процессе создания продукта и его развитии. Итак, пару лет назад Jazz by Sber позиционировался и развивался как приложение для звонков между пользователями умных устройств Сбера. Довольно быстро он стал одним из основных сервисов для онлайн-общения внутри компании и быстроразвивающимся b2b-продуктом для массового рынка с AI и голосовым управлением.

Под катом рассказываем, как сервис взрослел и развивался, что сыграло решающую роль при выборе пути его развития, плюс какие технические сложности нам пришлось преодолеть для создания качественного продукта.

Читать далее
Всего голосов 24: ↑22 и ↓2 +20
Комментарии 35

Как создать сайт или приложение, учитывая пользователей с особенными потребностями

Время на прочтение 9 мин
Количество просмотров 5.4K
Создавая цифровой контент, мы привыкли ориентироваться на среднестатистического пользователя. Таким образом игнорируется почти треть населения России — это люди с инвалидностью, пожилые люди, а также те, кто временно испытывает особенные потребности. В прошлом материале мы рассказывали о своем подходе к адаптации цифровых сервисов в Сбербанке.

В Международный день человека с инвалидностью мы решили поделиться с профессиональным сообществом руководством по цифровой доступности. В этой статье вы найдете, что важно знать менеджеру, дизайнеру и разработчику, проектируя доступный интерфейс.

Читать дальше →
Всего голосов 28: ↑24 и ↓4 +20
Комментарии 9

Задачки с ZeroNights 2017: стань королем капчи

Время на прочтение 8 мин
Количество просмотров 5.9K
В этом году на ИБ-конференции ZeroNights отдел тестирования информационной безопасности приложений СберТеха предложил участникам ZeroNights поискать уязвимости в различных реализациях капчи. Всего мы дали 11 примеров с логическими или программными ошибками, которые позволяют решать множество капч за малое время. В каждом раунде от участников требовалось «решить» 20 капч за 10 секунд и при этом набрать нужный процент правильных ответов.

Мы предлагаем вам тоже поучаствовать. В посте мы разместим ссылки на все задания, составленные fryday, а под ними в спойлерах — write-up участника Liro с правильными ответами.


Читать дальше →
Всего голосов 20: ↑20 и ↓0 +20
Комментарии 0

За закрытой дверью фронтенда ЕФС

Время на прочтение 6 мин
Количество просмотров 26K
В этой статье мы расскажем о библиотеке компонентов Единой фронтальной системы (ЕФС)  и как в целом устроен фронтенд платформы.


Читать дальше →
Всего голосов 34: ↑27 и ↓7 +20
Комментарии 24

Спустя 10 лет после запуска Star Citizen до сих пор в альфе. Но полный комплект кораблей уже стоит $48 000

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 10K

Неплохо, правда? И это при том, что некоторые из этих «космических кораблей, бороздящих просторы Вселенной» тоже ещё не готовы, а только находятся в разработке. Что вообще происходит? Много всего. Со Star Citizen вообще всё очень интересно, ведь впервые об этой игре стало известно 11 лет назад, а официального релиза всё ещё нет. Проект находится в статусе альфа‑версии, и когда будет финал — до сих пор непонятно.

Тем не менее, разработчики делают всё, чтобы проект приносил деньги. На сей раз они предложили полный набор кораблей вселенной Star Citizen по цене в $48 000. Называется это предложение Legatus Pack. Подробности под катом.

Читать далее
Всего голосов 23: ↑21 и ↓2 +19
Комментарии 25

AI Challenge 2023: нейросети, кардиограммы и молодые умы

Уровень сложности Средний
Количество просмотров 2.5K

Привет, Хабр!
Мы - Константин Егоров, Иван Свиридов и Николай Романенко, сотрудники Лаборатории искусственного интеллекта Сбера. В этом году наша команда участвовала в качестве экспертов и модераторов медицинской задачи в рамках AI Challenge.

Участникам мы предложили построить модель определения наличия и локализации инфаркта миокарда по ЭКГ-сигналу. О том, как проходило соревнование и с какими сложностями столкнулись победители, можно узнать в этой статье!

Читать далее
Всего голосов 21: ↑20 и ↓1 +19
Комментарии 0

Как СберБанк Онлайн на микросервисную архитектуру мигрировал и от legacy старался избавиться

Время на прочтение 9 мин
Количество просмотров 9.6K

Привет, Хабр! Сейчас мы, команда СберБанка Онлайн, проводим очень масштабную работу по миграции на микросервисную архитектуру. Проект стартовал много месяцев назад, и сейчас уже можно поделиться некоторыми результатами и соображениями. Так мы и решили поступить — делимся нюансами этой работы в статье, которая написана по мотивам выступления Артёма Арюткина, исполнительного директора и руководителя проектного офиса. Подробности нашей трансформации — под катом.

Узнать больше о нюансах трансформации
Всего голосов 25: ↑22 и ↓3 +19
Комментарии 26

Информация

Сайт
www.sber.ru
Дата регистрации
Дата основания
Численность
свыше 10 000 человек
Местоположение
Россия