Будущее наступает раньше, чем вы думаете. Эти новые технологии изменят наш образ жизни, то, как мы заботимся о своем теле, и помогут нам предотвратить климатическую катастрофу.

Кажется, что будущее всегда запаздывает. Человеческое воображение не успевает за реальными действиями, так как в любой момент времени, ученые и инженеры создают технологии будущего и мир вокруг нас - в большом и малом. Мы не осознаем этого, так как привыкли жить в этом процессе, но темпы прогресса за последние полвека были нетипично-ошеломляющими, в таких широких областях, как вычисления, медицина, коммуникации и материаловедение.

Тем не менее, ни у кого нет личного реактивного ранца, работающего на вечном двигателе, поэтому, очевидно, что работа должна продолжаться. Мы надели "дальновидные очки" нашего футуролога и составили список некоторых из самых захватывающих технологий будущего, которые изменят наш мир. От бионических человеческих существ до технологий, которые могут остановить климатический кризис, - это одни из самых больших идей.

Простите за невольную игру слов в заголовке. Просто именно это умеет новый AI-сервис Сбера на основе алгоритма CosFace: не просто отличать собаку от кошки на фото, а распознавать мордочки конкретных, реально существующих питомцев с точностью 94 % для собак и 84 % для кошек. Разработка выполнялась в рамках страховой программы «Питомец под защитой» и имеет возможности для дообучения, модификации и дальнейшего применения не только в страховых продуктах и не только в Сбере. Рассказываем, как работает сервис, на чём обучали его модели и как он может развиваться дальше.

Если вы хоть раз имели дело с заказом текстов для сайта, то знаете, как это может быть мучительно больно. И нет, мы даже не про долгие часы написания ТЗ (что делает любой нормальный контент-менеджер или SEO-специалист) и не про упоминание в них важной дополнительной информации, которую нужно отразить в текстах (что делают крутые специалисты).

Мы про результаты, которые присылают копирайтеры, особенно если это недорогие копирайтеры с биржи. В лучшем случае вы получаете рерайт первого же текста из выдачи, а в худшем – фактические и грамматические ошибки и столько воды, что позавидовал бы Ниагарский водопад.

Конечно, бывают исключения как среди копирайтеров, которые пишут хорошо и недорого, так и среди контент-менеджеров, которые, скажем так, не принимают близко к сердцу качество текстов. Если вы понимаете, о чём мы. Но это всё компромиссы, которые в конечном счёте могут стоить больших затрат, потому что пользователь ошибок не прощает. А в условиях роста онлайн-торговли требуется всё больше товарных описаний.

Мы подумали, что было бы здорово создать универсального умного «сотрудника», пишущего на любые темы за считанные секунды и желательно бесплатно. И поскольку в Сбере всё активнее используются сервисы на основе ИИ и машинного обучения, мы решили применить их и для этой задачи.

В сентябре вышел совместный проект Sber AI и CopyMonkey.ai – AI-копирайтер на основе искусственного интеллекта, который за секунды генерирует уникальные товарные описания для интернет-магазинов и маркетплейсов. В основе лежит языковая модель ruGPT-3.

Пишете музыку, но внезапно настиг творческий кризис? Или вам хочется получить треки уровня royalty-free, потыкав несколько слайдеров в Colab ноутбуке? Вы не готовы получать PhD в нейронных сетях и разбираться с теорией музыки, а попробовать себя в роли нейросетевого музыканта очень уж хочется?

Команда Sber AI спешит к вам с радостной новостью: совершенно безвозмездно мы выкатили NLP-модель синтеза музыки, обученную на тысячах часов музыки из открытых источников. Вам не придется платить за аренду GPU сервера с картой V100 для синтеза через Jukebox - наша модель порадует вас бесплатными треками в риалтайме даже в простом Google Colab.

А ещё вы узнаете, как связаны трансформеры и шедевры классической музыки. Но обо всем по порядку.

Спешим сообщить, что сейчас проходит приём заявок и регистрация всех желающих принять участие в знаковом событии года AI Journey Contest 2021 — ежегодном онлайн-соревновании по искусственному интеллекту (ИИ), которое проводится совместно с ведущими технологическими компаниями с 2016 года.

Состязание будет проводиться на платформе DSWorks, на базе самого мощного суперкомпьютера в России — «Кристофари», созданного Сбером.

Увлекательные задачи и внушительный призовой фонд, превышающий восемь миллионов рублей, ждут победителей этого соревнования интеллектов!

Зарегистрироваться и принять участие можно до 31 октября 2021 г. (к соревнованию допускаются участники старше 18 лет).

Участники будут состязаться в поиске лучших решений для трёх задач:

1.      Fusion Brain Challenge — обучение мультимодальных, multi-task- и мультиязычных моделей — один из главных трендов на пути к созданию AGI (сильного искусственного интеллекта). В рамках задачи предлагается создать модель, способную качественно решить каждую из предложенных подзадач:

Изменить сохранения Spark! Часть вторая: реализация партишенера!

В этой статье вы узнаете о том, какими способами мы пытались обновлять таблицы в Hadoop, содержащие сотни терабайт данных.

И если в начале нашего пути процесс обновления длился несколько часов (до десяти-двенадцати часов), то теперь ему требуется всего тридцать-сорок минут, а использование вычислительных ресурсов уменьшено вдвое!

При этом была создана библиотека расширения Spark, которая предоставляет DataSource для преобразования данных в файлах в формат этого DataSource, изменения данных командой MERGE через DataFrame API или SQL, а в будущем ещё и UPDATE, DELETE и некоторые операции DDL.

Файлы при этом можно будет читать любым привычным способом, ведь они не модифицированы, а метаданные не обязательны для их чтения.

Вы увидите код этой библиотеки на языке Scala, который сможете использовать, а может быть даже доработать и поделиться своими успехами.

Я постараюсь пояснить, почему был сделан тот или иной выбор, но могу умолчать о чём-то, что кажется очевидным, или, наоборот, о чём я не имею представления. Вы сможете задать вопросы, а я постараюсь ответить на них.

Это первая статья из нескольких, и в ней будет рассказано только о немногих реализованных классах (они нужны для распределения данных определённым способом), поэтому наберитесь терпения, я расскажу всё по частям. Впрочем, пора перейти к повествованию.

Всем привет!

Всё началось с того, что мы в Sber AI решили немного поизучать/почитать подробнее про хайповую нейронную сеть DALL·E и понять её потенциал возможностей, а также в чём заключается боттлнек – что же мешает генерить картинки хорошего качества и как можно попытаться улучшить работу модели?

Год назад, в сентябре 2020 года команда SberDevices выпустила семейство виртуальных ассистентов Салют. В семействе три персонажа — Сбер, Афина и Джой. Они доступны на умных устройствах Sber, устройствах под управлением Салют ТВ и в мобильных приложениях СберБанк Онлайн и Сбер Салют.

Вместе с этим запуском мы запустили первую версию платформы SmartMarket. С инструментами SmartMarket внешние разработчики и бизнес получили возможность создавать приложения для виртуальных ассистентов Салют. 

Иван Смирнов, руководитель NLP-Platform и SmartMarket рассказывает, как мы собрали вместе инструменты и технологии Сбера и к чему удалось прийти за год.

Поговорим о том, как можно использовать эмодзи при написании кода и какие для этого есть специальные языки программирования. А ещё дадим советы программисту, как использовать эмодзи в кодинге (спойлер: добавлять их в комментарии, описания коммитов и даже строки — для оживления логов). Ну, и немного истории появления смайлика.

Привет, Хабр! Сегодня мы расскажем о том, как подходили к созданию сообщества практики по автоматизации DevOps CI/CD в Сбере. Рассмотрим предпосылки, методологии и лучший мировой опыт, который использовали, а также ключевые проблемы и ошибки. В этой статье опытом делится Рашид Галиев – руководитель группы развития методологии DevOps и внедрения инженерных практик CI/CD, эксперт команды ядра сообщества DevOps в Сбере.

Начну с цифр и предпосылок: у нас порядка 16000 инженеров разных ролей и областей экспертизы, около 3000 продуктовых команд, большое количество систем со своим независимым релизным циклом и достаточно много внедрений в месяц.

Д.Б. Пайсон, Ю.И. Дюгованец, С.А. Гавриш, Управление исследований и инноваций Сбера

Дисклеймер: изложенное является аналитическим материалом, подготовленным группой сотрудников Управления исследований и инноваций на основании информации, имеющейся в открытом доступе. Выводы авторов не являются официальным прогнозом ПАО Сбербанк.

В преддверии презентации нового iPhone (запланирована на 14 сентября 2021 г., 20:00 МСК; ссылка на трансляцию) в сеть просочились слухи о введении в функционал смартфона спутниковой связи. Хотя Apple не представила спутникового функционала в презентации своих новых продуктов 14 сентября, наши оценки технических возможностей и потенциала подобных решений остаются в силе, вопрос в том, посчитает ли компания целесообразным внедрить что-то подобное в одной из следующих версий iPhone.

Для тех, кто хочет войти в профессию

В 1947-м 9 сентября зарегистрировали первый баг в истории IT. Это было забавно: Гарвард, учёные тестируют вычислительную машину Mark II Aiken Relay Calculator и вдруг видят застрявшего между контактами электромеханического реле мотылька. «Bug» (англ. «жук»)! — сказала Грейс Хоппер, одна из первых писавшая программы для предыдущей версии гарвардской ЭВМ Mark I. Уснувшее навеки насекомое извлекли из реле и вклеили в технический дневник, сопроводив надписью: «First actual case of bug being found (первый случай в практике, когда был обнаружен жучок)». Так багами стали называть ошибки в программах, а процесс их исправления — debugging (отладка). И так 9 сентября стало Днём тестировщика.

Вот представьте: есть компания, которая накопила много ценных знаний в своей сфере. Мы про Сбер, увлекаться отвлечёнными моделями не будем. А в качестве сферы здесь рассматриваем финансовую и банковскую. 

И есть 71,9 млн трудоспособного населения в России. Ну, ещё не есть, но будет на конец 2021-го. И у большинства из этих людей знания в упомянутой сфере поверхностны. Поверхностны не потому, что людям не надо в этом разбираться. А просто – так вышло. Этому не учат.

Диссонанс. И ведь здорово бы его устранить, так? Нужно же просто взять и научить.

Отступление для тех, кому проще не верить в благие намерения банка. Сформулируем так: трудно развивать технологически-сервисную финансовую компанию в стране с низким уровнем финансовой грамотности трудоспособного населения. Отличная вышла формулировка – специально для тех, кто всё ещё видит в Сбере всё тот же СберБанк. 

Так вот. Нужно учить людей и повышать уровень финансовой грамотности. От этого растёт карма и ВВП. Но есть сложности. 

Привет, Хабр!

Сегодня мы, команда Sber AI, расскажем про различные подходы к FaceSwap с помощью нейросетей. Также мы хотим разобраться, какие у разных подходов есть преимущества и недостатки? И главное — как же все это работает?

Привет, Хабр!

Сегодня мы, команда Sber AI, расскажем про бейзлайн генерации сказок с озвучкой и картинками, который мы предложили в рамках трека по Creative AI международного соревнования для школьников Artificial Intelligence International Junior Contest (AIIJC): рассмотрим аспекты обучения conditional ruGPT-3, генерацию музыки, генерацию изображения по текстовой строке, а также обсудим некоторые проблемы, с которыми пришлось столкнуться во время обучения и дообучения моделей.

В этом посте мы хотим разобрать (и разобраться сами), как можно использовать и объединять генеративные (и не только) модели для решения одной большой задачи — генерации контента. Мы подобрали большое количество материалов про каждую конкретную модель, чтобы ими можно было пользоваться сразу.

Как только мы слышим про массовую персонализацию, мы сразу представляем себе тонну рекламы, которая нам не нужна. На самом деле, это история про то, как алгоритмы уронили цену для персонализации продукта. Раньше вы могли себе позволить персонального менеджера, персональные договоры и условия только для очень крупных клиентов. Сейчас это можно предложить каждому.

У вас в почте лежит бронь на отель, а в календаре деловые встречи? Вот координаты ближайших удобных мест с бизнес-ланчами, где можно провести встречи. И скидка. Железяка по нескольким метрикам вычислит деловую цель поездки и не будет предлагать вам конные прогулки вместе с билетами в кино. В идеальном варианте робот отберёт у вас выбор, но вам это понравится. Приложение вовремя подсунет кнопку для вызова такси и за день до встречи предложит услуги экспресс-глажки костюма в ближайшей химчистке. Система адаптируется к вашим паттернам и предлагает вам именно то, что лучше укладывается в ваш поведенческий профиль. Например, провести платёж по ипотеке в нужную дату с напоминанием или при снятии денег в банкомате предложить вам ровно сумму на две пинты Гиннесса, которые вы берёте в баре каждую пятницу.