Как стать автором
Обновить

Как я участвовал в конкурсе Сбербанка про предсказание оттока клиентов

Data Mining *Big Data *
В рамках ICBDA 2015 Сбербанк проводил конкурс про предсказание оттока своих клиентов. Я неслабо заморочился по этому поводу, ничего не выиграл и тем не менее хотел бы описать процесс решения.

Читать дальше →
Всего голосов 38: ↑36 и ↓2 +34
Просмотры 33K
Комментарии 49

Как оценивать интеллект? Подход Google

Блог компании Сбер Тестирование IT-систем *Машинное обучение *Искусственный интеллект Natural Language Processing *
Перевод
От себя:

В ноябре 2019 года вышла программная статья от Google «Об оценке интеллекта» Франсуа Шолле (создатель Keras).
64 страницы посвящены тому, как появилось современное понимание ИИ, почему машинное обучение от него так далеко, и почему мы все еще не можем адекватно измерить «интеллект».


Чтобы отбор был честным, задание для всех одно: залезьте на дерево

Наша команда занимается NLP и общей методологией ИИ-тестов, учитывая последние тренды в универсальных трансформерах типа BERT, которые оцениваются тестами на логику и здравый смысл. Так, NLP забирает в себя все новые задачи, связанные с воспроизведением все более сложных действий и по сути отражающих механизмы мышления. Оказалось, что и другие области ML отхватили свой кусок пирога в этом направлении. Например, CV — «Animal AI Challenge».

Понятно, что сейчас “лучше” при возможности делать ML-модели более интерпретируемыми, не использовать 10 маленьких классификаторов, а тренировать одну модель, и так далее, но насколько это все-таки далеко от реального “интеллекта”?
Читать дальше →
Всего голосов 14: ↑13 и ↓1 +12
Просмотры 11K
Комментарии 12

Всё, что нам нужно — это генерация

Блог компании Сбер Блог компании SberDevices Машинное обучение *Искусственный интеллект Natural Language Processing *
Туториал

Применяем ruGPT-3 в популярных задачах и показываем, зачем языковым моделям триллион параметров


С наступлением 2021 в NLP продолжается гонка «больше — лучше», захватывая новые архитектуры. Пальма первенства самой большой языковой модели в 2020 году принадлежала GPT-3 от OpenAI с 175 миллиардами параметров — но недолго. Модель GShard с помощью Mixture-of-Experts повысила планку до 600 миллиардов параметров, а затем и Google Brain заявил о разработке архитектуры Switch Transformer с 1,6 триллионами параметров (и тоже является MoE). Насколько повышение результатов за счет объема полезно для индустрии? Тот же Switch Transformer с его триллионом параметров далеко не на 1 месте в лидербордах.

Огромные языковые модели (Enormous Language Models, теперь это термин, им посвящен отдельный воркшоп конференции ICLR 2021) показывают действительно интересные результаты — не только в традиционных задачах ML, но и в новых сферах применения: генерации всего того, что раньше генерировать без ошибок было нельзя — музыку, изображения попиксельно, программный код и т.д. Из всех традиционных форм NLP-задач — классификация, классификация элементов последовательности, seq2seq, — по сути, у нас остается только одна: seq2seq. С приходом больших языковых моделей все задачи NLP сводятся теперь к форме генерации, при должном качестве этой самой генерации.

Seq2seq — самая «человеческая» форма решения задач: человек использует тот же формат,  отвечая на сообщения в чате, общаясь устно, сортируя имейлы в почте.  

  • Лично нам в SberDevices не терпелось поскорее применить такой формат к различным задачам — поэтому мы открываем доступ к самой большой русскоязычной нейросети ruGPT-3 XL с 1,3 млрд параметров. 

Инженерный запал вылился в кропотливую работу по распараллеливанию обучения, очистке данных и тестированию. Но зато… теперь в open-source модель ruGPT-3 XL с 1,3 млрд параметров!



А также ее публичное API:


Читать дальше →
Всего голосов 21: ↑21 и ↓0 +21
Просмотры 15K
Комментарии 80

Ультимативное сравнение систем распознавания речи: Ashmanov, Google, Sber, Silero, Tinkoff, Yandex

Машинное обучение *Искусственный интеллект Звук Голосовые интерфейсы *

sandwich_fake


Какое-то время назад мы писали цикл статей про то, как правильно измерять качество систем распознавания речи, и собственно снимали метрики с доступных решений (цикл статей — 1, 2, 3) (на тот момент и коммерческих и некоммерческих решений). На Хабре была выжимка из этого цикла в рамках этой статьи, но до масштабного обновления исследования, достойного публикации на Хабре, руки никак не доходили (это требует как минимум большого количества усилий и подготовки).


Прошло некоторое время и пора обновить наше исследование, сделав его по-настоящему ультимативным. По сравнению с прошлыми исследованиями изменилось или добавилось следующее:


  • Добавилось много валидационных сетов из разных реальных доменов;
  • На рынок вышел Сбер, в первую очередь интересно протестировать именно его;
  • Для чистоты эксперимента, мы не предупреждали разработчиков систем о доменах и факте проведения тестов;
  • Мы также попробовали немного протестировать пропускную способность сервисов (понятно, что мы не знаем какое железо и ограничения стоят в облаке);
  • Мы рассматриваем только коммерческие системы, к которым у нас получилось получить доступ и которые показали хоть какой-то намек на "всеядность", работу с холодного старта и "энтерпрайзность";
Читать дальше →
Всего голосов 26: ↑23 и ↓3 +20
Просмотры 16K
Комментарии 34

Краткий пересказ Towards Pretrained Transformers As universal Computation Engines

Natural Language Processing *
Recovery mode

Данная статья представляет собой вольный пересказ https://arxiv.org/abs/2103.05247

Аннотация

Данная статья является разбором свежей статьи от исследователей из университета Беркли "Pretrained Transformers As Universal Computation Engines". В статье решается задача дообучения трансформеров на новые виды информации, такие как: изображения, битовые операции, математические выражения и последовательности белков. 

Архитектура трансформер стала основой существующих успехов глубокого обучения, породив череду моделей обработки естественного языка таких как GPT, BERT или T5, которые сейчас представлены в зоопарке русскоязычных моделей сбера. Впоследствии архитектура трансформера стала применяться и в задачах  задачах компьютерного зрения (CLIP, ImageGPT, Dall·E).

Идея данной статьи происходит из того, что гигантские языковые модели обучаются на больших массивах данных, в том числе, Википедии, Reddit и т. д. Поэтому модели обладают широкими фактологическим знаниями, например, о годах рождения известных личностей. 

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 1.3K
Комментарии 3

Управляем генерацией ruGPT-3: библиотека ruPrompts

Блог компании SberDevices Python *Машинное обучение *Искусственный интеллект Natural Language Processing *

Наше семейство моделей ruGPT-3 уже нашло множество применений у сообщества: кто-то генерирует гороскопы, кто-то — факты о лягушках, статьи нейроуголовного кодекса, нейроновости и прочее. Модели накопили в себе массу знаний о нашем мире и способны подстроиться практически под любую задачу. Тем не менее, в данный момент подобная подгонка (fine-tuning) часто требует значительных вычислительных затрат, что не всегда позволяет использовать достаточно большие модели. В этом посте мы предлагаем сообществу новый инструмент для того, чтобы дообучать ruGPT-3 под свои нужды и делиться своими результатами с другими.

Читать далее
Всего голосов 24: ↑23 и ↓1 +22
Просмотры 7.8K
Комментарии 13

Пишем смартапп для ассистента Сбера (пошаговый гайд, без программирования)

Разработка мобильных приложений *Интернет вещей
Из песочницы

Вместо предисловия

В этой статье представлено описание шагов по созданию простейшего диалогового приложения (смартаппа) для устройств Сбера, без программирования (в среде разработки Graph).

Изучить туториал
Всего голосов 9: ↑8 и ↓1 +7
Просмотры 1.9K
Комментарии 0

Как я Sberfight 2022 проходил на Swift

Swift *
Из песочницы

В 2021 году на просторах интернета случайно увидел Sber на geecko.com, тогда компания Sber проводила fight типа "староверы" против "новокодеров". (Простите за неточности, вспоминаю по памяти.)

И когда запустили конкурс Sberfight я уже автоматически попал в рассылку.

Я относительно молод в Swift и тренировка умений или же проверка навыков на скорость очень привлекла. А формат в стиле "Денди" поднимает давно забытое чувство детства. (Моей любимой игрой были "танчики", "контра" и "червяк Джим"- правда у друзей на "Сеге".)

Однако, первый неприятный сюрприз ждал в условиях конкурса - подсчет баллов. Оказывается подсчет баллов теперь осуществляется - 100 баллов за задание(при учете, что все тест кейсы положительные) и + за скорость(по формуле где Swift имеет коэффициент примерно 1.29, как и JS, а вот максимальный С# - 2). Всего 8 заданий - значит минимум 800 баллов без надбавок. А вот сколько за скорость? Ответ был найден быстро - только взглянув на турнирную таблицу (Топ-1 - примерно - 3400 баллов). То есть 2400 надбавка за скорость (предположим C# - значит в общем за Swift при таком же идеальном выполнении я получу - 2477 баллов). Тут-то интерес начал угасать.

А, эскиз победителей уже нарисовался.

Пройдя два задания и поняв, что быстрее отведенного времени я не успеваю, а значит надбавки за скорость нет. Я взглянул на обновленный топ и увидев (Топ-1 - 5500 баллов) моей грусти не было предела.

Так и закрыл я Sberfight до конца февраля, пока мне на почту не упало письмо от рекрутера Sber. (Что это была массовая рассылка - это понятно, но зачем за два задания из 8 для меня осталось вопросом.) Но такая напоминалка заинтриговала меня глянуть на лидеров и каким же было мое удивление, когда Топ 1 - стоял 3400 баллов. Понятно, кто-то нашел баг, накрутил себе баллов, а теперь все пофиксили. Вот тут интерес и разогрелся, увы, оставалось два дня.

Читать далее
Всего голосов 6: ↑4 и ↓2 +2
Просмотры 3.7K
Комментарии 1

Как в декабре я устроился в $βΣ₱*, а в марте меня уволили одним днем

IT-эмиграция Карьера в IT-индустрии IT-компании Удалённая работа

Привет, Хабр. Сегодня хочу рассказать свою очень свежую и актуальную историю о том, как в конце декабря устроился на работу в одну известную российскую компанию (в направление создания гаджетов), проработал там с искренним удовлетворением и почти без отрицательных сторон 2 месяца (до 24 февраля), после чего н̶а̶ч̶а̶л̶с̶я̶ ̶с̶у̶щ̶и̶й̶ ̶к̶о̶ш̶м̶а̶р̶.

После чего начался сумасшедший месяц (или как говорят в этой компании, "Наш огромный корабль вошел в шторм, но успешно из него выйдет без потерь. Никаких сокращений не будет."). Этот месяц для меня закончился звонком от менеджера (в районе 13 часов дня) с посылом "ты увольняешься сегодня".

Заглядывай под кат.

Дисклеймер.Основной: Поскольку за этот месяц и лично я принял много, как я сейчас понимаю, неправильных решений, статья получилась совсем не однобокой. В ней будут не только факты из решений власть-имущих, из-за которых эта статья существует, но и мои личные "слабые", как мне кажется, действия.
*Дисклеймер.Название: В этой статье я не буду употреблять название компании, чтобы никто не понял о чем идет речь. Поэтому в заголовке оно зашифровано символами Доллара, буквами Бета и Сигма, а также значком Филлипинского Песо.
Дисклеймер.Формат: Статью я решил построить в режиме "Идем последовательно по фактам, без моих личных субъективных оценок. Как говорит автор одного канала на YouTube, "Выводы вы сделаете сами". Своим мнением о ситуации я поделюсь в конце, после </hr>. Иногда будут и мысли в самом тексте, их я буду выделять как цитаты.

Кнопка, на которую стоит нажать
Всего голосов 296: ↑197 и ↓99 +98
Просмотры 100K
Комментарии 912

Умный дом Sber теперь полностью автономный. Из чего он состоит?

Блог компании SberDevices Гаджеты Умный дом Голосовые интерфейсы *

SberDevices сегодня перезапустили собственную платформу умного дома, отказавшись от сторонних инфраструктурных решений и сделав ее полностью автономной. Также с сегодняшнего дня в продажу поступило первое устройство умного дома Sber нового поколения – самая популярная лампа А60.

В этой статье мы хотим рассказать, как устроена наша платформа и как с её помощью мы выпускаем свои устройства и интегрируем устройства партнёров.

Читать далее
Всего голосов 40: ↑15 и ↓25 -10
Просмотры 4.8K
Комментарии 20

Как я стал Solution Architect в Сбере: карьерный путь длиной в 12 лет

Блог компании Сбер Учебный процесс в IT Карьера в IT-индустрии IT-компании

Привет, Хабр! Меня зовут Кирилл Пашигорев, я работаю Solution Architect в SberData и сегодня хотел бы рассказать о своём карьерном пути, раскрывая нюансы профессионального развития. Для кого писал статью? Думаю, она будет интересна широкому кругу читателей — от тех, кто только собирается начать карьеру в IT, до тех, кто подумывает о профессии Solution Architect или смежных архитектурных специальностях.

Я рассказываю в статье и о нюансах трудоустройства в Сбере — так что кому интересна работа в энтерпрайзе, не пропустите эту часть. Если у вас после прочтения статьи возникнут вопросы или комментарии, пишите, постараюсь ответить всем.

Читать далее
Всего голосов 26: ↑16 и ↓10 +6
Просмотры 4.5K
Комментарии 24

Обновляем сравнение систем распознавания русского языка

Машинное обучение *Искусственный интеллект Голосовые интерфейсы *
Аналитика

Наконец-то пришло время обновить наше исследование качества систем распознавания русского языка. Лучше поздно, чем никогда! С момента прошлого исследования утекло много воды … и мы думали, что мы не добежим до обновления, но таки добежали.

По сравнению с предыдущим исследованием изменилось следующее:

Посмотреть результаты
Всего голосов 17: ↑16 и ↓1 +15
Просмотры 3K
Комментарии 9

ТВ-приставка или умная колонка с камерой? Всё и сразу: новое устройство от SberDevices

Блог компании SberDevices Гаджеты Искусственный интеллект Умный дом Голосовые интерфейсы *


Сегодня команда SberDevices представила своё новое устройство, объединяющее в себе возможности ТВ-приставки и умной колонки с камерой – SberBox Top.

Это медиацентр с AI-камерой, который подключается к телевизору. В нём, как и в других устройствах Sber, живут виртуальные ассистенты Салют, доступен каталог приложений, созданных для них, сервисы экосистемы Сбер. С помощью девайса можно смотреть фильмы и ТВ-каналы, сёрфить видео в интернете, слушать музыку, играть, управлять умным домом, заказывать доставку продуктов, используя управление голосом, пультом или жестами.

Видеозвонки на большом экране будут полезны и во время рабочих встреч, и при общении с родственниками и друзьями. Детям, кстати, очень нравится видеть себя на экране телевизора. Пожилые люди с не очень хорошим зрением тоже будут рады возможности рассмотреть любимых внуков. Звонки работают на базе сервисов Telegram и новой видеоплатформы для общения Jazz by Sber. С её помощью можно создавать и проводить видеовстречи до 100 человек без ограничения по времени с возможностью синхронного прослушивания музыки и просмотра видео в интернете.
Читать дальше →
Всего голосов 25: ↑15 и ↓10 +5
Просмотры 9.7K
Комментарии 37

Голосовые ассистенты «Сбербанка» научились работать с «Госуслугами»

Разработка мобильных приложений *IT-компании Голосовые интерфейсы *

Команда экосистемы «Сбербанка» SberDevices интегрировала робота Макса в приложения «СберБанк Онлайн» и «Сбер Салют». Пока голосовой ассистент обладает малым набором функций: ищет QR-код о прохождении вакцинации от COVID-19 и даёт справочную информацию о регистрации и расторжении брака и оформлении российского или заграничного паспорта.

Читать далее
Всего голосов 18: ↑15 и ↓3 +12
Просмотры 2.3K
Комментарии 13

«Сбер» представил умные телевизоры Sber

Гаджеты Умный дом IT-компании


15 марта 2022 года «Сбер» рассказал о поступлении в продажу умных телевизоров под брендом Sber. Устройства работают на операционной системе «Салют ТВ», там установлены виртуальные ассистенты от «Сбера».
Читать дальше →
Всего голосов 11: ↑10 и ↓1 +9
Просмотры 23K
Комментарии 68

Генеральный директор Sber Games ушел в отставку

Игры и игровые консоли IT-компании

Почти год назад, в апреле 2021 года, «Сберинтертеймент» (дочерняя компания Сбера) запустила собственное игровое направление Sber Games. Фактически это свой продюсерский центр и игровая студия для создания контента от Сбера, включая мобильный сегмент и представление околоигровых сервисов. Сегодня его генеральный директор Алиса Чумаченко ушла со своего поста.

Читать далее
Всего голосов 10: ↑9 и ↓1 +8
Просмотры 4.8K
Комментарии 5

Сбер пообещал вернуть россиянам бесконтактную оплату через Sber Pay

Платежные системы *Финансы в IT IT-компании

Россияне снова получат возможность оплачивать покупки бесконтактно с использованием приложения Sber Pay к концу 2022 года, сообщает РИА Новости со ссылкой на вице-президента Сбера Кирилла Царёва.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 2.6K
Комментарии 7

Сбер запустил продажу двух новых моделей умных телевизоров

Блог компании Сбер Мониторы и ТВ

В продаже появились сразу две модели умных телевизоров Sber с популярными диагоналями — 32 и 43 дюйма. Оба телевизора работают на операционной системе Салют ТВ, благодаря чему пользователям доступны не только эфирные каналы, но и онлайн-кинотеатры, видеохостинги и различные приложения. Управлять телевизором и искать контент помогают виртуальные ассистенты Салют.

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 2.4K
Комментарии 7

Юзернейм @sber купили на аукционе Fragment (Telegram) за 471 000 TON ($846 тыс.)

Мессенджеры *Монетизация веб-сервисов *Социальные сети и сообщества Финансы в IT IT-компании


5 декабря 2022 года анонимный покупатель приобрёл юзернейм sber на аукционе Telegram на площадке Fragment за 471 000 TON ($846 тыс. или примерно 54 млн рублей).
Читать дальше →
Всего голосов 7: ↑4 и ↓3 +1
Просмотры 6.1K
Комментарии 23