В рамках ICBDA 2015 Сбербанк проводил конкурс про предсказание оттока своих клиентов. Я неслабо заморочился по этому поводу, ничего не выиграл и тем не менее хотел бы описать процесс решения.
Как оценивать интеллект? Подход Google
Блог компании Сбер Тестирование IT-систем *Машинное обучение *Искусственный интеллект Natural Language Processing *
Перевод
От себя:
В ноябре 2019 года вышла программная статья от Google «Об оценке интеллекта» Франсуа Шолле (создатель Keras).
64 страницы посвящены тому, как появилось современное понимание ИИ, почему машинное обучение от него так далеко, и почему мы все еще не можем адекватно измерить «интеллект».
Чтобы отбор был честным, задание для всех одно: залезьте на дерево
Наша команда занимается NLP и общей методологией ИИ-тестов, учитывая последние тренды в универсальных трансформерах типа BERT, которые оцениваются тестами на логику и здравый смысл. Так, NLP забирает в себя все новые задачи, связанные с воспроизведением все более сложных действий и по сути отражающих механизмы мышления. Оказалось, что и другие области ML отхватили свой кусок пирога в этом направлении. Например, CV — «Animal AI Challenge».
Понятно, что сейчас “лучше” при возможности делать ML-модели более интерпретируемыми, не использовать 10 маленьких классификаторов, а тренировать одну модель, и так далее, но насколько это все-таки далеко от реального “интеллекта”?
В ноябре 2019 года вышла программная статья от Google «Об оценке интеллекта» Франсуа Шолле (создатель Keras).
64 страницы посвящены тому, как появилось современное понимание ИИ, почему машинное обучение от него так далеко, и почему мы все еще не можем адекватно измерить «интеллект».
Чтобы отбор был честным, задание для всех одно: залезьте на дерево
Наша команда занимается NLP и общей методологией ИИ-тестов, учитывая последние тренды в универсальных трансформерах типа BERT, которые оцениваются тестами на логику и здравый смысл. Так, NLP забирает в себя все новые задачи, связанные с воспроизведением все более сложных действий и по сути отражающих механизмы мышления. Оказалось, что и другие области ML отхватили свой кусок пирога в этом направлении. Например, CV — «Animal AI Challenge».
Понятно, что сейчас “лучше” при возможности делать ML-модели более интерпретируемыми, не использовать 10 маленьких классификаторов, а тренировать одну модель, и так далее, но насколько это все-таки далеко от реального “интеллекта”?
Всё, что нам нужно — это генерация
Блог компании Сбер Блог компании SberDevices Машинное обучение *Искусственный интеллект Natural Language Processing *
Туториал
Применяем ruGPT-3 в популярных задачах и показываем, зачем языковым моделям триллион параметров
С наступлением 2021 в NLP продолжается гонка «больше — лучше», захватывая новые архитектуры. Пальма первенства самой большой языковой модели в 2020 году принадлежала GPT-3 от OpenAI с 175 миллиардами параметров — но недолго. Модель GShard с помощью Mixture-of-Experts повысила планку до 600 миллиардов параметров, а затем и Google Brain заявил о разработке архитектуры Switch Transformer с 1,6 триллионами параметров (и тоже является MoE). Насколько повышение результатов за счет объема полезно для индустрии? Тот же Switch Transformer с его триллионом параметров далеко не на 1 месте в лидербордах.
Огромные языковые модели (Enormous Language Models, теперь это термин, им посвящен отдельный воркшоп конференции ICLR 2021) показывают действительно интересные результаты — не только в традиционных задачах ML, но и в новых сферах применения: генерации всего того, что раньше генерировать без ошибок было нельзя — музыку, изображения попиксельно, программный код и т.д. Из всех традиционных форм NLP-задач — классификация, классификация элементов последовательности, seq2seq, — по сути, у нас остается только одна: seq2seq. С приходом больших языковых моделей все задачи NLP сводятся теперь к форме генерации, при должном качестве этой самой генерации.
Seq2seq — самая «человеческая» форма решения задач: человек использует тот же формат, отвечая на сообщения в чате, общаясь устно, сортируя имейлы в почте.
- Лично нам в SberDevices не терпелось поскорее применить такой формат к различным задачам — поэтому мы открываем доступ к самой большой русскоязычной нейросети ruGPT-3 XL с 1,3 млрд параметров.
Инженерный запал вылился в кропотливую работу по распараллеливанию обучения, очистке данных и тестированию. Но зато… теперь в open-source модель ruGPT-3 XL с 1,3 млрд параметров!
А также ее публичное API:
Ультимативное сравнение систем распознавания речи: Ashmanov, Google, Sber, Silero, Tinkoff, Yandex
Какое-то время назад мы писали цикл статей про то, как правильно измерять качество систем распознавания речи, и собственно снимали метрики с доступных решений (цикл статей — 1, 2, 3) (на тот момент и коммерческих и некоммерческих решений). На Хабре была выжимка из этого цикла в рамках этой статьи, но до масштабного обновления исследования, достойного публикации на Хабре, руки никак не доходили (это требует как минимум большого количества усилий и подготовки).
Прошло некоторое время и пора обновить наше исследование, сделав его по-настоящему ультимативным. По сравнению с прошлыми исследованиями изменилось или добавилось следующее:
- Добавилось много валидационных сетов из разных реальных доменов;
- На рынок вышел Сбер, в первую очередь интересно протестировать именно его;
- Для чистоты эксперимента, мы не предупреждали разработчиков систем о доменах и факте проведения тестов;
- Мы также попробовали немного протестировать пропускную способность сервисов (понятно, что мы не знаем какое железо и ограничения стоят в облаке);
- Мы рассматриваем только коммерческие системы, к которым у нас получилось получить доступ и которые показали хоть какой-то намек на "всеядность", работу с холодного старта и "энтерпрайзность";
Краткий пересказ Towards Pretrained Transformers As universal Computation Engines
Recovery mode
Данная статья представляет собой вольный пересказ https://arxiv.org/abs/2103.05247
Аннотация
Данная статья является разбором свежей статьи от исследователей из университета Беркли "Pretrained Transformers As Universal Computation Engines". В статье решается задача дообучения трансформеров на новые виды информации, такие как: изображения, битовые операции, математические выражения и последовательности белков.
Архитектура трансформер стала основой существующих успехов глубокого обучения, породив череду моделей обработки естественного языка таких как GPT, BERT или T5, которые сейчас представлены в зоопарке русскоязычных моделей сбера. Впоследствии архитектура трансформера стала применяться и в задачах задачах компьютерного зрения (CLIP, ImageGPT, Dall·E).
Идея данной статьи происходит из того, что гигантские языковые модели обучаются на больших массивах данных, в том числе, Википедии, Reddit и т. д. Поэтому модели обладают широкими фактологическим знаниями, например, о годах рождения известных личностей.
Управляем генерацией ruGPT-3: библиотека ruPrompts
Блог компании SberDevices Python *Машинное обучение *Искусственный интеллект Natural Language Processing *
Наше семейство моделей ruGPT-3 уже нашло множество применений у сообщества: кто-то генерирует гороскопы, кто-то — факты о лягушках, статьи нейроуголовного кодекса, нейроновости и прочее. Модели накопили в себе массу знаний о нашем мире и способны подстроиться практически под любую задачу. Тем не менее, в данный момент подобная подгонка (fine-tuning) часто требует значительных вычислительных затрат, что не всегда позволяет использовать достаточно большие модели. В этом посте мы предлагаем сообществу новый инструмент для того, чтобы дообучать ruGPT-3 под свои нужды и делиться своими результатами с другими.
Пишем смартапп для ассистента Сбера (пошаговый гайд, без программирования)
Из песочницы
Вместо предисловия
В этой статье представлено описание шагов по созданию простейшего диалогового приложения (смартаппа) для устройств Сбера, без программирования (в среде разработки Graph).
Как я Sberfight 2022 проходил на Swift
Из песочницы
В 2021 году на просторах интернета случайно увидел Sber на geecko.com, тогда компания Sber проводила fight типа "староверы" против "новокодеров". (Простите за неточности, вспоминаю по памяти.)
И когда запустили конкурс Sberfight я уже автоматически попал в рассылку.
Я относительно молод в Swift и тренировка умений или же проверка навыков на скорость очень привлекла. А формат в стиле "Денди" поднимает давно забытое чувство детства. (Моей любимой игрой были "танчики", "контра" и "червяк Джим"- правда у друзей на "Сеге".)
Однако, первый неприятный сюрприз ждал в условиях конкурса - подсчет баллов. Оказывается подсчет баллов теперь осуществляется - 100 баллов за задание(при учете, что все тест кейсы положительные) и + за скорость(по формуле где Swift имеет коэффициент примерно 1.29, как и JS, а вот максимальный С# - 2). Всего 8 заданий - значит минимум 800 баллов без надбавок. А вот сколько за скорость? Ответ был найден быстро - только взглянув на турнирную таблицу (Топ-1 - примерно - 3400 баллов). То есть 2400 надбавка за скорость (предположим C# - значит в общем за Swift при таком же идеальном выполнении я получу - 2477 баллов). Тут-то интерес начал угасать.
А, эскиз победителей уже нарисовался.
Пройдя два задания и поняв, что быстрее отведенного времени я не успеваю, а значит надбавки за скорость нет. Я взглянул на обновленный топ и увидев (Топ-1 - 5500 баллов) моей грусти не было предела.
Так и закрыл я Sberfight до конца февраля, пока мне на почту не упало письмо от рекрутера Sber. (Что это была массовая рассылка - это понятно, но зачем за два задания из 8 для меня осталось вопросом.) Но такая напоминалка заинтриговала меня глянуть на лидеров и каким же было мое удивление, когда Топ 1 - стоял 3400 баллов. Понятно, кто-то нашел баг, накрутил себе баллов, а теперь все пофиксили. Вот тут интерес и разогрелся, увы, оставалось два дня.
Как в декабре я устроился в $βΣ₱*, а в марте меня уволили одним днем
Привет, Хабр. Сегодня хочу рассказать свою очень свежую и актуальную историю о том, как в конце декабря устроился на работу в одну известную российскую компанию (в направление создания гаджетов), проработал там с искренним удовлетворением и почти без отрицательных сторон 2 месяца (до 24 февраля), после чего н̶а̶ч̶а̶л̶с̶я̶ ̶с̶у̶щ̶и̶й̶ ̶к̶о̶ш̶м̶а̶р̶.
После чего начался сумасшедший месяц (или как говорят в этой компании, "Наш огромный корабль вошел в шторм, но успешно из него выйдет без потерь. Никаких сокращений не будет."). Этот месяц для меня закончился звонком от менеджера (в районе 13 часов дня) с посылом "ты увольняешься сегодня".
Заглядывай под кат.
Дисклеймер.Основной: Поскольку за этот месяц и лично я принял много, как я сейчас понимаю, неправильных решений, статья получилась совсем не однобокой. В ней будут не только факты из решений власть-имущих, из-за которых эта статья существует, но и мои личные "слабые", как мне кажется, действия.
*Дисклеймер.Название: В этой статье я не буду употреблять название компании, чтобы никто не понял о чем идет речь. Поэтому в заголовке оно зашифровано символами Доллара, буквами Бета и Сигма, а также значком Филлипинского Песо.
Дисклеймер.Формат: Статью я решил построить в режиме "Идем последовательно по фактам, без моих личных субъективных оценок. Как говорит автор одного канала на YouTube, "Выводы вы сделаете сами". Своим мнением о ситуации я поделюсь в конце, после </hr>. Иногда будут и мысли в самом тексте, их я буду выделять как цитаты.
Умный дом Sber теперь полностью автономный. Из чего он состоит?
SberDevices сегодня перезапустили собственную платформу умного дома, отказавшись от сторонних инфраструктурных решений и сделав ее полностью автономной. Также с сегодняшнего дня в продажу поступило первое устройство умного дома Sber нового поколения – самая популярная лампа А60.
В этой статье мы хотим рассказать, как устроена наша платформа и как с её помощью мы выпускаем свои устройства и интегрируем устройства партнёров.
Как я стал Solution Architect в Сбере: карьерный путь длиной в 12 лет
Привет, Хабр! Меня зовут Кирилл Пашигорев, я работаю Solution Architect в SberData и сегодня хотел бы рассказать о своём карьерном пути, раскрывая нюансы профессионального развития. Для кого писал статью? Думаю, она будет интересна широкому кругу читателей — от тех, кто только собирается начать карьеру в IT, до тех, кто подумывает о профессии Solution Architect или смежных архитектурных специальностях.
Я рассказываю в статье и о нюансах трудоустройства в Сбере — так что кому интересна работа в энтерпрайзе, не пропустите эту часть. Если у вас после прочтения статьи возникнут вопросы или комментарии, пишите, постараюсь ответить всем.
Обновляем сравнение систем распознавания русского языка
Аналитика
Наконец-то пришло время обновить наше исследование качества систем распознавания русского языка. Лучше поздно, чем никогда! С момента прошлого исследования утекло много воды … и мы думали, что мы не добежим до обновления, но таки добежали.
По сравнению с предыдущим исследованием изменилось следующее:
ТВ-приставка или умная колонка с камерой? Всё и сразу: новое устройство от SberDevices
Сегодня команда SberDevices представила своё новое устройство, объединяющее в себе возможности ТВ-приставки и умной колонки с камерой – SberBox Top.
Это медиацентр с AI-камерой, который подключается к телевизору. В нём, как и в других устройствах Sber, живут виртуальные ассистенты Салют, доступен каталог приложений, созданных для них, сервисы экосистемы Сбер. С помощью девайса можно смотреть фильмы и ТВ-каналы, сёрфить видео в интернете, слушать музыку, играть, управлять умным домом, заказывать доставку продуктов, используя управление голосом, пультом или жестами.
Видеозвонки на большом экране будут полезны и во время рабочих встреч, и при общении с родственниками и друзьями. Детям, кстати, очень нравится видеть себя на экране телевизора. Пожилые люди с не очень хорошим зрением тоже будут рады возможности рассмотреть любимых внуков. Звонки работают на базе сервисов Telegram и новой видеоплатформы для общения Jazz by Sber. С её помощью можно создавать и проводить видеовстречи до 100 человек без ограничения по времени с возможностью синхронного прослушивания музыки и просмотра видео в интернете.
Голосовые ассистенты «Сбербанка» научились работать с «Госуслугами»
Команда экосистемы «Сбербанка» SberDevices интегрировала робота Макса в приложения «СберБанк Онлайн» и «Сбер Салют». Пока голосовой ассистент обладает малым набором функций: ищет QR-код о прохождении вакцинации от COVID-19 и даёт справочную информацию о регистрации и расторжении брака и оформлении российского или заграничного паспорта.
«Сбер» представил умные телевизоры Sber
15 марта 2022 года «Сбер» рассказал о поступлении в продажу умных телевизоров под брендом Sber. Устройства работают на операционной системе «Салют ТВ», там установлены виртуальные ассистенты от «Сбера».
Генеральный директор Sber Games ушел в отставку
Почти год назад, в апреле 2021 года, «Сберинтертеймент» (дочерняя компания Сбера) запустила собственное игровое направление Sber Games. Фактически это свой продюсерский центр и игровая студия для создания контента от Сбера, включая мобильный сегмент и представление околоигровых сервисов. Сегодня его генеральный директор Алиса Чумаченко ушла со своего поста.
Сбер пообещал вернуть россиянам бесконтактную оплату через Sber Pay
Россияне снова получат возможность оплачивать покупки бесконтактно с использованием приложения Sber Pay к концу 2022 года, сообщает РИА Новости со ссылкой на вице-президента Сбера Кирилла Царёва.
Сбер запустил продажу двух новых моделей умных телевизоров
В продаже появились сразу две модели умных телевизоров Sber с популярными диагоналями — 32 и 43 дюйма. Оба телевизора работают на операционной системе Салют ТВ, благодаря чему пользователям доступны не только эфирные каналы, но и онлайн-кинотеатры, видеохостинги и различные приложения. Управлять телевизором и искать контент помогают виртуальные ассистенты Салют.
