Тестирование тестированию рознь. Кто-то продолжает тыкать палкой в продукт, кто-то смог автоматизировать максимальное количество тестов. Некоторым удалось познать дзен и двигаться к балансу в процессе управления качеством. Так, в Сбере подход к тестированию уже давно изменился. Это не просто инструменты и автоматизация. Это изменение парадигмы. В команде, в которой мне посчастливилось работать уже 5-й год, мы нашли для себя инструменты, которые позволяют использовать тестирование максимально эффективно, разложить всё по полочкам, осознать зависимости и последовательности. И вот с этими инструментами я хочу вас познакомить. Надеюсь, что материал поможет вам проложить верный курс в океане информации.

Привет всем!

Сегодня у нас день рождения, по этому поводу мы подготовили необычную статью.

В ней мы опишем не технологию, не кейс, не IT-специальность. Вместо этого предадимся ностальгии и вспомним, что значимого происходило за эти годы. Нет, не за все прошедшие 180 лет. Всего лишь с 2010-го, по два события от каждого года. Одно – изменившее мир. Одно – изменившее нас.

Уверены, вы успели забыть многое из того, что с нами случалось. А это было – и до сих пор последствия этих событий так или иначе отражаются на нашей жизни.

Давайте их вспомним?

Как и обещали в первой части кейса, рассказываем о том, какой стек использовала IT-команда Сбера при работе над проектом с большими данными. Для тех, кто её не читал: благодаря этому проекту разработчики научились эффективно взаимодействовать с «бизнесом», пройдя через кризисные точки. Но в этой части речь пойдёт не об оптимизации работы IT-отдела, а о технической изнанке проекта.

Напомним, что в этом блоге мы рассказываем нашим потенциальным коллегам о том, какие проекты, технологии и команды есть сейчас в Сбере и что вас ждёт, если вы к нам присоединитесь. Поэтому сегодня в конце тех-кейса мы немного расскажем про  саму IT-команду на тот случай, если вы размышляете о работе у нас.

Мария Юшанова, Управление распространения данных Департамента SberData

Информацию не пытается собирать только ленивый. Многие компании считают ее своим главным богатством и оружием. И именно данные нужны для развития бизнеса, повышения качества сервиса и разработок новых продуктов.

Однако может возникнуть проблема, когда данные разрознены и нет единого механизма обмена информацией владельцев данных с их потребителями. Например, в Фабрике Данных Сбера более 350 источников данных, 90 аналитических приложений, 270 лабораторий данных, где работают боле 1300 пользователей и обращается около 15 Пб разной информации. Важно было создать решение, которое автоматизирует процессы по работе с данными и позволит пользоваться им в формате self-service.

Именно за эту амбициозную задачу, которую до этого никто не решал, взялась объединенная команда Сбера и ADV/web-engineering, и в этой статье расскажем, что у нас получилось.

После такого несколько кликбейтного заголовка сразу раскроем карты: IT просто однажды «осмелились» сказать «нет» потоку сверхсрочных задач от бизнеса, и разработка стала успевать входить в график. На этом можно было бы и закончить, но тогда лайфхак остался бы лишь теорией, которую вы наверняка не раз встречали в книгах на тему «умей говорить “нет”». Однако реально применять этот совет в разработке даже сложнее, чем в жизни. Да и вырванный из контекста этот совет — «так себе».  

В этом блоге мы рассказываем нашим потенциальным коллегам о том, какие проекты, технологии и команды есть сейчас в Сбере и что вас ждёт, если вы к нам присоединитесь. Сегодня это история про то, как мы оптимизировали работу IT-команды таким образом, чтобы и разработчики не сидели до ночи, подписавшись под супер-короткими сроками, поставленными «бизнесом», и «бизнес» был доволен.

Привет, меня зовут Ира Баринская, я строила и развивала продуктовое сообщество Сбера и создала подкаст «Настоящий продакт». О нем я и хочу поговорить с вами.

Но сначала в нашу статью на минутку ворвётся Джозеф Кэмпбелл, исследователь мифологии и автор книги «Тысячеликий герой». Если коротко, в своём исследовании он выделил типичный «путь героя». Этот путь состоит из 12 шагов и отлично прослеживается в любом героическом эпосе.

Именно по этим шагам мы и пройдёмся. В конце концов, по мотивам работы продакт-менеджера можно написать героический эпос не слабее «Одиссеи».

Итак…

Будущее наступает раньше, чем вы думаете. Эти новые технологии изменят наш образ жизни, то, как мы заботимся о своем теле, и помогут нам предотвратить климатическую катастрофу.

Кажется, что будущее всегда запаздывает. Человеческое воображение не успевает за реальными действиями, так как в любой момент времени, ученые и инженеры создают технологии будущего и мир вокруг нас - в большом и малом. Мы не осознаем этого, так как привыкли жить в этом процессе, но темпы прогресса за последние полвека были нетипично-ошеломляющими, в таких широких областях, как вычисления, медицина, коммуникации и материаловедение.

Тем не менее, ни у кого нет личного реактивного ранца, работающего на вечном двигателе, поэтому, очевидно, что работа должна продолжаться. Мы надели "дальновидные очки" нашего футуролога и составили список некоторых из самых захватывающих технологий будущего, которые изменят наш мир. От бионических человеческих существ до технологий, которые могут остановить климатический кризис, - это одни из самых больших идей.

Простите за невольную игру слов в заголовке. Просто именно это умеет новый AI-сервис Сбера на основе алгоритма CosFace: не просто отличать собаку от кошки на фото, а распознавать мордочки конкретных, реально существующих питомцев с точностью 94 % для собак и 84 % для кошек. Разработка выполнялась в рамках страховой программы «Питомец под защитой» и имеет возможности для дообучения, модификации и дальнейшего применения не только в страховых продуктах и не только в Сбере. Рассказываем, как работает сервис, на чём обучали его модели и как он может развиваться дальше.

Если вы хоть раз имели дело с заказом текстов для сайта, то знаете, как это может быть мучительно больно. И нет, мы даже не про долгие часы написания ТЗ (что делает любой нормальный контент-менеджер или SEO-специалист) и не про упоминание в них важной дополнительной информации, которую нужно отразить в текстах (что делают крутые специалисты).

Мы про результаты, которые присылают копирайтеры, особенно если это недорогие копирайтеры с биржи. В лучшем случае вы получаете рерайт первого же текста из выдачи, а в худшем – фактические и грамматические ошибки и столько воды, что позавидовал бы Ниагарский водопад.

Конечно, бывают исключения как среди копирайтеров, которые пишут хорошо и недорого, так и среди контент-менеджеров, которые, скажем так, не принимают близко к сердцу качество текстов. Если вы понимаете, о чём мы. Но это всё компромиссы, которые в конечном счёте могут стоить больших затрат, потому что пользователь ошибок не прощает. А в условиях роста онлайн-торговли требуется всё больше товарных описаний.

Мы подумали, что было бы здорово создать универсального умного «сотрудника», пишущего на любые темы за считанные секунды и желательно бесплатно. И поскольку в Сбере всё активнее используются сервисы на основе ИИ и машинного обучения, мы решили применить их и для этой задачи.

В сентябре вышел совместный проект Sber AI и CopyMonkey.ai – AI-копирайтер на основе искусственного интеллекта, который за секунды генерирует уникальные товарные описания для интернет-магазинов и маркетплейсов. В основе лежит языковая модель ruGPT-3.

Спешим сообщить, что сейчас проходит приём заявок и регистрация всех желающих принять участие в знаковом событии года AI Journey Contest 2021 — ежегодном онлайн-соревновании по искусственному интеллекту (ИИ), которое проводится совместно с ведущими технологическими компаниями с 2016 года.

Состязание будет проводиться на платформе DSWorks, на базе самого мощного суперкомпьютера в России — «Кристофари», созданного Сбером.

Увлекательные задачи и внушительный призовой фонд, превышающий восемь миллионов рублей, ждут победителей этого соревнования интеллектов!

Зарегистрироваться и принять участие можно до 31 октября 2021 г. (к соревнованию допускаются участники старше 18 лет).

Участники будут состязаться в поиске лучших решений для трёх задач:

1.      Fusion Brain Challenge — обучение мультимодальных, multi-task- и мультиязычных моделей — один из главных трендов на пути к созданию AGI (сильного искусственного интеллекта). В рамках задачи предлагается создать модель, способную качественно решить каждую из предложенных подзадач:

Изменить сохранения Spark! Часть вторая: реализация партишенера!

В этой статье вы узнаете о том, какими способами мы пытались обновлять таблицы в Hadoop, содержащие сотни терабайт данных.

И если в начале нашего пути процесс обновления длился несколько часов (до десяти-двенадцати часов), то теперь ему требуется всего тридцать-сорок минут, а использование вычислительных ресурсов уменьшено вдвое!

При этом была создана библиотека расширения Spark, которая предоставляет DataSource для преобразования данных в файлах в формат этого DataSource, изменения данных командой MERGE через DataFrame API или SQL, а в будущем ещё и UPDATE, DELETE и некоторые операции DDL.

Файлы при этом можно будет читать любым привычным способом, ведь они не модифицированы, а метаданные не обязательны для их чтения.

Вы увидите код этой библиотеки на языке Scala, который сможете использовать, а может быть даже доработать и поделиться своими успехами.

Я постараюсь пояснить, почему был сделан тот или иной выбор, но могу умолчать о чём-то, что кажется очевидным, или, наоборот, о чём я не имею представления. Вы сможете задать вопросы, а я постараюсь ответить на них.

Это первая статья из нескольких, и в ней будет рассказано только о немногих реализованных классах (они нужны для распределения данных определённым способом), поэтому наберитесь терпения, я расскажу всё по частям. Впрочем, пора перейти к повествованию.

Год назад, в сентябре 2020 года команда SberDevices выпустила семейство виртуальных ассистентов Салют. В семействе три персонажа — Сбер, Афина и Джой. Они доступны на умных устройствах Sber, устройствах под управлением Салют ТВ и в мобильных приложениях СберБанк Онлайн и Сбер Салют.

Вместе с этим запуском мы запустили первую версию платформы SmartMarket. С инструментами SmartMarket внешние разработчики и бизнес получили возможность создавать приложения для виртуальных ассистентов Салют. 

Иван Смирнов, руководитель NLP-Platform и SmartMarket рассказывает, как мы собрали вместе инструменты и технологии Сбера и к чему удалось прийти за год.

Поговорим о том, как можно использовать эмодзи при написании кода и какие для этого есть специальные языки программирования. А ещё дадим советы программисту, как использовать эмодзи в кодинге (спойлер: добавлять их в комментарии, описания коммитов и даже строки — для оживления логов). Ну, и немного истории появления смайлика.

Для тех, кто хочет войти в профессию

В 1947-м 9 сентября зарегистрировали первый баг в истории IT. Это было забавно: Гарвард, учёные тестируют вычислительную машину Mark II Aiken Relay Calculator и вдруг видят застрявшего между контактами электромеханического реле мотылька. «Bug» (англ. «жук»)! — сказала Грейс Хоппер, одна из первых писавшая программы для предыдущей версии гарвардской ЭВМ Mark I. Уснувшее навеки насекомое извлекли из реле и вклеили в технический дневник, сопроводив надписью: «First actual case of bug being found (первый случай в практике, когда был обнаружен жучок)». Так багами стали называть ошибки в программах, а процесс их исправления — debugging (отладка). И так 9 сентября стало Днём тестировщика.

Вот представьте: есть компания, которая накопила много ценных знаний в своей сфере. Мы про Сбер, увлекаться отвлечёнными моделями не будем. А в качестве сферы здесь рассматриваем финансовую и банковскую. 

И есть 71,9 млн трудоспособного населения в России. Ну, ещё не есть, но будет на конец 2021-го. И у большинства из этих людей знания в упомянутой сфере поверхностны. Поверхностны не потому, что людям не надо в этом разбираться. А просто – так вышло. Этому не учат.

Диссонанс. И ведь здорово бы его устранить, так? Нужно же просто взять и научить.

Отступление для тех, кому проще не верить в благие намерения банка. Сформулируем так: трудно развивать технологически-сервисную финансовую компанию в стране с низким уровнем финансовой грамотности трудоспособного населения. Отличная вышла формулировка – специально для тех, кто всё ещё видит в Сбере всё тот же СберБанк. 

Так вот. Нужно учить людей и повышать уровень финансовой грамотности. От этого растёт карма и ВВП. Но есть сложности.