Пользователь
Привет!
30 ноября отмечается Международный день защиты информации. Наверное, это хороший повод рассказать об одной из самых закрытых служб любой финансовой структуры. Сразу предупредим: вряд ли откроем Америку тем, кто уже работает в этой сфере. А вот тем, кто с ней ещё незнаком, вполне может быть интересно.
Сейчас приложением СберБизнес пользуется множество незрячих и слабовидящих клиентов — юридических лиц. Но так было не с самого начала. Рассказываем о том, как Сберу посчастливилось сделать интернет-банк удобным бизнес-приложением с точки зрения цифровой доступности для людей с ограниченными возможностями.
Говоря о доступности каких-либо сервисов и адаптации среды для людей с ограниченными возможностями, мы довольно чётко представляем себе, что такое физическая доступность. Если мы слышим про доступный офис, то наше сознание быстро рисует ассоциативную картинку о том, что это пандус, отсутствие порогов внутри отделения, удобный лифт, помогающие сотрудники, сурдоперевод. Всё это понятно. Но понятно ли нам, что такое цифровая доступность? Чтобы увидеть весь наш путь к доступному интернет-банкингу, стоит в этом разобраться.
Подумайте о проблеме, которую вы можете решить с помощью Big Data, и задайте себе вопрос: «Что будет, если мы захотим увеличить масштаб в 100 000 раз?» Ответ прост: producer продолжит закачивать сообщения, в итоге на диске закончится место для их хранения.
Log Compaction (сжатие журнала) – стратегия, с помощью которой вы можете решить эту проблему в Apache Kafka – программном брокере сообщений, используемом для ведения журналов событий, чтения данных в непрерывном режиме с периферийных устройств, сбора информации о поведении посетителей на сайте. Большинство систем, использующих Kafka, являются распределёнными и обрабатывают большие объёмы сообщений в реальном времени.
Здесь я постараюсь описать некоторые нюансы работы compacted topic. Если вы хотите разобраться с механизмом log compaction, эта статья для вас.
17 ноября — День географических информационных систем (ГИС). ГИС сегодняшний — это сгусток высоких технологий, которые помогают бизнесу быть инновационным. О них мы и расскажем, но вначале вводная о самих системах.
Тестирование тестированию рознь. Кто-то продолжает тыкать палкой в продукт, кто-то смог автоматизировать максимальное количество тестов. Некоторым удалось познать дзен и двигаться к балансу в процессе управления качеством. Так, в Сбере подход к тестированию уже давно изменился. Это не просто инструменты и автоматизация. Это изменение парадигмы. В команде, в которой мне посчастливилось работать уже 5-й год, мы нашли для себя инструменты, которые позволяют использовать тестирование максимально эффективно, разложить всё по полочкам, осознать зависимости и последовательности. И вот с этими инструментами я хочу вас познакомить. Надеюсь, что материал поможет вам проложить верный курс в океане информации.
Привет всем!
Сегодня у нас день рождения, по этому поводу мы подготовили необычную статью.
В ней мы опишем не технологию, не кейс, не IT-специальность. Вместо этого предадимся ностальгии и вспомним, что значимого происходило за эти годы. Нет, не за все прошедшие 180 лет. Всего лишь с 2010-го, по два события от каждого года. Одно – изменившее мир. Одно – изменившее нас.
Уверены, вы успели забыть многое из того, что с нами случалось. А это было – и до сих пор последствия этих событий так или иначе отражаются на нашей жизни.
Давайте их вспомним?
Как и обещали в первой части кейса, рассказываем о том, какой стек использовала IT-команда Сбера при работе над проектом с большими данными. Для тех, кто её не читал: благодаря этому проекту разработчики научились эффективно взаимодействовать с «бизнесом», пройдя через кризисные точки. Но в этой части речь пойдёт не об оптимизации работы IT-отдела, а о технической изнанке проекта.
Напомним, что в этом блоге мы рассказываем нашим потенциальным коллегам о том, какие проекты, технологии и команды есть сейчас в Сбере и что вас ждёт, если вы к нам присоединитесь. Поэтому сегодня в конце тех-кейса мы немного расскажем про саму IT-команду на тот случай, если вы размышляете о работе у нас.
Мария Юшанова, Управление распространения данных Департамента SberData
Информацию не пытается собирать только ленивый. Многие компании считают ее своим главным богатством и оружием. И именно данные нужны для развития бизнеса, повышения качества сервиса и разработок новых продуктов.
Однако может возникнуть проблема, когда данные разрознены и нет единого механизма обмена информацией владельцев данных с их потребителями. Например, в Фабрике Данных Сбера более 350 источников данных, 90 аналитических приложений, 270 лабораторий данных, где работают боле 1300 пользователей и обращается около 15 Пб разной информации. Важно было создать решение, которое автоматизирует процессы по работе с данными и позволит пользоваться им в формате self-service.
Именно за эту амбициозную задачу, которую до этого никто не решал, взялась объединенная команда Сбера и ADV/web-engineering, и в этой статье расскажем, что у нас получилось.
После такого несколько кликбейтного заголовка сразу раскроем карты: IT просто однажды «осмелились» сказать «нет» потоку сверхсрочных задач от бизнеса, и разработка стала успевать входить в график. На этом можно было бы и закончить, но тогда лайфхак остался бы лишь теорией, которую вы наверняка не раз встречали в книгах на тему «умей говорить “нет”». Однако реально применять этот совет в разработке даже сложнее, чем в жизни. Да и вырванный из контекста этот совет — «так себе».
В этом блоге мы рассказываем нашим потенциальным коллегам о том, какие проекты, технологии и команды есть сейчас в Сбере и что вас ждёт, если вы к нам присоединитесь. Сегодня это история про то, как мы оптимизировали работу IT-команды таким образом, чтобы и разработчики не сидели до ночи, подписавшись под супер-короткими сроками, поставленными «бизнесом», и «бизнес» был доволен.
Привет, меня зовут Ира Баринская, я строила и развивала продуктовое сообщество Сбера и создала подкаст «Настоящий продакт». О нем я и хочу поговорить с вами.
Но сначала в нашу статью на минутку ворвётся Джозеф Кэмпбелл, исследователь мифологии и автор книги «Тысячеликий герой». Если коротко, в своём исследовании он выделил типичный «путь героя». Этот путь состоит из 12 шагов и отлично прослеживается в любом героическом эпосе.
Именно по этим шагам мы и пройдёмся. В конце концов, по мотивам работы продакт-менеджера можно написать героический эпос не слабее «Одиссеи».
Итак…
Будущее наступает раньше, чем вы думаете. Эти новые технологии изменят наш образ жизни, то, как мы заботимся о своем теле, и помогут нам предотвратить климатическую катастрофу.
Кажется, что будущее всегда запаздывает. Человеческое воображение не успевает за реальными действиями, так как в любой момент времени, ученые и инженеры создают технологии будущего и мир вокруг нас - в большом и малом. Мы не осознаем этого, так как привыкли жить в этом процессе, но темпы прогресса за последние полвека были нетипично-ошеломляющими, в таких широких областях, как вычисления, медицина, коммуникации и материаловедение.
Тем не менее, ни у кого нет личного реактивного ранца, работающего на вечном двигателе, поэтому, очевидно, что работа должна продолжаться. Мы надели "дальновидные очки" нашего футуролога и составили список некоторых из самых захватывающих технологий будущего, которые изменят наш мир. От бионических человеческих существ до технологий, которые могут остановить климатический кризис, - это одни из самых больших идей.
Простите за невольную игру слов в заголовке. Просто именно это умеет новый AI-сервис Сбера на основе алгоритма CosFace: не просто отличать собаку от кошки на фото, а распознавать мордочки конкретных, реально существующих питомцев с точностью 94 % для собак и 84 % для кошек. Разработка выполнялась в рамках страховой программы «Питомец под защитой» и имеет возможности для дообучения, модификации и дальнейшего применения не только в страховых продуктах и не только в Сбере. Рассказываем, как работает сервис, на чём обучали его модели и как он может развиваться дальше.
Если вы хоть раз имели дело с заказом текстов для сайта, то знаете, как это может быть мучительно больно. И нет, мы даже не про долгие часы написания ТЗ (что делает любой нормальный контент-менеджер или SEO-специалист) и не про упоминание в них важной дополнительной информации, которую нужно отразить в текстах (что делают крутые специалисты).
Мы про результаты, которые присылают копирайтеры, особенно если это недорогие копирайтеры с биржи. В лучшем случае вы получаете рерайт первого же текста из выдачи, а в худшем – фактические и грамматические ошибки и столько воды, что позавидовал бы Ниагарский водопад.
Конечно, бывают исключения как среди копирайтеров, которые пишут хорошо и недорого, так и среди контент-менеджеров, которые, скажем так, не принимают близко к сердцу качество текстов. Если вы понимаете, о чём мы. Но это всё компромиссы, которые в конечном счёте могут стоить больших затрат, потому что пользователь ошибок не прощает. А в условиях роста онлайн-торговли требуется всё больше товарных описаний.
Мы подумали, что было бы здорово создать универсального умного «сотрудника», пишущего на любые темы за считанные секунды и желательно бесплатно. И поскольку в Сбере всё активнее используются сервисы на основе ИИ и машинного обучения, мы решили применить их и для этой задачи.
В сентябре вышел совместный проект Sber AI и CopyMonkey.ai – AI-копирайтер на основе искусственного интеллекта, который за секунды генерирует уникальные товарные описания для интернет-магазинов и маркетплейсов. В основе лежит языковая модель ruGPT-3.
Спешим сообщить, что сейчас проходит приём заявок и регистрация всех желающих принять участие в знаковом событии года AI Journey Contest 2021 — ежегодном онлайн-соревновании по искусственному интеллекту (ИИ), которое проводится совместно с ведущими технологическими компаниями с 2016 года.
Состязание будет проводиться на платформе DSWorks, на базе самого мощного суперкомпьютера в России — «Кристофари», созданного Сбером.
Увлекательные задачи и внушительный призовой фонд, превышающий восемь миллионов рублей, ждут победителей этого соревнования интеллектов!
Зарегистрироваться и принять участие можно до 31 октября 2021 г. (к соревнованию допускаются участники старше 18 лет).
Участники будут состязаться в поиске лучших решений для трёх задач:
1. Fusion Brain Challenge — обучение мультимодальных, multi-task- и мультиязычных моделей — один из главных трендов на пути к созданию AGI (сильного искусственного интеллекта). В рамках задачи предлагается создать модель, способную качественно решить каждую из предложенных подзадач:
В этой статье вы узнаете о том, какими способами мы пытались обновлять таблицы в Hadoop, содержащие сотни терабайт данных.
И если в начале нашего пути процесс обновления длился несколько часов (до десяти-двенадцати часов), то теперь ему требуется всего тридцать-сорок минут, а использование вычислительных ресурсов уменьшено вдвое!
При этом была создана библиотека расширения Spark, которая предоставляет DataSource для преобразования данных в файлах в формат этого DataSource, изменения данных командой MERGE через DataFrame API или SQL, а в будущем ещё и UPDATE, DELETE и некоторые операции DDL.
Файлы при этом можно будет читать любым привычным способом, ведь они не модифицированы, а метаданные не обязательны для их чтения.
Вы увидите код этой библиотеки на языке Scala, который сможете использовать, а может быть даже доработать и поделиться своими успехами.
Я постараюсь пояснить, почему был сделан тот или иной выбор, но могу умолчать о чём-то, что кажется очевидным, или, наоборот, о чём я не имею представления. Вы сможете задать вопросы, а я постараюсь ответить на них.
Это первая статья из нескольких, и в ней будет рассказано только о немногих реализованных классах (они нужны для распределения данных определённым способом), поэтому наберитесь терпения, я расскажу всё по частям. Впрочем, пора перейти к повествованию.
Год назад, в сентябре 2020 года команда SberDevices выпустила семейство виртуальных ассистентов Салют. В семействе три персонажа — Сбер, Афина и Джой. Они доступны на умных устройствах Sber, устройствах под управлением Салют ТВ и в мобильных приложениях СберБанк Онлайн и Сбер Салют.
Вместе с этим запуском мы запустили первую версию платформы SmartMarket. С инструментами SmartMarket внешние разработчики и бизнес получили возможность создавать приложения для виртуальных ассистентов Салют.
Иван Смирнов, руководитель NLP-Platform и SmartMarket рассказывает, как мы собрали вместе инструменты и технологии Сбера и к чему удалось прийти за год.
Поговорим о том, как можно использовать эмодзи при написании кода и какие для этого есть специальные языки программирования. А ещё дадим советы программисту, как использовать эмодзи в кодинге (спойлер: добавлять их в комментарии, описания коммитов и даже строки — для оживления логов). Ну, и немного истории появления смайлика.
Для тех, кто хочет войти в профессию
В 1947-м 9 сентября зарегистрировали первый баг в истории IT. Это было забавно: Гарвард, учёные тестируют вычислительную машину Mark II Aiken Relay Calculator и вдруг видят застрявшего между контактами электромеханического реле мотылька. «Bug» (англ. «жук»)! — сказала Грейс Хоппер, одна из первых писавшая программы для предыдущей версии гарвардской ЭВМ Mark I. Уснувшее навеки насекомое извлекли из реле и вклеили в технический дневник, сопроводив надписью: «First actual case of bug being found (первый случай в практике, когда был обнаружен жучок)». Так багами стали называть ошибки в программах, а процесс их исправления — debugging (отладка). И так 9 сентября стало Днём тестировщика.
Вот представьте: есть компания, которая накопила много ценных знаний в своей сфере. Мы про Сбер, увлекаться отвлечёнными моделями не будем. А в качестве сферы здесь рассматриваем финансовую и банковскую.
И есть 71,9 млн трудоспособного населения в России. Ну, ещё не есть, но будет на конец 2021-го. И у большинства из этих людей знания в упомянутой сфере поверхностны. Поверхностны не потому, что людям не надо в этом разбираться. А просто – так вышло. Этому не учат.
Диссонанс. И ведь здорово бы его устранить, так? Нужно же просто взять и научить.
Отступление для тех, кому проще не верить в благие намерения банка. Сформулируем так: трудно развивать технологически-сервисную финансовую компанию в стране с низким уровнем финансовой грамотности трудоспособного населения. Отличная вышла формулировка – специально для тех, кто всё ещё видит в Сбере всё тот же СберБанк.
Так вот. Нужно учить людей и повышать уровень финансовой грамотности. От этого растёт карма и ВВП. Но есть сложности.
