Привет, я Кирилл Шаталаев, инженер инфраструктуры и автоматизации в X5 Tech.

Я в курсе, что статей на эту тему достаточно, в том числе и на Habr. И когда у меня возникла задача поднять кластер, я их все перечитал. Где-то очень подробно рассказывается, как ставить виртуалки с убунтой на Windows под virtualbox, и очень скудно про сам кубер. Где-то досконально описано, как это всё круто можно провернуть с terraform в Яндекс.Облаке. Где-то про сам kubespray скупо пару слов, зато куча скриншотов прометея с кибаной.

В итоге до большинства ключевых моментов пришлось доходить самостоятельно, гуглежом и изучением исходников ролей kubespray. Поехали!

Всем привет. Так получилось, что у этой статьи сразу два автора, мы работаем в X5 Технологии и отвечаем за выстраивание процессов производства ИТ-решений. Учитывая масштаб и сложность нашей организации, задача эта нетривиальная. Мы подумали, что, возможно, наш опыт будет кому-то полезен и за пределами X5, так и появилась эта статья.

Всем привет! На связи команда ad-hoc аналитики X5 Tech.

Сегодня подробно обсудим применение стратификации для повышения чувствительности оценки AB экспериментов.

Привет! Недавно мы провели митап, на котором обсуждали различие продуктов B2B и B2C, различия PM & PO и лучшие практики по управлению B2B продуктом. Публикуем запись встречи и презентации наших спикеров.

Приложением экспресс-доставки «Перекрёстка» ежемесячно пользуются около трёх миллионов человек. Уровень вовлеченности аудитории порядка 15% — это люди, которые заходят в приложение каждый день. О том, как работает продукт и в чём специфика разработки интернет-магазина, рассказывает Оксана Щирба, Chief Product Owner мобильного приложения «Перекрёстка».

В данной статье речь пойдёт о том, что такое инструмент MLflow и из каких компонентов он состоит. Как работает данный фреймворк, в каких случаях рекомендуется его использовать и какие проблемы он позволяет решить. Затронем основные плюсы и минусы данного инструмента.

Привет! 18 ноября мы провели новый митап, где главное темой стали особенности работы аналитиков при разных подходах к разработке. Онлайн-встречу мы записали и готовы поделиться видео с вами.

Привет! Недавно мы анонсировали наш второй QA meetup. 17 ноября он состоялся. Мы говорили о том, как построить нагрузочное тестирование, как автоматизировать рутину в нагрузке, какой инструмент нагрузки использовать для Python и как нагружать SAP быстро. Теперь мы готовы поделиться записью выступлений и презентациями к ним.

Регистрация.

Мы привыкли, что на докладах рассказывают про Agile, но в реальном мире осталось много мест, где используется каскадная модель разработки.

Поговорим о том, какие инструменты и практики из гибких методологий можно использовать в таких случаях, какая от этого польза для проекта, а также как найти баланс между постоянными экспериментами и необходимостью четко фиксировать требования и ТЗ заранее.

Привет, Хабр! Мы в Х5 очень любим данные и умеем с ними обращаться. Недавно мы провели «Цифровой четверг» — дискуссию с представителями ИТ-компаний, облачных провайдеров и телекомов.

На встрече обсудили data-driven подход: кейсы, «грабли» и базовые моменты, о которых стоит знать. Решили поделиться ключевыми мыслями по её итогам.

Всем привет! В прошлый раз мы встречались с вами 29 июля и разговаривали про автоматизацию тестирования (видеозапись X5 QA meetup #1). В этот раз мы хотим осветить тему нагрузки и показать, что она есть везде и нужна всем (ну или почти всем).

Приглашаем 17 ноября в 18:00 на наш второй онлайн-митап по QA от X5 Tech по нагрузочному тестированию. Поговорим о том, как построить нагрузочное тестирование, как автоматизировать рутину в нагрузке, какой инструмент нагрузки использовать для Python, а также как нагружать SAP быстро. Эксперты из Х5 Tech, Росбанка, Accenture и Московского кредитного банка поделятся своим опытом и будут рады ответить на ваши вопросы.

Привет, Хабр! Мы уже рассказывали о магазине с полностью автоматизированной системой покупок, который получил название «Пятерочки #налету». Но это далеко не все технологические проекты компании. Практически одновременно с новыми автономными «Пятёрочками» мы начали разрабатывать и систему биометрической оплаты. Покупателю достаточно посмотреть в камеру и всё — покупка оплачена. О том, как этот проект внедрялся и что из себя представляет, читайте в нашем новом материале – собрали всю начинку!

В предыдущей статье мы поговорили про роль Data Engineer в Х5, какие задачи он решает и с каким технологическим стеком работает. Рассмотрели структуру собеседования, основные направления, по которым мы оцениваем кандидатов, и подробно разобрали базовые требования, предъявляемые нами к уровню владения Python.

В данной статье мы разберём требования к ключевым для Data Engineer в X5 навыкам: распределённые системы и вычисления на Hadoop / Spark, а также SQL и проектирование схемы данных.

В настоящее время уже сложно найти крупную компанию, которая не использовала бы возможности накопления и использования больших данных. Меня зовут Никита Сурков и я работаю в проекте ценообразования "Пятёрочки" X5 Group. Проект является ярким примером использования больших данных, так как Пятёрочка -- это 18000 магазинов по всей стране. Чтобы построить систему ценообразования в такой сети требуется обработка миллиардов строк информации из чеков, данных по остаткам, себестоимостей и многих других данных. Для всего этого преимущественно используется PySpark, как один из популярных инструментов для работы с расперделёнными системами. В данной статье будет представлен один из методов написания кода на PySpark таким образом, чтобы он был более читаем, легко тестируем и поддерживаем. Сразу оговорюсь, что не представляю здесь единственное правильное решение, но оно доказало свою жизнеспособность на примере того проекта, в котором я работал.

Никому не нравится стоять в очереди на кассе, особенно для покупки всего одного или парочки товаров. В условиях пандемии мы вовсе не хотим рисковать и находиться долгое время вблизи незнакомых людей. Год назад мы в Х5 Group решили помочь нашим покупателям и создали приложение для самостоятельных покупок «Экспресс-Скан». Оно принадлежит к системам класса Scan & GO и позволяет покупателю добавлять товары из магазина в виртуальную корзину приложения через сканирование штрих-кода товара с помощью камеры смартфона. Главный плюс -  оплачивать товары можно прямо в приложении, не подходя к кассе и не ожидая в очереди.

Мы уже писали об архитектуре системы, а сегодня решили рассказать о работе команды поддержки. «Экспресс-Скан» - быстро развивающийся проект, где команда поддержки внедрилась почти на самом начальном этапе его становления. Тогда было доступно лишь добавление товара в приложении без возможности оплаты, а тестирование в реальных магазинах и вовсе начиналось в тяжелых условиях пандемии. Поддержка была привлечена не только к сопровождению приложения, но и к совместному изучению ключевых сервисов системы.

В рознице «Перекрёстка» работает порядка 30 тыс. сотрудников без закрепленного рабочего места и персонального компьютера. Чтобы они могли активнее участвовать в жизни компании и коммуницировать с коллегами, мы разработали «Перчатку». Это приложение с чатом и корпоративными сервисами: графиком смен и отпусков, информацией о выплатах и другими возможностями вроде ведения блогов и комментирования публикаций коллег.

 Инструментарий «Перчатки» также включает чат-бота «Василису», которая помогает новичкам влиться в коллектив: сопровождает в первые дни, находит корпоративные онлайн-курсы. Отличительной особенностью проекта являются элементы геймификации — за активность в «Перчатке» пользователи получают специальные баллы («клеверы»), на которые можно приобретать «сувенирку».

Помимо младших сотрудников торговой сети, «Перчаткой» пользуются технические специалисты и сами разработчики. Им приложение помогает собирать фидбек о функциях, а также краудсорсить новые идеи.

Рынок автоматизированного тестирования — один из самых быстрорастущих в ИТ-индустрии. К 2024 году его объем достигнет планки в 30 млрд долларов. В то же время все больше компаний нанимает инженеров-тестировщиков широкого профиля, которые сопровождают продукт на протяжении всего жизненного цикла. 

Под катом Мария Снопок, руководитель команды тестирования Х5 Технологии, рассказывает о том, кто такие SDET и каким компаниям они нужны, а также делится собственным опытом обучения кадров.

В X5 Group активно развивают цифровые продукты, построенные на основе  больших данных, использующие сложную аналитику и машинное обучение, такие как прогнозирование спроса, управление ассортиментной матрицей магазинов, предсказание отсутствия товаров на полках, динамическое ценообразования и т.п. 

Для разработки продуктов формируются автономные, кросс-функциональные команды, которые имеют минимум внешних зависимостей и могут двигаться вперед с максимальной скоростью. Одной из ключевых ролей в таких командах является роль Data Engineer.

X5 Group — это более 18 000 магазинов «Пятёрочка» и «Перекресток» по всей стране. И именно от логистики и эффективности транспортных процессов зависит насколько быстро и своевременно нужные товары будут оказываться на полках. Ранее мы уже рассказывали о том как устроен автозаказ и  как мы обновили архитектуру системы мониторинга автотранспорта. Сегодня продолжим посвящать вас во внутреннюю кухню Х5 Transport.