Всем привет! A/B тестирование уже давно стало стандартом в проверке гипотез и улучшении продуктов в X5. Но, как ни странно, многие из «модных» техник, которые применяются в A/B тестировании, на самом деле, не что иное, как вариации старой доброй линейной регрессии. 

Основная идея здесь проста: правильное добавление новых переменных в модель помогает лучше контролировать внешние факторы и уменьшать шум в данных. Это позволяет точнее оценить эффект от воздействия и объединить разные статистические подходы, которые обычно рассматриваются отдельно. Но почему это работает? Почему всё сводится к тому, что добавление переменных помогает объединить, казалось бы, разрозненные техники? 

Чтобы разобраться в этом, для начала вспомним основы линейной регрессии, после чего перейдём к различным статистическим методам снижения дисперсии и покажем, как они сводятся к линейной регрессии. Затем объединим все техники вместе и на примере покажем, как они работают на практике.

Всем привет! Меня зовут Роман Соломатин, я представляю команду AI-Run из X5 Tech, мы занимаемся генеративными сетями в целом и языковыми моделями в частности. Несколько месяцев назад русскоязычное сообщество разработчиков искусственного интеллекта получило инструмент для оценки моделей — бенчмарк ruMTEB (Massive Text Embedding Benchmark). Однако, первая версия ruMTEB имела 6 протестированных моделей, но при этом отсутствовал удобный лидерборд.

Мы решили улучшить ситуацию и провести дополнительное тестирование, чтобы сделать бенчмарк более репрезентативным и полезным для сообщества.

Привет! Нас зовут Катя Черных и Маша Вострикова, мы бизнес-аналитики в Х5 Tech. Мы любим инструмент User Story Map (карта пользовательских историй или USM), проводим по нему воркшопы в X5 и хотим поделиться своим опытом.

В статье рассказываем, как на этапе Discovery (начальный этап проработки задачи, на котором выявляются основные требования и анализируются поставленные бизнес-цели) прорабатывать большие инициативы, используя USM. 

Фокус делаем на практическом использовании карты и на что обращать внимание при построении USM. Мы собрали возможные сложности, разобрали конкретные кейсы и описали варианты взаимодействия с заинтересованными лицами. 

До ковида лето было не лучшим временем для IT-специалистов. Душные забеги на работу, с работы, и хорошо, если в обеих локациях был кондиционер. Отпуск скрашивал жизнь, но лишь на пару недель из тринадцати. Сейчас всё поменялось: в X5 Tech преобладают удалёнка и гибрид. Больше возможностей интересно прожить не только отпуск, но и весь тёплый сезон.

В более свободном графике человеку проще делать именно то, что хочется, раскрыться по-настоящему. Это может дать начало реально интересной и увлекательной истории, которая вдохновит тех, кто узнает о ней.

Мы хотим поделиться этой мотивацией с вами и собрали истории сотрудников X5 Tech из разных городов о том, как они провели это лето. А ещё — нам очень интересно узнать вашу собственную историю. Читайте и делитесь рассказом о своём лете в постах и комментариях. Более подробно — под катом.

Хабр, привет! Сегодня обсудим, как проверять много гипотез в одном эксперименте. Разберёмся, почему растут вероятности ошибок. Познакомимся с метриками множественного тестирования и поправками, которые позволяют их контролировать. Узнаем, как оценить необходимый размер групп и повысить чувствительность.

Привет! Меня зовут Денис, я продуктовый дизайнер в X5 Tech. Последние несколько месяцев мы, вместе с коллегами приводили в порядок, рефакторили, чистили и доводили до ума дизайн-систему внутреннего бэк-офиса X5 для личного кабинета сотрудника. Расскажу, на какие подводные камни мы наткнулись, к чему готовиться и зачем вообще заниматься рефакторингом в дизайне.

Всем привет, меня зовут Александр Москвин, я начальник управления эксплуатации X5 Облака в X5 Tech. У меня несколько зон ответственности, но важнейшая из них – это обеспечение доступности облачной инфраструктуры Х5.

Конечно, для того, чтобы управлять доступностью, необходимо оцифровать этот показатель. Статья родилась из жарких дебатов по целевым показателям доступности частного облака X5 и серии больших внутренних митапов, посвящённых этой теме. Кажется, что результатами стоит поделиться с сообществом, т. к. накопилась критическая масса материалов и выводов. Мысли  будут полезны менеджерам, принимающим решения, и solution-архитекторам для переговоров с заказчиками, лидам команд инфраструктуры и разработки. К сожалению, получился лонгрид, так как охватить все аспекты данной темы короткой статьёй не выйдет.

Привет, Хабр! Меня зовут Сергей Смирнов, я аналитик в продукте CVM в X5 Tech. Я занимаюсь разработкой инструмента анализа A/B экспериментов. Мы ежедневно считаем десятки метрик для сотен экспериментов на десятки миллионов клиентов –- это терабайты данных, поэтому наш инструмент разработан на Spark.

В последнее время мы заметили, что существенную часть времени работы наших Spark-приложений занимает обмен данными (Shuffle) между исполнителями. В этой статье я расскажу о том, какие оптимизации помогли нам избавиться от самых тяжёлых операций Shuffle. Речь пойдёт не только о BroadcastJoin, но и о двух других неочевидных методах – предварительное репартицирование и бакетирование.

Когда знакомые узнают, что я недавно освоила профессию технического писателя, то награждают удивлёнными взглядами. От художественных и даже публицистических произведений документация кажется слишком далёкой, а общего разве что корпение над текстом, которое лежит в основе обеих профессий.

Кажется, что дороги художественного и технического писателей никогда не пересекаются. В этой статье я расскажу, почему у них гораздо больше общего, чем кажется на первый взгляд. Статья может пригодиться журналистам, писателям, копирайтерам и другим гуманитариям, которые хотят освоить профессию технического писателя и начать работать в IT-компании.

Всем привет! На связи команда AI-Run из X5 Tech, мы занимаемся генеративными сетями в целом и языковыми моделями в частности. В этой статье мы опишем наш опыт работы с большими языковыми моделями (LLM), их внедрение для обработки корпоративных данных, а также поделимся нашими результатами и выводами.

Ещё мы расскажем о нашем подходе к использованию LLM, подробно остановимся на методе Retrieval Augmented Generation (RAG) и рассмотрим примеры использования чат-ботов на корпоративных порталах X5.

Эта статья будет полезна разработчикам, которые интересуются внедрением LLM для работы с корпоративными данными. Она основана на нашем выступлении на митапе, но не ограничивается им, а, скорее, дополняет его. 

Сегодня мы можем позволить себе веб-страницы, весящие больше, чем оригинальный DOOM, и объём вычислений для их рендера, которого хватило бы для взлома Энигмы. В век технологического изобилия уже не так ценишь байты и флопсы. Единственный по-настоящему ценный ресурс — это люди, и современные разработчики готовы биться за этот ресурс, как Джон Кармак бился за каждый такт процессора.

30 мая прошла конференция X5 Future Night, где более сорока спикеров рассказывали о передовых технологиях ритейла, помогающих привлечь и удержать покупателя, максимизировать его удовлетворение и свою выгоду. Запись всей конференции можно посмотреть на досуге, а в этой статье хотим подсветить несколько технологий, которыми X5 Tech особенно гордится.

Привет, Хабр! Меня зовут Саша Новицкая, я ведущий дизайнер продукта в Х5 Tech. Занимаюсь B2B продуктами и дизайн-системой. Хочу рассказать о том, как мы вместе с техническими писателями разрабатывали и дорабатывали наш ToV (Tone of Voice). И даже поделимся результатом нашей работы в виде гайда. А помогать мне в этом будет мой соавтор и менеджер направления «Разработки технической документации» Х5 Tech Настя Московкина.

Мы проделали эту работу год назад, но только сейчас созрели написать статью об этом. Дисклеймер: чтение этой статьи может затронуть чьи-то чувства или описать ситуации, которые противоречат вашему мнению. Мы, авторы, не претендуем на истинность наших высказываний. Вы также можете поделиться своим мнением в комментариях. 

Привет!

Использование LLM все больше проникает в бизнес. И ритейл — не исключение. В X5 мы решили сделать небольшую методичку по prompt engineering для обычного бизнес‑пользователя. Мы посмотрели на получившийся результат и решили поделиться этой методичкой с сообществом, чтобы как можно больше людей смогли овладеть разными техниками, позволяющими работать с LLM эффективнее.

Для этого нам сначала придется разобраться с тем, как вообще устроены LLM, затем поговорим о промптах: общие принципы построения, техники оптимизации и промпты для изображений. А на десерт предложим вам продвинутые техники работы с LLM: автоматизированные подходы по улучшению промптов, Retrieval‑Augmented Generation и разметка данных для ML с помощью LLM.

Привет, Хабр!

Ранее мы рассмотрели вопрос применения подходов Reinforcement Learning в ценообразовании в разрезе одного товара. В этой статье покажем, как можно применить RL при наличии ограничений на группу товаров при помощи оптимизации с ограничениями.

CUPED и стратификация — два метода повышения чувствительности А/Б тестов. При первом знакомстве с ними часто возникают вопросы. В чём их отличие? Кто из них лучше? Чем пользоваться? Разберёмся с этими вопросами на примерах.

Хабр, привет! Меня зовут Антон, я дизайнер b2b продуктов в X5 Tech. Мне нравится моя работа и я стараюсь проектировать реализуемые интерфейсы, поэтому постоянно закапываюсь в технические нюансы.

Я неоднократно сталкивался с необходимостью создания загрузочных экранов на веб-продуктах, с которыми я работал. И хочу поделиться с вами своим опытом, наблюдениями и рассуждениями по этой теме. В статье  затрагиваю технические аспекты и даю классификацию загрузочных экранов, а заодно, помогаю выбрать оптимальный вариант для вашего продукта.

Привет, с вами команда аналитиков “Пятёрочки” X5 Tech. Как вы уже знаете, мы активно внедряем решение AppMetrica для мобильной аналитики. В AppMetrica есть модуль для проведения A/B тестов на приложении – называется Varioqub, который является, в том числе, платформой для A/B-тестов в Яндексе. Varioqub грозится стать одним из основных инструментов для проведения тестов в рамках бизнеса на территории России и СНГ, при этом не только на приложениях, но и на вебсайтах. Поэтому было бы полезно знать, как он работает, учитывая, что под капотом данная A/B-тестилка использует такой статистический критерий как Mann-Whitney. Если вы хотите понимать способ подсчёта результатов ваших тестов и иметь их интерпретацию лучше, чем “сумму рангов”, то эта статья для вас.

Мы начнём с Mann-Whitney, по ходу разберём ещё два критерия, таких как Probability Index и ранговый тест Wilcoxon, которые помогут нам всё расставить по полочкам. Дальше мы коснёмся важных замечаний относительно этого теста, рассмотрим, как это решает Varioqub, и перейдём к самому Varioqub.

Привет! Меня зовут Настя, я старший системный аналитик в X5 Tech. Я рисую sequence-диаграммы каждый день на протяжении четырёх лет. За это время я прошла все круги ада по Данте, то есть попробовала разные инструменты для рисования этих самых диаграмм. Пока не встретила его – PlantUML. 

Что удивительно, инструмент довольно не новый, но тем не менее лучше него я пока не встречала. А ещё удивительно, что он не особо популярный. Когда мы запустили в управлении системного анализа первый воркшоп по PlantUML, за 3 минуты после анонса пришли 12 заявок от аналитиков разных грейдов – от Junior до Lead. 

В процессе подготовки материалов к воркшопу мы искали статьи и литературу, которые помогли бы дополнительно изучить sequence-диаграммы в PlantUML. Ничего интересного мы не нашли. 

На самих воркшопах участники часто говорили о том, что они пытались самостоятельно изучить PlantUML, но их пугало то, что нужно писать какой-то код и учить какой-то синтаксис. Документация достаточно обширная, но информации о том, как последовательно строить sequence почти нет. 

Поэтому и появилась эта статья. 

Привет, Хабр! Меня зовут Анна, я начальник управления поддержки проектов и клиентских сервисов в X5 Tech. Последние 16 лет я работаю в области сопровождения, и для меня одним из самых загадочных этапов в поддержке всегда был процесс приёма нового функционала. Ты как будто берёшь кота в мешке: вы ещё с ним не знакомы, он не приучен к лотку, ты не знаешь его возраст, цвет и как сильно он кусается.

У нас получилось кардинально изменить один из подходов в разработке, а именно – процесс передачи решений в централизованную поддержку. Для этого мы провели с коллегами 50+ интервью, на расшифровку которых у нас ушло 120 часов, выпили 20+ литров кофе, выявили около 40 проблем, написали 80 выводов и выдвинули 30 гипотез возможных решений. Что именно мы сделали в итоге для бесшовной передачи сервиса в централизованную поддержку под ключ – читайте под катом.

Всем привет! Как и во многих других компаниях, в X5 существует огромное количество данных, зависящих от времени. Такие данные принято называть временными рядами (time-series). Это могут быть данные о продажах в магазинах, об остатках на складах или об удовлетворенности клиентов. Используя эти данные, мы хотим искать инсайты и приносить пользу бизнесу.

Бутстрап является ценным инструментом — он позволяет генерировать множество синтетических выборок из исходных данных, на основе которых мы можем оценить распределение интересующей нас статистики и построить доверительные интервалы. Например, если нужно определить доверительный интервал для медианы или какого-то другого квантиля предсказаний, бутстрап позволяет это сделать, даже когда прямое аналитическое вычисление невозможно.

Для временных рядов бывает полезно оценить границы, в которых находятся параметры модели, из которой получен ряд. Кроме того, часто необходимо посчитать доверительный интервал, в котором находятся предсказания для объекта с использованием моделей машинного обучения. Однако обычные методы бутстрапа не подойдут для временных рядов, так как они не учитывают структуру таких данных.

В нашем обзоре мы рассмотрим, как различные модификации метода бутстрапа учитывают структурные особенности и зависимости в данных временных рядов. Особое внимание будет уделено объяснению, почему нельзя применять стандартный подход бутстрапа к временным рядам без учёта их структуры. Затем мы перейдем к обзору методов, которые позволяют эффективно решить эту проблему.