Я написал статью, свои мысли по поводу AI Ecom Ассистента.

Зачем? Причины три:

В наше время LLM и крутых ребят, которые двигают эти технологии в массы, многие думают как это использоваться в своих проекта. Я не остался в стороне и много размышлял, что можно запустить. Выбор пал на AI Ecom Ассистента. Большой рынок, хорошо работающего известного продукта нет. Быстро понял, что сделать это хорошо доступно при наличии больших ресурсов и "мозгов" и "самому" мне запуск не осилить.
Нашёл команду/компанию, у которой есть ресурсы и планы делать такого ассистента. Подготовил этот документ, где постарался подробно описать своё видение. При написании статьи старался применить подход Amazon к написанию документов PRFAQ.
Мне кажется документ получился хорошим и достаточно полным, в команду попасть не удалось, но не хотелось бы, чтобы такой документ остался пылиться на полке. Может быть кому-то он будет полезен или кого-то он заинтересует.

Перед тем, как почитать саму статью, я не могу не поделиться своими мыслями про подход PRFAQ. Это полезный подход к описанию того, что ты хочешь сделать. Не понятно, почему это не используется повсеместно и не так сильно развито (по крайне мере в моём мире). Больше всего я был приятно удивлён полезностью раздела FAQ. Я показал документ друзьям, и у них были вопросы. Я отправил документ команде, и у них были вопросы. Всё что надо сделать — это собрать эти вопросы и сделать из этого раздел FAQ. Это позволяет не переписывать каждый раз сам документа, а дописать это в FAQ, что делает документ полнее и сильно полезнее.

PR

“Поисковая компания” выпустила AI-шоппинг ассистента! Не надо больше часами смотреть обзоры на YouTube и читать статьи на сайтах. Ассистент расскажет про важные характеристики и поможет подобрать товар, подходящий именно вам, сравнить цены и условия доставки в маркетплейсах и интернет-магазинах, чтобы вы могли выбрать самые выгодные условия.

Интро

Представьте себе лучший опыт покупок, который у вас когда-либо был. Вероятно, в этом участвовал продавец, который проявил именно тот уровень внимательности, который соответствовал ситуации. Он отошёл в сторону, пока вы просматривали товар, но остался наготове, когда у вас возник вопрос. Всё время следуя вашим подсказкам, он предлагал предложения по товарам, которые вы в конечном итоге выбрали, потому что рекомендации идеально соответствовали вашим вкусам и критериям.

Можно ли пов��орить такой тип персонализированного взаимодействия в цифровой среде? Кажется, что технологии доросли до создания виртуальных помощников, которые могут решать эту задачу.

Проблема

Предположим, что вы решили заняться новым хобби — приготовление стейков. Откройте любой популярный маркетплейс или интернет-магазин и введите запрос «гриль для стейка». Давай проделаем это вместе, например, поищем в ozon.ru: «По запросу гриль для стейка найдено 1912 товаров». Ассортимент настолько большой, что из выдачи непонятно, какой из этих грилей решает мою потребность лучше всего, что, в свою очередь, сводится к вопросу: какой набор характеристик выбрать (включая цену, доставку), чтобы товар решал мою потребность, нравился мне и создавал чувство, что это то, что нужно, и я сделал правильный выбор?

Т.е. проблема, на мой взгляд, состоит не в том, что большой ассортимент, и не в том, что у товара много характеристик, а в том, что нужно знать и разбираться, какие характеристики нужны, чтобы товар удовлетворял потребность пользователя. Тогда, выбрав нужные характеристики, он, скорее всего, получит выборку из нескольких товаров и сможет быстрее принять решение.

Продолжая логические рассуждения, проблема сводится к тому, что нужно научить пользователя разбираться в характеристиках товара и понимать, какие задачи они решают. Сокращение же времени на изучение и есть основная задача, которую должен решать ассистент, что в итоге уменьшит время от осознания потребности до покупки.

Конкуренты

Прежде чем мы поговорим о решении, давайте посмотрим на конкурентов. Да, конечно, прямыми конкурентами являются маркетплейсы: Ozon, Wildberries и даже Яндекс Маркет. Фильтры, рейтинги, отзывы, гайды — всё это помогает решить проблему выбора.

Особенно хочется поговорить про непрямых конкурентов: YouTube, Instagram, сайты с обзорами. Там блогеры проделывают ту же работу: изучили характеристики, рассказали, какие из них важные, рассказали об особенностях и предложили лучшие, по их мнению, товары.

Решение

И так, как может выглядеть решение проблемы, которую мы обозначили выше?

Мне кажется, что правильно действовать так, как действует «хороший» продавец-консультант в магазине. Если обобщить логику его действий, то он итерационно, от общего к частному, уточняет потребности покупателя и на каждом шаге итерации показывает несколько разных товаров, лучших в своей категории, и рассказывает, чем они отличаются друг от друга. Это позволяет покупателю лучше разобраться в важных характеристиках и понять, какие из них важны именно ему.

Во-первых, хотел бы заострить внимание на мысли «идти от общего к частному». Такой подход позволит постепенно погружаться в категорию для её изучения, а не сразу вываливать на пользователя все данные, которые есть. Так усваивать информацию будет проще.

Во-вторых, на предложении «показывать несколько разных вариантов на каждом шаге». Разобраться проще, когда можно сравнить что-то между собой, сравнить на примере. Чем больше будет различия между товарами, тем лучше этот пример объясняет суть.

И в-третьих — «показывает несколько разных, лучших в своей категории товаров». Мне кажется, очень важно начать показывать товар как можно раньше. Нужно объединять рациональный подход к выбору товара с эмоциональным и импульсивным типом покупок. Чтобы как можно раньше помочь определиться с нужным товаром, не все из нас хотят закапывать глубоко в детали.

Идеальное решение, к которому хочется прийти — не надо больше идти смотреть обзоры в YouTube, не надо идти на сайты читать обзоры, не надо идти в маркетплейсы и интернет-магазины изучать ассортимент, отзывы. Всё это можно сделать через AI-ассистента. Он расскажет о важных характеристиках и поможет определиться с теми, которые нужны именно тебе, проанализирует отзывы и расскажет об особенностях, поможет подобрать товар и найти место, где самые выгодные условия для покупки.

Как работает

Прежде чем переходить к описанию, как может работать решение, хочу подсветить несколько важных мыслей. Первое: кажется, что чисто интерфейс чата — это не самый лучший способ смотреть и выбирать товары. Второе: AI-ассистента я бы возможно рассматривать как AI-Copilot к торговой вертикали. И третье: интересно пораскручивать голосовой сценарий.

Давайте спроектируем возможный сокращенный CJM, попробуем выбрать оборудование для приготовления стейков дома. Судя по Wordstat, напрямую такой запрос «оборудование + для стейков» (66) пишут очень мало пользователей, в основном пишут «гриль + для стейков» (4314), «электрогриль + для стейков» (651).

Действие	Результат
Вводим в поиск «гриль + для стейков».	В поиске появляется карточка ассистента с призывом помочь подобрать гриль. Исходя из логики, описанной выше, на карточке показываем категории: электрический, газовый, угольный и «лучшие» товары из каждой категории.
Кликаем по карточке	Переходим в отдельную вертикаль, где показываем уже знакомые категории с «лучшими» товарами. Пишем разницу между категориями, в чем плюсы и минусы, для каких сценариев лучше подходит. Просим выбрать ту из них, которая подходит больше. ”Лучший” товар кликабелен, можно пойти сразу идти смотреть описание и смотреть места, где лучшие условия.
Выбираем категорию «электрические».	Следующей важной характеристикой для приготовления стейка является «мощность». Делим категории на разные по мощности и объясняем, как мощность влияет на задачу, с которой пришёл пользователь. Категории: до 1800, от 1800 до 2200, от 2200 И всё также, сразу показываем «лучший» товар в каждой из категорий, который можно купить и не париться.
Выбираем категорию от 2200	И так далее …

Решение поверхностное, но я хотел продемонстрировать суть и подход. Если представить, то можно понять, что оно сочетает в себе привычный формат, когда на товарах мы показываем рейтинг, есть отзывы, но помимо этого несёт в себе и формат подборок от блогеров или обзоров, когда мы показываем подбор категорий и «лучших» товаров, выбранных нами за пользователя.

Критерии успеха

Мы уже обсудили, что сокращение времени на изучение характеристик и понимание, для выполнения каких задач они нужны, — это и есть основная задача, которую должен решать ассистент. Время на изучение — плохая хорошая метрика. Всё же конечная цель — это за счет сокращения времени на изучение быстрее довести покупателя до покупки.

Главная метрика, которая отражает, насколько сервис хорошо помогает продавать товар, — это общепринятая метрика GMV. Успех или неуспех буду мерить именно по этой метрике. Если продукт будет растить эту метрику для всего поиска, это будет означать, что он полезен пользователям, поиску и магазинам.

На какие ещё метрики я бы смотрел и что буду собирать, чтобы понимать, что происходит в продукте:

DAU / WAU / MAU — количество пользователей, которое пользуется продуктом.
Assist Share — какую долю Ecom-запросов покрывает ассистент. Метрику считаем как отношение количества пока��ов ассистента к количеству Ecom-запросов.
Assist Buy Funnel — полная воронка от показа в поиске до покупки. Факт продажи логировать, скорее всего, сложно, но раз мы умеем считать GMV, значит, с какой-то вероятностью точно можем. Если факт продажи будет сильно шумной метрикой, то будем смотреть до перехода в магазин, но хорошо бы фиксировать факт продажи. Разобью воронку на шаги:
- Activate Conversion Rate — процент активаций, считается как отношение количества переходов в AI-ассистент к количеству показов в поиске.
- Good Conversion Rate — процент переходов в товар, считается как отношение количества кликов по карточке товара (показа страницы товара) к количеству переходов в AI-ассистент.
- Offer Conversion Rate — процент переходов в магазин, считается как отношение количества переходов на страницу магазина к количеству показов страницы товара.
- Deal Conversion Rate — процент в покупку, считается как отношение количества покупок к количеству переходов на страницу магазина.
Steps AvCount — среднее количество шагов/диалогов, которое сделал пользователь, чтобы перейти в товар, что можно переформулировать как: найти интересный или подходящий товар.
Buy, Price — очень хочется логировать факт покупки и сумму покупки, чтобы считать «Кол-во покупок», «Кол-во повторных покупок», «Среднее кол-во покупок на пользователя», «Среднее чек». Все эти метрики, как вы понимаете, напрямую влияют на GMV.
Retention Rate — процент пользователей, которые воспользовались AI-ассистентом и вернулись в поисковый сценарий и воспользовались AI-ассистент ещё раз.

Я выбрал именно эти метрики, считаю их самыми важными. Остальные метрики, за которыми тоже надо следить, либо используются для расчета этих, такие как «кол-во переходов в ассистент», «кол-во показов товаров» и т. д., либо будут уже подметриками внутри этих, такие как «кол-во диалогов», «средний чек на пользователя», «CTR позиции карточки предложения магазина» и т. д., и будут влиять на эти основные.

Реклама

Если за счёт роста ценности для пользователя этот продукт поможет росту использования поиска в ecom-сценариях, это может положительно повлиять на рекламную выручку. Сейчас пока непонятно, как ассистента подружить с рекламой. Может быть, это будет ещё одно коммерческое объявление рядом в подборке. Может быть уже на странице товара? Может быть, мы ещё что-то придумаем и, скорее всего, не один раз.

Преимущества и недостатки

У поисковой компании в решении этой проблемы есть очень важное преимущество, которое недоступно другим игрокам: мы вообще-то поисковая система и знаем обо всех интернет-магазинах и их ассортименте/ценах. Это позволяет нам делать более полное и конкурентное сравнение предложений для выбора лучшего варианта.

Из недостатков я бы выделил то, что не все условия нам доступны. Например, условия доставки мы не знаем, а это важная характеристика в принятии решения на покупку. Также из недостатков, что нельзя купить прямо здесь и сейчас, никуда не переходя и не разбираясь в новом интерфейсе.

Стратегия

Всё больше людей идут напрямую в маркетплейсы и магазины через приложения решать свои товарные сценарии, минуя поиск, как следствие, магазины получают мень��е заказов с поиска и несут свои рекламные бюджеты в маркетплейсы и другие каналы, а компания меньше зарабатывает.

Одно из важных свойств продукта — это то, с чем ассоциируют его пользователи и вспоминают ли о нём, когда у них возникает потребность. Люди привыкли уже к Ozon, Wildberries и помнят, что покупать надо там. Привычка — самый тяжелый барьер, о который «ломаются» многие продукты. Ассистент, который живёт в поиске — это одно, а ассистент как отдельная точка входа, в которую можно прийти за любым сценарием — это другое. Поэтому мне нравится заход Т-Банка: «Вселенная AI-ассистентов». Это не призыв к действию, это больше про определение рисков. Я предлагаю подумать над этим и держать в голове, что надо развивать для ассистента(ов) отдельную точку входа.

Полноценный AI-ассистент доступен не каждому, это дорого. Это хорошая возможность предлагать это решение для B2B, можно давать ассистента сторонним магазинам.

FAQ

Внутренний

Может быть, лучше сначала уточнить запрос пользователя, а уже потом показать финальную выборку?

Такой подход существует уже много лет, называется он Quiz, в дополнительных материалах можно найти примеры проектов. Я не вижу, что это очень массовый подход, из этого я делаю вывод, что это не самое удачное решение.

С другой стороны, если присмотреться, то описанное решение — это тоже Quiz, только доработанный. Вместо слепого и скучного выбора характеристик, я предлагаю итерационно, шаг за шагом, рассказывать, на что та или иная характеристика влияет, и демонстрировать разницу на примере товаров. Считаю такой подход более наглядным и менее скучным.

Что такое лучшие товары на каждом этапе ассистента?

Прямо сейчас, когда пользователь вводит поисковый запрос «гриль для стейков» или, используя фильтры, выбрал нужные характеристики, ему покажутся товары. Что за товары будут на первых местах? Видимо, это какие-то часто продаваемые товары в этой категории, с хорошим рейтингом, средним соотношением цена/качество. Сейчас такую выдачу «готовят» нейросети, какие точно параметры повлияли на эту выдачу, мы не знаем. Я к тому, что эта задача уже решается, и решением может быть первый товар в выдаче, исходя из заданных характеристик.

Какая прокси метрика для GMV может быть из тобой указанных?

Что делать с тем, что GMV прокрасить сложно на таких товарах? Это дорогие долгие покупки. И они часто отложены.

Полностью согласен, что GMV прокрасить сложно, тем более в рамках экспериментов. Что может быть прокси метрикой?

С одной стороны, такой метрикой может быть кол-во переходов в магазины. Чем больше мы генерируем переходов в «магазины», тем больше шанс покупки, тем больше GMV. А что, если мы теперь подбираем и объясняем так хорошо, что теперь не надо переходить и смотреть много разных товаров, пользователь переходит реже, но покупает чаще?

С другой стороны, что больше всего беспокоит «Поиск»? Больше всего беспокоит то, что поисковый трафик уходит в маркетплейсы. Поиском перестают пользоваться. Тогда рост поискового трафика на Ecom срезах — это отличная метрика, которая отражает успех. А что, если мы плохо стали решать сценарий и пользователь чаще начал возвращаться к поиску?

Выбор решения на основе метрик — это часто трейд-офф, что-то улучшаешь, что-то ухудшаешь. Надо находить баланс. В качестве прокси метрик я бы смотрел и на количество поисковых запросов, и на количество переходов в магазины. Считаю, что они хорошо дополняют друг друга.

На каких запросах показывать функциональность?

На запросах, классификация которых подходит к Ecom и на который у нас есть ассистент. Под классификацию Ecom запросов должны подходить название категории товаров (гриль, холодильник, …), дополнительные слова-маркеры (купить, выбрать, в подарок, …). Чем более явный интент на покупку и выбор, тем более интересен для нас этот запрос.

Откуда данные брать для таких диалогов?

Когда я экспериментировал сам, то я начал с того, что сделал себе GPTs (что такое GPTs, а вот мой ShopMate AI GPTs), который действует по аналогии с логикой, которую я описал выше. Через него можно набрать первые примеры диалогов и понять применимость такого подхода.

Для решения, которое будет уже тестироваться на пользователях, я бы предложил такой план:

Начал бы создавать свои данные. Можно нанять реальных продавцов-консультантов и просить их в режиме реального времени отвечать на вопросы пользователей и предлагать товары из маркета. Ста диалогов для каждой из категорий товаров было бы достаточно.
Попробовал бы найти готовые диалоги: готовые датасеты в сети, логи переписки в чатах Ecom сайтов, записи разговоров продавцов-консультантов. Сколько таких диалогов хотелось бы собрать? Конечно, чем больше, тем лучше, но на данном этапе больше важно качество таких диалогов.
Все собранные данные надо обезличить и структурировать. Сделать разметку качества и оставить самые хорошие. Разметку делал бы асессорами (силами нанятых ранее продавцов-консультантов). Критериями будут естественность, релевантность, связанность, полезность. Каждый критерий нужно будет оценить по пятибальной шкале.
Дообучил бы на собранных данных большую модель. Сгенерировал бы ещё больше синтетических данных: 10К-100К для каждого типа товара. Можно с использованием разных персон. Читал про это хорошую статью, кажется разумным такой подход.
Синтетически собранные данные нужно обелить и разметить. Тут только ручная разметка не пойдёт. Для таких случаев выбирают набор качественных реальных диалогов (у нас они есть) и оценивают с помощью метрик BLEU, ROUGE, Perplexity. Лучшие диалоги по данным метрик взял бы в тренировочный датасет.
Дообучил бы модель уже на всех имеющихся данных. Сгенерировал бы синтетические диалоги и замерил их качество. Часть диалогов взял бы для разметки с помощью асессоров, чтобы проверить качество диалогов людьми.
Этот вариант выкатил бы на пользователей в альфу/бэтту и начал бы собирать реальные диалоги в большем масштабе. Размечал бы дальше диалоги, следил за качеством. Добавил бы ещё факторов, таких как оценка диалога пользователем, клики по карточкам товаров.
На новых отобранных реальных диалогах дообучил бы модель и так далее.

Пользовательский

Почему это будет удобнее чем фильтры и сортировка?

Потому что фильтры и сортировка начинают работать тогда, когда пользователь знает, за что отвечает та или иная характеристики и какие из них важны. Если он эксперт, то AI-ассистент ему не нужен и можно пользоваться фильтрами и сортировкой — так товар, скорее всего, ты выберешь быстрее. Но если ты не эксперт, то фильтры и сортировка — это малоэффективный инструмент. Тебе нужно идти и изучать информацию о нужном типе товара, становиться экспертом, а это очень долго. Ассистент поможет тебе разобраться быстрее и не надо никуда ходить за дополнительными знаниями.

Почему это лучше, чем пойти сразу в маркетплейс или интернет-магазин?

Наше главное преимущество в том, что мы, как поисковик, знаем о товарах на всех маркетплейсах и интернет-магазинах, поэтому мы располагаем бОльшим ассортиментом, чем любой другой сайт. Помимо товаров, мы знаем, по каким ценам эти товары продаются на разных сайтах, что позволяет нам искать самые выгодные предложения.

Чем это лучше обзоров блогеров на YouTube или на сайтах?

Во-первых, хороший обзор на YouTube ещё надо найти, и прежде чем это произойдет, придется потратить немало времени. Во-вторых, блогеры могут добавлять в обзоры товары тех производителей, которые им за это заплатили, чтобы прорекламировать товар.

Мы же уже постарались проанализировать обзоры YouTube, отзывы с рейтингами на сайтах и показываем уже выжимку на основе разных источников. Такая информация более «честная», полная, и вам не надо тратить время на поиск этой информации где-то ещё.

AI E-com Ассистент