Бенчмарки и метрики сравнения с продуктами-конкурентами как инструменты повышения качества приложения

Привет, Хабр. Я всё тот же разработчик, приложения для поиска и сравнения цен по маркетплейсам, интернет‑магазинам и классифайдам.

В прошлый раз я рассказал, как привлек бесплатно несколько тысяч новых пользователей. Но просто привлечь пользователей это одно, а вот сделать так, чтобы они регулярно начали пользоваться приложением и рекомендовали его другим — это задача со звездочкой. Расскажу в этой статье, как я ее решал.

Для решения этой задачи продуктовые команды используют термин Product Market Fit (PMF) — это состояние, когда продукт удовлетворяет реальную потребность (ее часто называют «боль»), вызывая активный спрос у целевой аудитории. При этом, пользователи не просто пробуют продукт, а регулярно используют, платят за него и рекомендуют другим, демонстрируя его ценность.

Для пользователей сервисов сравнения цен PMF = Сервис экономит время и деньги. Без этого пользователи уйдут к конкурентам или в обычные поисковые системы.

Для своего приложения, анализируя поведение пользователей, я заметил, что первым делом меня проверяют на том, что недавно покупали, и если я теряю товары с минимальной ценой, то это приводит к недоверию и отказу от дальнейшего использования.

Таким образом, в моем приложении основной блокер начала использования сервиса и один из ключевых для PMF — сервис не находит минимальную цену/предложение, о котором явно пользователь знает и использует для первичной проверки.

Самый очевидный способ устранения данного блокера — брать запрос пользователя и проверять потеряли ли мы минимальную цену или нет.

Но этого мало, нужно понимать насколько твой продукт по ключевым метриками для PMF лучше/хуже альтернативных способов удовлетворения потребности Пользователей (читай — конкурентов) и регулярно отслеживать рэнкинг по этим метрикам. Для этого, команды отвечающие за продукт, проводят бенчмарк или бенчмаркинг.

Его суть — сравнительный анализ процессов, продуктов или стратегий с эталонными показателями конкурентов, лидеров рынка или даже других отраслей. Цель — выявить «разрыв» в эффективности и найти способы его устранить.

Так как никаких открытых бенчмарков для сервисов сравнения цен я не обнаружил, то отложил ненадолго разработку в сторону и потратил время, чтобы сделать такой бенчмарк. В конце концов, без бенчмарков легко начать думать, что твое детище и так прекрасно)

Начнем с главного вопроса — С кем сравниваться? Каким образом обычный пользователь может удовлетворить потребность покупки подходящего товара по лучшей цене?

Очевидный набор — WEB поиск, сервисы сравнения цен. Это понятно.

Из неочевидного обнаружил, что крупнейшие банки в России (да и не только — привет Capital One в Штатах с собственным сервисом сравнения цен) тоже начали запускать сервисы агрегации товарных предложений, поиска и покупки внутри своих супераппов. Очевидно, отвечая на угрозу со стороны банков маркетплейсов, таких как Озон Банк и Wildberries Банк.

Еще один неочевидный участник рынка агрегации товарных предложений и сравнения цен — ChatGPT и аналогичные сервисы. Все наверняка знают, что они отъедают трафик у классического WEB поиска такого как Google или Яндекс, но не все знают что:

1. У многих из них есть специальные режимы отображения ответов для сравнения цен на товары, авиабилеты и отели. Типичный price‑comparison с карточками товарных предложений, вот как это выглядит для ChatGPT.

2. Perplexity уже запустил свой браузер с блэкджеком и девицами AI агентом, который находит, сравнивает и покупает нужные товары, билеты, отели и тд. OpenAI анонсировал запуск своего браузера в двадцатых числах июля 2025 года, очевидно с аналогичным агентским функционалом на базе Operator.

Специальный режим отображения ответов для сравнения цен в ChatGPT

Таким образом, фиксируем участников бенчмарка:

1. ChatGPT. Самый популярный GenAI сервис в мире, который заявляет, что умеет в поиск выгодных цен. Со специальным режимом Сервиса сравнения цен, который он иногда ленится показывать;

2. GigaChat. Русскоязычная LLM от Сбера. Локальная альтернатива ChatGPT, которую я тоже решил протестировать;

3. Яндекс.Товары. Сервис поиска и сравнения цен на товары, встроенный в WEB поиск Яндекса;

4. Альфа‑Банк. Маркетплейс‑агрегатор внутри банковского приложения, доступен только для клиентов Альфа‑Банка;

5. Луна.Браузер. Браузер с обратной стороны луны, на которой у одного из очень крупных РФ банков, видимо, есть свой скрытая лунная база айтишников, делающих не банковские приложения ;‑);

6. Т‑Банк. Сервис сравнения цен внутри банковского приложения, доступен только для клиентов Т‑Банка;

7. Приложение YoloPrice для Android и iOS. Ваш покорный price‑comparison слуга, доступен всем без авторизации.

Еще есть Price.ru, но практика показывает, что в среднем по ценам он проигрывает основным маркетплейсам, за исключением позиций продавцов со всем известного в России рынка электроники в Москве в районе метро Багратионовская. Добавлю в следующий релиз бенчмарка.

Следующий вопрос — какие метрики использовать в бенчмарке?

Новые пользователи сервисов сравнения цен, как правило, первым шагом проверяют приложение, запуская поиск по известным для себя товарам, получая ответы на следующие вопросы:

1. Находит ли сервис искомый товар?

2. Находит ли сервис искомый товар по цене, которая не выше той, которую я знаю?

Ответы на эти вопросы дают понимание, насколько сервис закрывает базовую потребность и можно ли ему далее доверять без перепроверок.

Далее самое важное. Каждый пользователь уже как‑то удовлетворяет потребность «покупки подходящего товара по лучшей цене». Поэтому в бенчмарк обязательно нужно добавить метрику с оценкой инкрементальной ценности продукта, по которой будет видно — «А есть ли добавленная ценность к уже существующим продуктам на рынке, при этом достаточная для изменения моих потребительских привычек?»

В случае Сервисов сравнения цен — это уникальность/незаменимость, когда только этот и никакой иной сервис находит минимальную цену. То есть по логике, метрика обратная к метрике «процент потерь предложений на товары с минимальной ценой».

Ведь если все сервисы справляются с задачей одинаково хорошо, то и смысла пользователю менять свои привычки нет. Он 100% продолжит пользоваться тем, к которому привык, поиск Яндекса в Турции не даст соврать.

Итого, получаем следующие метрики для бенчмарка, привязанные к типовым поведенческим паттернам в сервисах сравнения цен:

1. Полнота выдачи ‑% запросов, в которых были найдены товары. Хотя бы одно предложение;

2. Качество поиска ‑% запросов, где сервис нашел минимальную цену;

3. Незаменимость сервиса ‑% запросов, где только этот сервис находит минимальную цену и никакой другой.

Для чего это полезно мне:

1. Ускорить выход на Product‑Market‑Fit за счет треккинга функциональных метрик;

2. Найти и приоритезировать слабые места продукта, чтобы исправить их раньше, чем пользователи начнут писать гневные отзывы и уходить в отток;

3. Актуализировать конкурентный ландшафт, в том числе и будущий — ChatGPT, GigaChat и банковские приложения: могут ли они стать конкурентами и в каких блоках функционала?

Теперь от методологии и метрик можно перейти к самому бенчмарку и его результатам.

Как я тестировал

Локации: Москва и Красноярск.

Почему так? Выбор Москвы очевиден, но этого методологически недостаточно. В Москве гораздо больше магазинов и объявлений в классифайдах, чем в любом другом городе.

При этом, бенчмарк должен охватывать все сегменты потребителей, поэтому делать замеры только по Москве — статистически некорректно, метрики явно не будут репрезентировать все население России.

Взгляд упал на редкую, по нынешним временам, купюру в 10 рублей и был взят Красноярск. Миллионник, практически географический центр России, красота.

Периоды: Москва — 13–20 июня 2025, Красноярск — 30 июня — 3 июля 2025.

Устройства: Realme Narzo, iPhone 14 Plus.

Условия: без авторизации, без персональных скидок и бонусных карт.

Набор запросов: 100 популярных товарных позиций на каждый город, в основном электроника, техника, товары для дома и немного FMCG, чтобы жизнь мёдом не казалась.

Примеры запросов: «Сумка дорожная Thule Garment Folder», «huawei watch gt 4», «кофемашина delonghi EC235», «Чай Greenfield Earl Grey 100 пакетиков», «Шоколад Ulker Дубайский с фисташковой начинкой, 93г», «Видеокарта GeForce RTX 4060 8 ГБ «, „дезодорант old spice стик 50 мл“ и т. п.

В общем, все то, что ищут обычные пользователи.

Приведу сразу итоговые метрики по всем сервисам (кроме GigaChat, забегая вперед, он пока добровольно сошел с дистанции забега).

Полнота выдачи ‑% запросов, в которых были найдены товары. Хотя бы одно предложение

Качество поиска ‑% запросов, где сервис нашел минимальную цену

Примеры: только YoloPrice нашел в Москве минимальную цену на Робот мойщик окон Даджет dBot W200, когда Яндекс.Товары и ChatGPT показали предложение на 700–1100 ₽ дороже, и ни один банковский сервис не нашел товар в наличии. А вот с поиском Аудиосистема 2.0 EDIFIER MR4 white Яндекс.Товары в Москве справился лучше всех. бумагу а4 снегурочка в Красноярске лучше ищет ChatGPT за счет того, что видит небольшие местные интернет‑магазины.

Вывод: с полнотой выдачи все хорошо у Яндекс.Товаров и YoloPrice, чуть хуже у ChatGPT, а вот с поиском минимальных цен YoloPrice справляется лучше остальных.

Незаменимость сервиса ‑% запросов, где только этот сервис находит минимальную цену и никакой другой

Вывод: на примере Москвы видно, что в среднем, для 17% поисков минимальные цены можно найти больше, чем в одном сервисе, но в остальных случаях цифры, как говорится, «на табло».

Детальный процесс тестирования

Я начал с ChatGPT.

Промпт был простой, как пишут обычные пользователи: «Найди лучшую цену на товар ___ в <город>, проверь что товар есть в наличии» (и то же самое для Красноярска).
На ChatGPT ушло больше всего времени, т.к. он все‑таки выдавал ссылки на магазины, где товара либо не было в наличии, либо цены были не актуальны. В итоге приходилось перезапрашивать, открывать каждую ссылку, перепроверять.

Из задачи быстрого сравнения цен и покупки товара, процесс часто превращался в работу асессора ответов LLM.

А что там GigaChat?

Скажу сразу: GigaChat в плане поиска цен пока не умеет ничего. На запросы цен — отправлял меня в WEB поиск / агрегаторы / на Озон, или просто отвечал «не могу помочь».

В конце серии запросов выдал резюме, почему не умеет искать товары: «У меня нет прямого доступа к данным о текущих ценах на товары в режиме реального времени, как у ChatGPT в некоторых сценариях использования».

Сэкономил мне время, упомянул уважаемого родственника (интересно какой объём данных для обучения reasoning моделей GigaChat был сгенерирован моделями OpenAI?). И на том спасибо.

Яндекс.Товары

Неплохо по сравнению с предыдущими ораторами, что абсолютно ожидаемо — сервис с долгой историей. Есть свои плюсы и минусы:

1. Отличная полнота выдачи, почти все товары находятся;

2. Понятный интерфейс и быстрый ответ;

3. Часто встречаются ссылки на товары, которых уже нет в наличии;

4. Поиск не в онлайн режиме, а только по дата фидам, поэтому цена часто устаревшая и приходится перепроверять вручную;

5. Чтобы увидеть лучшую цену, нужно каждый раз сортировать результаты по цене и фильтровать, так как сервис никогда не показывает самый дешевый вариант первым. Ох уже эта рекламная бизнес модель Яндекса :-)

Банковские приложения:

Браузер Луна (сервис сравнения цен в браузере)

1. Результаты поиска часто нерелевантны, товары не совпадают с поисковым запросом;

2. Больше половины товаров найти не смог;

3. Нет возможности искать товары и цены для конкретного населенного пункта, только для какой‑то универсальной локации, и то правда не известно, какой именно. Луна‑то не маленькая :-)

Альфа‑Банк (маркетплейс внутри приложения)

1. Предлагает ограниченный ассортимент и в основном из товаров с более высокой ценой;

2. Сэкономить в нем, увы, почти невозможно, т.к. самые выгодные цены находятся за его пределами.

Т‑банк (сервис сравнения цен внутри приложения)

1. Смог найти лишь половину из запрашиваемых товаров;

2. Цены в среднем выше, чем у Яндекс.Товаров;

3. Нет сортировки по цене, поэтому приходится просматривать всю выдачу;

4. Для Красноярка показывает предложения из магазинов, которых нет или они не доставляют товары в данный регион.

В целом, банковские маркетплейсы оставили впечатление витрины без системной пользы для экономии домашнего бюджета, но как инструмент для быстрой траты кэшбэка — вполне рабочее решение. Тем более, особо потратить его за рамками финтех экосистем некуда.

YoloPrice

1. По метрикам не подкачало, но надо немного подождать результатов поиска, это расплата за актуальность цен, остатков и поддержку персональных цен и скидок в маркетплейсах;

2. Ищет цены в онлайне и с главной задачей справляется;

Подведем итоги

Чтобы эффективно решить задачу с управляемым развитием продукта для достижения Product Market Fit, то есть не только удерживать текущих пользователей, но и сделать так, чтобы они приводили новых — нужно:

1. Досконально понимать потребность/ти пользователя, которые удовлетворяет ваш продукт. Это дает понимание альтернативных продуктов, которыми он может воспользоваться. В нашем примере — банковские приложения и ChatGPT не самые очевидные альтернативы. Но это реальные участники рынка, с очевидным потенциалом к улучшению продукта и понятными экономическими стимулами для потребителей;

2. Понимать воронку конверсии в регулярное использование, чтобы подобрать именно те метрики в бенчмарк, которые способствуют росту DAU/MAU и частоты использования продукта (DAU to MAU ratio);

3. Понимать механику перехода, с уже используемого продукта‑конкурента на ваш, дабы определить, какая метрика/ки отражают ваше уникальное и понятное для пользователя преимущество. Ему ведь надо поменять сложившуюся привычку, а это всегда не просто.