company_banner

Как мы анализируем пиццу и ваш вкус

    Прежде чем прочитать статью ниже, попробуйте ответить на вопрос: «Что такое вкусная пицца?». А теперь подумайте, что такое вкусная пицца для вашего друга? А теперь представьте, что у вас 12 миллионов друзей в 13 странах мира и вам нужно выпустить линейку вкусных пицц для них всех. Под катом вы узнаете, как мы решили эту задачу.



    Автор статьи: Глеб Котляров, 28 лет, профессионально занимается разработкой продуктов и исследованиями потребительских предпочтений. Его работа — создавать новые, оптимизировать текущие продукты и в целом изучать то, что нравится людям.

    Учился в МГУПП (Московский государственный университет пищевых производств). Работал и стажировался в Coca-Cola HBC, Perfetti Van Melle, Lactalis. Сейчас учится в аспирантуре ВНИИ крахмалопродуктов (не зря его считают экспертом по технологии производства теста).

    Философия стартапа


    Когда у тебя небольшая сеть пиццерий, ты можешь позволить себе проводить исследование на небольшой группе людей и коллегиально группой экспертов принимать решение о выпуске продуктов. Чем больше сеть, тем выше цена ошибки. Если вы выпускаете новую Деревенскую пиццу на 6-12 пиццерий, и она не пользуется популярностью у клиентов, это вызывает меньше потерь, чем аналогичный шаг на 600+ пиццерий.

    Сначала мы выбрали традиционный путь больших брендов — изучение рынка с помощью маркетинговых агентств. Выяснилось, что стоимость исследования одного продукта составляет более 2 миллионов рублей. Это значит, что на репрезентативное тестирование более чем сотни продуктов из нашей линейки уйдут сотни миллионов рублей. Помимо цены мы также были бы ограничены в количестве опрашиваемых респондентов и в скорости проведения исследований. Поэтому мы решили использовать возможности, которые даёт digital – быстрый сбор и анализ данных.

    R&Digital


    В начале этого года мы запустили новый проект R&Digital — это цифровая платформа по сбору данных о вкусе и качестве продуктов от наших клиентов, их анализу и дальнейшей оптимизации продуктовой линейки и оценке ресторанов сети на их основе.

    Чтобы качественно проводить исследование продуктов, необходимо соблюдать ряд рекомендаций международной организации ISO, например, рекрутинг случайных респондентов и комфортный для них способ сбора данных. Вспомните, как проводятся классические дегустации в продуктовых магазинах. Вы пробуете продукт и по итогам там же заполняете анкету. Нам было необходимо перенести этот опыт в онлайн. В нашем случае 71% всех заказов в онлайне проходит через мобильное приложение. Поэтому мы решили реализовать решение в нём.



    Как это работает?


    1. Мы выбираем продукт из линейки, который необходимо оценить.
    2. Если в заказе клиента есть этот продукт, после доставки на экране мобильного приложения подгружается анкета, в которой есть список стандартных вопросов о вкусе продукта.
    3. Клиент заполняет анкету, и все данные собираются в одном месте.
    4. Также у нас есть сеть тайных покупателей и фотографии продуктов из разных пиццерий. Подробнее про это вы можете прочитать в статье.
    5. На основе всех этих данных мы можем анализировать и корректировать разные показатели: вкус нового продукта, качество продуктов по всей сети, определять драйверы вкуса и использовать их в новых рецептах.

    Что даёт нам R&Digital?


    1. Как и в классическом data-driven подходе, собирая данные, мы можем лучше понимать, а в будущем и предсказывать, поведение потребителей и их вкусовые предпочтения.
    2. Теперь мы можем получать обратную связь от клиентов, считайте что ASAP. Продукт вышел в сеть, и мы сразу же начинаем получать отзывы о нём. Это позволяет быстро тестировать гипотезы и реагировать на предпочтения клиентов, а также вводить и выводить новые продукты из линейки, если они вышли удачными или наоборот.
    3. У нас и раньше существовал рейтинг пиццерий на основании оценки клиентов. Так как мы франчайзинговая сеть, с его помощью мы отслеживаем уровень качества по всей сети. Но у нас не было инструмента более глубокого анализа. Например, у пиццерии низкий рейтинг, потому что там медленно доставляют или потому что клиентам в этом регионе не нравится новая пицца? Теперь такой инструмент появился.
    4. Мы можем составлять вкусовой профиль каждого продукта, чтобы понимать, как его можно улучшить, опираясь на методологию Driver of liking (подробнее про это можно прочитать в книге Sensory Evaluation of Food: Principles and Practices). Простой пример — пицца может казаться невкусной, потому что будет очень жирной. Зная это, мы можем снизить жирность за счёт снижения количества соуса.

    Инсайты Озарения


    В первый месяц работы инструмента мы получили 6 тысяч ответов, во второй — 7 тысяч, в третий — 10 тысяч. Сейчас мы стабильно получаем по 30 тысяч ответов в месяц с 5% конверсией в заполняемость. Стоит уточнить, что среднее количество ответов по каждому продукту варьирует в пределах от 70 до 1000 (в зависимости от популярности продукта).

    Много начинки — не значит вкусно


    Не так давно мы анонсировали Деревенскую пиццу. По сравнению с большинством других пицц в ней больше начинки. Казалось бы, что ещё нужно для того, чтобы пицца стала популярной?



    Но. Мы выявили низкий рейтинг продукта и серьёзные проблемы со вкусом и сочностью.


    Соединив вкусовые данные из мобильного приложения с изображениями пицц, мы поняли, что большое количество начинки и сложность приготовления стали причиной проблем. При большом потоке заказов пиццайоло забывают поливать её дополнительным соусом после печи. Что в целом вполне понятно, ведь у нас редко бывают пиццы, которые требуют дополнительных действий на этом этапе, а работа пиццайоло предполагает большое количество механических действий при большом потоке заказов.

    В рамках работы над ошибками мы усилили контроль над поливкой Деревенских пицц, а также акцентировали внимание ребят из отдела по контролю качества на этой проблеме. Это помогло решить проблему.

    Где твои крылья, которые так нравились мне?


    У нас давно была гипотеза о проблеме куриных крыльев, которые, по нашим догадкам, могли проигрывать конкурентам, которые сфокусированы на этом продукте.

    Здесь стоит обозначить нюанс. Казалось бы, можно проанализировать продажи продукта и понять, что со вкусом крыльев есть проблемы. Но, опираясь на наш опыт, мы понимаем, что продажи не коррелируют напрямую со вкусом. Есть множество переменных, от которых это зависит — экономическая ситуация в стране, цены, скидки и тому подобное.

    Проанализировав данные, мы поняли, что все продукты и наборы, содержащие в своем составе «крылья барбекю» имеют очень низкие оценки. Сейчас мы тестируем и готовим к запуску новый продукт на замену текущему.

    Горячее лучше холодного. Сильно лучше...


    Извечные вопросы бывают не только у философов. Наша сеть давно ломает голову над некоторыми из них: «Насколько горячий продукт вкуснее тёплого? Стоит ли покупать термосумки с нагревательными элементами?».

    Для стороннего наблюдателя ответ кажется очевидным. Но когда речь идёт о дополнительных расходах для твоего бизнеса (одна сумка стоит в районе 100 тысяч рублей, в среднем на пиццерию нужно 5-10 сумок), ты 10 раз подумаешь, прежде чем сделать это. Чтобы ответить на эти вопросы, мы изучили разные выборки с разными продуктами и определили с помощью метода t-критерия Стьюдента, что даже слегка холодные продукты имеют статистически значимые низкие оценки, причём очень холодные продукты имеют катастрофически низкие оценки.



    Это позволило нам сместить фокус и погрузиться в улучшение качества сумок. Сейчас мы собираем образцы с рынка и тестируем их.

    А деньги? Какие деньги?


    Благодаря новому инструменту мы видим продукты, в которых можем оптимизировать рецептуру без потери качества. Что это значит? Например, в прошлом году мы убрали из рецептуры одной из пицц один слайс колбасы и немного сыра. После этого провели тест по методу Треугольника, чтобы выявить, как изменилось восприятие качества пиццы для наших клиентов. Выяснили, что подобные изменения никак не повлияли на вкус. При этом мы улучшили экономику пиццерии в среднем на 35 тысяч рублей.

    Мы уже оптимизировали рецептуру в трёх продуктах, что позволило сэкономить 231 миллион рублей для всей сети. Для общего понимания: объём закупок Додо в 2019 году составил более 30 тысяч тонн ингредиентов.

    В семье не без проблемных пиццерий


    Анализ данных с помощью нового инструмента позволяет выявить не только проблемные продукты, но и проблемные пиццерии. Если мы видим тренд высокой оценки продукта по сети, но низкой оценки продукта в отдельно взятых пиццериях, мы погружаемся в изучение проблематики.



    Также у нас есть система Dodo IS, с помощью которой мы управляем всеми бизнес-процессами в сети. С её помощью мы собираем данные. Опираясь на них и на данные, полученные R&Digital, можем понять, на каком именно этапе произошёл сбой. Например, мы определили, что продукты доставляются холодными по двум причинам: если долгая доставка (что очевидно) и если есть превышения хранения продукта на тепловой полке (что не очень очевидно).

    Коротко про будущее


    Как мы писали выше, R&Digital показала свою эффективность, поэтому мы планируем развивать её дальше. А именно:

    1. Увеличивать датасеты. Сейчас исследования доступны только на Android, мы планируем раскатать их на iOS. В более далёком будущем смотрим в направлении предиктивной аналитики.
    2. Сделать аналитику прозрачной. Сейчас есть только внутренние дашборды, на которых мы видим часть необходимых данных. Мы планируем сделать их открытыми для всех, начиная от поставщиков и заканчивая нашими клиентами. Поставщики смогут оценивать качество своего товара, ориентируясь на оценку наших клиентов. Клиенты получат открытый рейтинг продуктов с ранжированием по остроте и жирности.
    3. Встроить технологию в новые стартапы. Как вы могли слышать, Додо запускает два новых направления — ДринкИТ (кофе) и Донер 42 (донеры). Мы планируем масштабировать инструмент и на них.

    На первый взгляд наша разработка может показаться очевидной, но, проанализировав рынок, мы не нашли аналогов. Если у вас есть подобные примеры, будем рады вашим комментариям.
    Dodo Engineering
    О том, как разработчики строят IT в Dodo

    Similar posts

    Comments 23

      +3
      Мы уже оптимизировали рецептуру в трёх продуктах, что позволило сэкономить 231 миллион рублей для всей сети.

      Потом привыкнут и вы оптимизируете еще, потом еще, и еще раз, а там уже один коржик остался.
        0
        Уже было такое, никогда раньше не видел, чтобы начинка местами была нанесена на тесто. Видимо, наборы «3х999» не очень выгодны, раз начинку так порезали.
          0
          Эта статья подтвердила мою уверенность в том, что Додо – чисто маркетинговый проект, смысл которого в том, чтобы пицца осталась ровно настолько вкусной, чтобы её покупали, и ни на йоту больше. Средняя оценка пицц в 6 с хвостиком, и подход к статистике явно об этом говорит.
          0
          Заголовок давал надежду, что мне на основе предыдущих заказов порекомендуют то, что еще не пробовал, но должно понравиться.
          В приложении на андроид видел только оценку на весь заказ, без подробностей. Хотя заказываем не так часто, чтоб детальный анализ по компонентам давать.
          P.S. Деревенскую попробовали, понравилась.
            0
            Рекомендательная система есть в зачатках и первых тестированиях. Но, к сожалению, пока не в первом приоритете. (Мечтаю, когда она выйдет в свет.)

            В приложении скорее всего была обычная форма оценки заказа. Анкета R&Digital присылается рандомно, после оценки всего заказа. Видимо вы просто не попали в подборку.

            P.s. Спасибо! Приятно читать!
              0
              А зачем? Там вроде не такой большой выбор пицц чтобы отсечь явно «не в моем вкусе» и не перепробовать остальные.
                0
                Возможно среди отсеченных есть что-то, что могло бы и понравиться. Возможно среди неотсеченных есть те, что незаслуженно получили низкий приоритет и при редком графике покупок очередь до них не доходит.
                0
                Ага и получится как в известной истории про диваны.
                нейросеть: — кожанный мешок купил диван? значит он любит диваны. надо предложить ему еще 100500 диванов в почтовой рассылке!

                так например АлиЭкспресс поступает. Несколько месяцев подряд получал от них «купите еще один видео-регистратор».
                Нейросеть не понимает, что их всего надо 1 шт в машину. Больше не нужно!
                +4
                То что печет Додо, вообще пиццей сложно назвать. Видимо, все силы ушли в маркетинг.
                  0
                  Когда писала статью, хотела начать её с описания термина «квалиа». Рекомендую почитать, там могут интересные для вас вещи.
                  0
                  На неделе заказывали и показалось, что Чизбургер изменился. Стало хуже.
                    0
                    Будет очень полезно, если вы оставите отзыв об этом в системе после заказа. Как мы описали в статье – проблема может быть в разных местах, начиная от рецепта и заканчивая конкретной пиццерией.
                    +1

                    Статья интересная, но Додо это самая безвкусная да ещё и недешевая пицца в мск которую я только ел. В чем магия, интересно ?

                      0
                      Спасибо. По поводу вкуса – это очень индивидуальный момент. Вам он может не нравится, кому-то другому наоборот. Наша индивидуальность восприятия зарождает конкуренцию на рынке.
                      0
                      О. ну раз про тепловую полку было неочевидно, то сэкономлю вам миллион на зарплате аналитиков и дата-сатанистов.
                      Если наливать томатный суп в бумажный стаканчик — то он выливается. В принципе об этом догадываются на местах, и кладут это все в пластиковый пакет. Открываешь пакет — все в супе, половина в стакане, половина в пакете (где-то 8 случаев из 10). Не благодарите)
                        0
                        У меня к вам есть только 1 вопрос: «Вы за data-driven принятие решений или за decision-driven анализ данных?»
                        +1

                        iOS данные могут сильно поправить среднюю по палате. Учтите. И деревенская — потрясная, не убирайте! :))

                          0
                          Спасибо! :)
                          +1
                          1. Как человек с универа пищевых производств может писать, что раз много жира, то будет невкусно. Ему никто не говорил, что весь вкус как раз в жире???
                          2. Ни разу после покупки и доставки не предложили в приложении Андроид оценить пиццу: вкус, качество, температуру. Почему-то это можно сделать только ВО ВРЕМЯ доставки, то есть не получив её. Поэтому статья мне кажется липовой, факты/цифры взяты с потолка
                            0
                            1. Вкус может зависеть от наличия кислот, солей, сахаров, различных ароматических соединений и тому подобного.
                            2. Как я писала выше – сначала вам предлагаю оценить заказ, а потом могут предложить оценить вкус. Анкета по оценке вкуса выдаётся рандомно и не каждый раз после заказа, чтобы наши клиенты не устали от такого количества опросов. Надеюсь, что вы попадёте в выборку и вам тоже выпадет анкета.
                            0
                            Если действительно интересен фидбек, вот мой:
                            1. Раньше были промо акции «пицца дня», когда пицца в ресторане/на вынос была дешевле, чем с доставкой. Теперь никаких таких акций нет, стоимость одинаковая, идти в ресторан нет смысла. Рестораны у вас стояли пустые даже в час пик (до короновируса).
                            2. Раньше в додо/чизбургер пицце была настоящая говядина, теперь фарш. Вкус отличается кардинально, совсем не тот, перестал заказывать.
                            3. Засилье пицц а-ля «Крейзи пепперони» — возьмем нормальную пиццу и зальем кисло-солено-сладким майонезным соусом. Это кому-то нравится вообще?
                            4. Додстеры тоще пиццы, а пекутся в той же печи, не до конца пропекаются
                              0
                              В общем повелся на ваш маркетинг. Заказал первый раз у вас пиццу. Поскольку не знаю куда еще писать, пишу сюда.
                              Деньги с карты списались успешно, обработка платежа зависла, прошло 10 минут ничего не изменилось. Смсок и писем о списании не получил, пиццы тоже нет. На телефоне автоответчик говорит, про сбой и не принимает заказы. Написал на почту, ответа тоже нет. В общем заказал в итоге у ваших конкурентов. Надеюсь хоть деньги вернете?
                                0
                                Класс, пришла смска, пицца едет, через час получу, прошло всего два часа после заказа. Отменить заказ я не могу)
                                Я еще у вас гениальная служба поддержки на почте сидит. Ответили, что нет заказа с моим номером телефона, я указал 8(9.).., а в заказе очевидно +7(9.)… Нет такого номера.
                                Заказывать у вас больше точно не буду, впечатлений для первого раза больше чем достаточно.

                              Only users with full accounts can post comments. Log in, please.