Такая разная онлайн-реклама. Три топора vs. AI, Ad Tech и DOOH



    «Лучшие умы поколения заняты тем, как заставить людей кликать мышью по рекламным объявлениям, — сказал мне Джефф Хаммербахер, ранее инженер Facebook. — Ужас…», — Илон Маск (Tesla, SpaceX и дорога в будущее).

    Наши умы в IPONWEB заняты тем же.

    И вот вроде у нас умная бизнес-логика, принимающая решение о том, какую рекламу показать пользователю, мощные кластеры для анализа больших данных, сложного склеивания и матчинга на лету, обучающийся алгоритм, предсказывающий клики, конверсии и даже потенциальную цену, сложный алгоритм подсчета бюджета, который умеет оптимизировать ставки в режиме реального времени, … а представление о рекламных технологиях в Рунете все равно формирует Азино 777. Не надо так, подумали мы, и решили начать рассказывать на Хабре о настоящих рекламных технологиях.

    Область, в которой мы работаем с 2007 года, называется AdTech, «рекламные технологии». Она очень разнообразна и постоянно развивается, в неё вовлечены сотни тысяч компаний по всему миру — от маленьких «карманных» рекламных агентств до гигантов большой тройки (Google, Facebook, Amazon). Мы специализируемся на programmatic-рекламe, что подразумевает автоматизированную алгоритмическую закупку или продажу рекламы. Сегодня эти технологии уже внедрены в спутниковом и цифровом телевидении, на улицах в виде цифровых билбордов, в такси, самолетах, на экранах в торговых центрах, в интернет-радио и онлайн-играх. В общем, везде, где есть люди, есть реклама, а где есть реклама, можно использовать programmatic.

    По прогнозам eMarketer, 86% всей цифровой рекламы в США в 2020 году будет покупаться через автоматизированные платформы. Если «включить Дудя» и перевести это всё в деньги, то получится 65 миллиардов долларов — и это только в США. В России объём рынка programmatic-рекламы меньше в 20 раз, но и он растёт на 22% в год, несмотря на кризисы.

    На картинке ниже представлены крупные игроки рынка маркетинга и рекламы, часть из которых формируют глобальный рынок programmatic-рекламы, (всего около 6800 компаний) «с высоты птичьего полета». Если вы зачем-то хотите рассмотреть каждого в отдельности, то вот картинка в высоком качестве ТЫЦ.



    С 2010 года рынок programmatic начал быстро расти, всё больше денег перетекало туда из традиционных рекламных каналов — и начался бум AdTech-а, RTB и вот этого всего.

    AdTech — одна из самых быстро развивающихся индустрий в мире, тут нельзя стоять на месте, потому что рынок стремительно насыщается новыми игроками.

    А мы тут причём?




    Сегодня IPONWEB разрабатывает софт для нескольких десятков компаний: (DSP и SSP), которые монетизируют рекламу для своих клиентов (рекламодателей, агентств, обменных сетей, владельцев сайтов) или для этих же клиентов напрямую (в числе таких, например, компания Automattiс, разработчик WordPress.com), вне зависимости от того, идет ли речь о том, чтобы показать рекламу конкретному пользователю или о том, чтобы наиболее выгодно продать рекламное место, мы делаем решения и для тёмной, и для светлой стороны для обеих сторон рынка.

    У каждого клиента своя бизнес-модель и уникальные задачи, они работают с разными компаниями, с разной аудиторией, с разными видами рекламы (баннеры, видео, текст, нативная реклама, интерактивные форматы, билборды), источниками трафика (сайты, мобильные приложения, наружная реклама, игры, телевизор, лок-скрины смартфонов) и на разных рынках, нам очень важно понимать специфику на техническом и бизнес-уровнях и затачивать систему под конкретного клиента.

    Упрощенно все взаимодействия внутри системы сводятся к следующему (на примере платформы, которая покупает рекламу):

    1. Принять решение, какую рекламу нужно показать прямо сейчас и сколько за неё заплатить.
    2. Сохранить информацию о том, какая реклама была показана, обработать её для дальнейшего использования в машинном обучении и показать в отчете.

    Большинство этих взаимодействий построены по протоколу openRTB, работающим в режиме реального времени.

    RTB уже в телевизоре и на улицах




    Онлайн-реклама вовсе не ограничена только рекламой на сайте или в приложении, её можно показывать на любом девайсе, который хотя бы иногда подключается к сети, чтобы получить информацию о сыгранных аукционах или заключённых сделках. Мы уже делаем проекты для показа персонализированной и автоматизированной рекламы на кабельном и умном телевидении и в публичных местах, это называется Digital Out Of Home, сокращенно DOOH.

    С этими дисплеями возникает спектр новых задач, ведь тут нет пользовательских cookie-файлов, здесь данные об аудитории нужно получать другими способами, измерять показы — тоже. С другой стороны, в публичных местах выше требования к безопасности рекламы, нежелательную рекламу сразу увидят тысячи человек, в том числе дети, поэтому нужно настроить систему предварительной проверки рекламы и продавать её через приватные сделки.

    Как и programmatic-DOOH, programmatic-TV — это ещё далеко не мейнстрим, по подсчётам eMarketer в 2018 году всего 3 процента телевизионного инвентаря продано через автоматизированные аукционы, большая часть рекламы все ещё продаётся в виде традиционных контрактов, заключённых в отделе продаж канала, в офисе или по электронной почте, а планируется в таблице в Excel. Но, учитывая проникновение TV в жизнь людей по всему миру, этот сегмент programmatic-рынка очень перспективный и быстро растет — в тех же США за последние 5 лет объём закупок рекламы через programmatic-TV-канал вырос в 7 раз, до двух миллиардов долларов, а в 2019 году обещает показать прирост почти в 100%.

    А на чём все это написано?




    Конечно, чтобы решать такой спектр задач, требуется много разных технологий:

    • В основе всей системы лежит высоконагруженный HTTP-сервер, написанный на C++, он обрабатывает запросы на показ рекламы, запросы на ставки в режиме реального времени и пишет логи. Много логов. Терабайты логов в день.
    • Бизнес-логика написана на Lua. Она определяет, как будут обрабатываться запросы, какой креатив пойдет в аукцион, кто пройдет таргетинг и какой, какова будет ставка, кто победит.
    • В качестве хранилища пользовательских данных используется MongoDB/TokuMX.
    • Логи обрабатываются и трансформируются в агрегаты при помощи Hadoop/Spark, агрегаты содержат подсчитанные по уникальным ключам и очищенные от дублирования данные для работы других компонентов, например, предсказывающего вероятность события алгоритма и приложения, которое оптимизирует величину ставки. Все это делается в нашем собственном ETL-кластере, написанном на Java и использующем Apache Spark.
    • Остальная оффлайновая работа с логами, например, склеивание и сопоставление записей по определённому алгоритму, делается внутренним сервисом, написанным на Java/Scala.
    • Пользовательский интерфейс представляет собой сочетание Python/Django на бэкенде и Angular+TypeScript на фронтенде.

    Есть ещё какое-то количество сервисов, систем мониторинга, работы с данными, построения метрик и репортинга, но в рамках этой статьи не хочется бегать галопом по Европам, задайте в комментариях вопросы о конкретных компонентах, и мы сделаем о них более развёрнутый материал.
    IPONWEB
    62,00
    Компания
    Поделиться публикацией

    Похожие публикации

    Комментарии 24

      +1
      Почему после того, как я уже себе купил ботинки, мне продолжают их показывать? Покажите мне шнурки или там крем для обуви.
        +3
        Попробуйте поискать шнурки или крем для обуви.
          0
          Нажмите Alt+F4
            +3

            А лучше всего поставить блокировщик рекламных баннеров и спама.

          +3
          Когда такое происходит (это называется ретаргетинг, когда показываются уже просмотренные товары из каталога или сопутствующие им товары), это значит, что бизнес-логика ретаргетинга настроена неправильно.

          Хороший рекламный сервер с качественной бизнес-логикой умеет удалять пиксель, поставленный в момент просмотра товара «Ботинки кожаные» после того, как логируется событие «покупка», а затем динамически в креатив (рекламная картинка, баннер) проставляет, например, сопутствующие товары. Кроме того, иногда платформы покупают внешние данные у третьих сторон, где у вас проставлен соответствующий сегмент, они могут быть не так актуальны, «как данные из первых рук».
            +1
            Я все жду этого волшебного времени, когда мне начнут показывать не только то, что я смотрел. В любом случае, спасибо за информацию :-)
            +1
            That's all folks
              +2
              Правильно поставленный вопрос звучит так: «Почему до сих пор есть люди, у которых не установлена баннерорезка?»
                +2
                Можем кстати сделать статью с аналитикой внутренних данных о том, какой процент юзеров до сих пор не блокирует рекламу, какие изменения произойдут, когда гугл введет встроенный блокировщик, и даже интереснее, как иногда платформы обходят эти блокировки и даже таргетятся на тех, кто заблокировал рекламу. Интересно было бы?
                  +3
                  Конечно. Война щита и меча — всегда интересно.
                    0

                    Плюс один. Было бы круто!

                  +1
                  Возможно, вы купили их не на том сайте, который вам рекламировали. Факт конверсии/покупки не зафиксирован, и вас продолжают ретаргетить.
                  +2
                  Мне вот ничего не показывают.
                  Все чистенько, беленько, красивенько.
                  А когда особо ушлые показывают «Отключите блокировку рекламы», я отключаю «Жаба скрипт» и они уже такого не показывают :)
                    0
                    я отключаю «Жаба скрипт»

                    и потом они такие: «Включите, а то сайт не может правильно работать»
                      0
                      Тогда идем на другой сайт. Благо их куча разных.

                      Я не против рекламы. Когда реклама размещена на самом сайте, блокировщик ее пропустит. А когда ее разместили гармонично и она не мешает просмотру, то она совсем не раздражает.
                      А мы что видим? Мигающие сиськи — письки на весь сайт и нереальная куча трекинга.
                      Должно быть чувство меры и приличия у владельцев сайтов и рекламщиков.
                      У кого оно отсутствуют — вымрут в процессе естественного отбора. И поделом!
                    +2
                    Вот я думаю, что в одной популярной соц сети тоже всякие продвинутые алгоритмы и всякое машинное обучение используется. Однако, недавно мне показывали рекламу концерта одной группы, которую я не слушаю, нажал «больше не показывать это объявление» — и мне показывали рекламу этого концерта ещё недели две )).
                    Причём, такое поведение встречал уже не первый раз.
                    Предположу что алгоритм там настроен не для того чтобы более эффективно показывать рекламу, а чтобы как можно больше её продать. Другой внятной версии пока не придумал.
                      +1
                      Есть хинт: на баннере с подобными действиями (больше не показывать эту рекламу) рекламных сетей, как правило есть название рекламной сети, например, AdSense, Criteo, AdChoices и т.д., можно зайти в своем браузере и очистить куки и трекинговые метки конкретной сети, ну и вообще интересное мыслительное упражнение — посмотреть кто тебя трекает, что хранит, можно использоват какой-нибудь Cookie Manager. Если это AdSense там можно настроить рекламные предпочтения, но поскольку это рекламная сеть, а не платформа, там нет никакого интеллектуального алгоритма в основе, просто таргет на количество показов баннера с настроенным таргетингом на время, возраст, гео. В этом вы правы.
                      0
                      За рассказ – спасибо, занимательно.

                      Есть для вас один кейс:

                      идёт человек в интернет-каталог и ищет группу товаров, чтобы поинтересоваться и сделать выбор, или конкретный товар. Если желаемые характеристики примерно определены, ищется наиболее низкая цена. Однако, после такого поиска с высокой вероятностью можно увидеть баннеры с предложениями по цене от средней и выше.

                      Вопрос: на что вы, как организаторы и продавцы рекламы, рассчитываете? На то, что принявший решение соблазнится ярким шрифтом на баннере или Весьма Убедительным Набором из трёх-четырёх слов, и на этом основании согласится переплатить?
                        +1
                        Сразу уточню самое важное, мы не продаем рекламу, а только делаем платформу в соответствии с бизнес-задачей клиента (это примерно как О, ты работаешь в Яндексе? Ты что таксист?), поэтому конкретная рекламная кампания — это соображение конкретного адопса, который настраивал кампанию, дизайнера, который рисовал баннер или монтировал видео, маркетолога, который изучал ЦА, агентства, которое выбирало, какой сегмент пользователей закупить, где показать рекламу, на каких сайтах. Мы можем только обеспечить, чтобы этот самый баннер выиграл в эти 100-300 миллисекунд аукцион в платформе, за счет алгоритма подбора ставки, предсказания вероятности события на основе исторических данных, насыщение запроса данными, чтобы принять более верное решение и т.д.
                        0
                        Да уж, рекламные технологии, по крайней мере в нашем интернете оставляют желать лучшего. Как бы мне не хотелось высказаться нецензурно, но постараюсь описать, что меня так сильно бесит. (Если это вообще кому-то интересно).
                        По моему алгоритм крайне туп. Мне постоянно показывают рекламы именно тех товаров которые посмотрел, ну это и ладно, логично, НО ЗАЧЕМ мне показывать их именно В ТОМ магазине в котором я уже смотрел. Обычно я захожу на сайт, ищу там нужный мне товар. Смотрю цену, наличие. И всё, тут же мне на всех баннерах показывают картинку этого товара именно в этом магазине который я смотрел. И в чём тут интеллектуальность алгоритма? Мне кажется тупее даже придумать сложно. Ну ладно бы показывали мне другие магазины, я хоть сравнил бы цены. Но нет, ИМЕННО те же самые магазины в которые я сам захожу. И вообще я жутко устал от рекламы, от её количества в жизни. Плакаты везде и всюду. В подъездах, в лифтах, на сиденьях в автобусе, телевизор, интернет. Причем реклама вся одна и та же, которую я уже миллион раз видел, ну зачем мне её еще и еще подсовывать, ну должен же быть какой-то край, если я 10 раз её посмотрел и каждый раз не искал и не покупал этот товар, то зачем мне еще её показывать.
                        Так же устал от того, что мне ничего не предлагают нового, а только ТО что я сам ищу. Ну какой смысл в этой рекламе, я уже закольцован в одних и тех же интересах. Сложно вырваться из этого пузыря. В ютубе предлагают одни и те же ролики, Месяцами он мне предлагает их посмотреть. Ну если алгоритм был бы поумней, можно же было понять, что не хочу я это смотреть. В общем наболело. И самое страшное, что дальше будет только хуже. Старые методы рекламы никуда не деваются, а новые не перестают появляться.
                          +1
                          Именно те же самые магазины показывают потому, что каждый отдельный рекламодатель думает только о себе, настраивая рекламную кампанию, они как «Джо не делится едой», не шарят данные с вашими интересами, с историей посещений. не шарят айдишники пользователей, сейчас индустрия движется потихоньку к единому uuid, но это во-первых, за рубежом (у нас нет клиентов в России, потому что RTB и премиальные автоматизированные продажи рекламы в России еще в зачаточном состоянии), во-вторых, еще только в процессе обсуждений.
                            0
                            да магазины то понятно. Но сам яндекс, (или что там за мной следит, не знаю) понимает на какой сайт я зашёл и по идее должен предложить какую-то альтернативу. Выбрать из своей базы рекламодателей что-то похожее, но не именно то же. Я вот еще заметил, что в поисковике искать не обязательно, браузер видимо просто сканирует текст на экране и подсовывает рекламу того, что просто встречалось в тексте какой нибудь статьи.

                            А еще есть особенность, что если жена у себя на телефоне поищет полотенце в интернете, то и мне система будет подсовывать рекламу полотенец, так мы узнаём о потребностях друг друга )))
                              +1
                              Да, то, о чем ты говоришь, “сканирует текст на экране и подсовывает рекламу того, что просто встречалось в тексте какой нибудь статье” — это таргетинг на IAB категории, так называемая таксономия контента, все статьи, видео и другой контент на сайтах индексируются, им присваивается иерархия категорий, потом на категории ака “темы статей, что ты читаешь“, таргетируются рекламодатели при настройке своих кампаний.

                              А по поводу “жена ищет полотенца“, это довольно крутая и интересная в техническом плане задача кроссдевайсного таргетинга, чтобы правильно генерализовать или наоборот персонализировать показы, а именно — матчить твой пользовательский айдишник на только твоих девайсах и правильно вырезать если девайс публичный, допустим, в отеле или библиотеке, большой семье.
                            0
                            Ну не знаю, мне сыпят разное. После запроса «радиатор led 50ватт» во всю пошли лазерные станки по дереву с 50 Вт лазерами и алюминий в розницу (круг, рифленый лист и немного профиля)

                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                          Самое читаемое