По открытиям для сравнения посчитал.
Просто кажется, что для вас это может и быть полезнее (отправок больше — оплата больше). Но для заказчика — не факт. Тут хорошо бы про их мотивацию рассказать (если это возможно). Нужно ли больше денег суммарно от кампании, или нужен выше доход на отправку?
Может одно письмо стоит 15 рублей (я условно, это преувеличение, конечно же). Тогда для заказчика рассылка по большей аудитории окажется убытком.
P.S. В целом, молодцы, конечно. Но LSTM вроде бы не такая нестандартная модель для такого рода задач.
P.P.S. Кажется, что вашу задачу можно дальше попробовать сформулировать в терминах uplift'а.
Значимость A/B теста на чем считали? Клики, открытия, покупки?
Кажется, что доход на отправку упал: 12000 / 470 = 25.5, а 102000 / 10600 = 9.6. Или 12000 / (470 * 0.2) = 127.67, 102000 / (10600 * 0.15) = 64.15, если считать не по отправкам, а по открытиям.
Но даже плохая модель лучше, чем отсутствие модели. В прогнозировании то же самое. Плохая модель как минимум заставляет нас подумать об эффективности наших маркетинговых действий.
В сущности, все модели неправильны, но некоторые полезны
Ок, я не заметил введенную собственную accuracy, моя невнимательность.
Но! Есть стандартные обозначения для некоторых метрик, так что такое название сбивает с толку.
А потом переводную литературу читать невозможно по теме. Зато русский язык отстояли.
P.S. Не против использования русскоязычных терминов, но именно в данной области я за заимствования, максимально приближенные к оригиналу.
А дальше были великие битвы и тонны сломанных копий.
А все оттого, что Великий Архитектор, что создавал миры, был очень дотошен. И крайне детально описывал свои миры, проектируя их. Но, вот незадача, однажды оплошал. И нигде не упомянул про штаны Арагорна. Что впоследствии использовали злобные тролли, которые нашли сию уязвимость и посредством ее сожгли немало эфедронов Поклонников Великого Архитектора.
Мораль: если тролли захотят, то они в замысле любого Великого Архитектора найдут «Арагорна без штанов». А это значит, что нужно не разжигать пламень войны, а тихонечко исправлять последствия.
P.S. Краткое содержание вопроса
А как все эти дополнительные активности вяжутся с основной работой? Зарешка, или двухдневный хакатон — это хорошо, но если они не проводятся в свободное время (еще странно не давать мощностей, а просить решать своими силами).
И не очень понятно про общий вектор. Встречи хороши для синхронизации, но про выработку стратегии я что-то не увидел ничего.
Из советов — хорошо работает засылка «в поля», особенно если задача связана с улучшением какого-то определенного участка работы, где есть свой специалист, который и будет потом полученное решение как-то применять, или с ним взаимодействовать. Что-то вроде того, как в додо засылают разработчиков пиццу делать.
На графиках с конверсиями хорошо бы еще доверительные интервалы сделать, чтобы было понятно, что это не просто случайно так вышло, а и правда есть закономерность.
В механизм последующего выбора времени дозвона хорошо бы еще встроить немного рандома, чтобы не переобучаться потом на себя.
Можно заморозить получившийся граф, выгрузив его из keras'а и использовать tensorflow-serving: github.com/tensorflow/serving
Через serving должно побыстрее заработать.
При «ручном» анализе вполне себе неплохой подход. Помогает сгенерировать гипотезы. Но это не обязательно тематическое моделирование, может быть другой способ кластеризации.
При автоматизации выплывают не столь приятные минусы — со временем может меняться набор кластеров + параметры подбирать сложно.
Статей немного, но не то, чтобы их совсем не было. Просто этот подход несколько нестабильный, т.к. в итоге он сильно зависит от последующей интерпретации пользователем.
Замечание не в том, что это никак не соотносится, а в том, что есть отдельный тип задач, связанный именно с рекомендательными системами. И ваша статья больше про сегментацию и предварительный анализ данных, чем про рекомендации.
То есть я не говорю, то статья плохая. Скорее название вводит в заблуждение.
Просто кажется, что для вас это может и быть полезнее (отправок больше — оплата больше). Но для заказчика — не факт. Тут хорошо бы про их мотивацию рассказать (если это возможно). Нужно ли больше денег суммарно от кампании, или нужен выше доход на отправку?
Может одно письмо стоит 15 рублей (я условно, это преувеличение, конечно же). Тогда для заказчика рассылка по большей аудитории окажется убытком.
P.S. В целом, молодцы, конечно. Но LSTM вроде бы не такая нестандартная модель для такого рода задач.
P.P.S. Кажется, что вашу задачу можно дальше попробовать сформулировать в терминах uplift'а.
Кажется, что доход на отправку упал: 12000 / 470 = 25.5, а 102000 / 10600 = 9.6. Или 12000 / (470 * 0.2) = 127.67, 102000 / (10600 * 0.15) = 64.15, если считать не по отправкам, а по открытиям.
В сущности, все модели неправильны, но некоторые полезны
Допишите, что вы еще умножаете на 3 месяца, то есть 500 х 30% х 3 = 450
Но! Есть стандартные обозначения для некоторых метрик, так что такое название сбивает с толку.
P.S. Не против использования русскоязычных терминов, но именно в данной области я за заимствования, максимально приближенные к оригиналу.
А все оттого, что Великий Архитектор, что создавал миры, был очень дотошен. И крайне детально описывал свои миры, проектируя их. Но, вот незадача, однажды оплошал. И нигде не упомянул про штаны Арагорна. Что впоследствии использовали злобные тролли, которые нашли сию уязвимость и посредством ее сожгли немало эфедронов Поклонников Великого Архитектора.
Мораль: если тролли захотят, то они в замысле любого Великого Архитектора найдут «Арагорна без штанов». А это значит, что нужно не разжигать пламень войны, а тихонечко исправлять последствия.
P.S. Краткое содержание вопроса
И не очень понятно про общий вектор. Встречи хороши для синхронизации, но про выработку стратегии я что-то не увидел ничего.
Из советов — хорошо работает засылка «в поля», особенно если задача связана с улучшением какого-то определенного участка работы, где есть свой специалист, который и будет потом полученное решение как-то применять, или с ним взаимодействовать. Что-то вроде того, как в додо засылают разработчиков пиццу делать.
В механизм последующего выбора времени дозвона хорошо бы еще встроить немного рандома, чтобы не переобучаться потом на себя.
Через serving должно побыстрее заработать.
При автоматизации выплывают не столь приятные минусы — со временем может меняться набор кластеров + параметры подбирать сложно.
Статей немного, но не то, чтобы их совсем не было. Просто этот подход несколько нестабильный, т.к. в итоге он сильно зависит от последующей интерпретации пользователем.
Люди есть, просто так быстро состав «не утрясся» и имена все равно поменялись бы.
То есть я не говорю, то статья плохая. Скорее название вводит в заблуждение.