Pull to refresh

Comments 46

Ну и зачем было выделять из Хабра Гиктаймс и Мегамозг?
UFO just landed and posted this here
В профессиональной среде психологов, насколько мне известно, распространено мнение о ненаучности типологии Майерс-Бригс (а также схожих с ней соционики и прихейоги).

Участвовали ли в эксперименте профессиональные психологи?

По описанию типирования, больше похоже, что Вы классифицировали людей по интересам, а не по типам личности. Анализ интересов пользователя на основании истории браузера — популярная практика. Что нового, по мнению автора исследования, в данном материале по отношению к существующим методам?
Не являясь профессиональным психологом не берусь рассуждать о научности или ненаучности типологии Майерс-Бригс. В пользу выбора этой типологии скажу лишь, что статья «The Myers-Briggs Type Indicator: Manual (1962)» по данным google.scholar цитируется более 1000 раз, а сама типология широко используется по всему миру, например, до 70% выпускников средних школ проходят определение типа личности с помощью MBTI для целей выбора будущей профессии.

Но, вообще говоря, дело даже не в выборе конкретно этой типологии(можно проделать аналогичные действия, взяв за основу другую типологию), а в том, что мы смогли ответить на вопрос «Могут ли типы личности влиять на CTR в рекламных кампаниях?». Найти ответ на этот вопрос и было целью исследования.

По описанию типирования, больше похоже, что Вы классифицировали людей по интересам, а не по типам личности.

Это Ваше утверждение мне не понятно. Всегда считала, что за признак классификации отвечает зависимая переменная — в каждом классификаторе это одна из характеристик типа личности, а значит мы классифицировали людей именно по типам личности.

Что нового, по мнению автора исследования, в данном материале по отношению к существующим методам?

Отвечая на этот Ваш вопрос, хочу отметить, что провести исследование не значит придумать новый метод, а значит получить новые, до этого не известные результаты. Результатом конкретно этого исследования является то, что нам удалось увидеть статистически значимое различие в CTR между группами пользователей, относящихся к разным типам личности.

Цитируемость этой статьи говорит о популярности и раскрученности типологии, но, увы, не о степени ее научности. Если типология ненаучна, ставится под сомнение легитимность исходного вопроса («Могут ли типы личности влиять на CTR в рекламных кампаниях?»), так как ставится под сомнение существование типов личности по типологии Майерс-Бригс.
В качестве независимых переменных мы использовали историю поведения пользователя в Интернете (посещенные страницы) за период, предшествующий прохождению теста на сайте-партнере. Адрес каждой посещённой страницы представляется в виде токенов: слов длинной от трех до десяти символов. Например, адрес habrahabr.ru/company/dca/blog/260845 преобразовывается в следующий набор токенов: ['http', 'habrahabr', 'company', 'dca', 'blog'].

Я вот об этом. Вы, каким-то образом прописав корреляцию между этими токенами и типами личности по Майерс-Бригс (здесь и далее вопрос о научности типологии опущу, но напомню, что на вопрос о том, участвовал ли психолог, Вы так и не ответили), по сути исследуете зависимость CTR от определенных групп интересов пользователей (обоснование правильности объединения этих интересов в эти конкретные группы применительно к этой типологии остается за кадром статьи).

По сути, Вы исследуете зависимость CTR пользователя от его интересов, а Майерс-Бриггс приплетены исключительно для поднятия мнимой значимости материала.

Что нового в результатах эксперимента, показавшего, что пользователи с определенными интересами, скорее всего, заинтересуются определенной рекламой? Это известно уже больше века.

Если кому-то интересен комментарий психолога (пусть и популяризатора), вот ролик того же Невеева на тему этой типологии.
Я вот об этом. Вы, каким-то образом прописав корреляцию между этими токенами и типами личности по Майерс-Бригс (здесь и далее вопрос о научности типологии опущу, но напомню, что на вопрос о том, участвовал ли психолог, Вы так и не ответили), по сути исследуете зависимость CTR от определенных групп интересов пользователей (обоснование правильности объединения этих интересов в эти конкретные группы применительно к этой типологии остается за кадром статьи).

По сути, Вы исследуете зависимость CTR пользователя от его интересов,…


Нет, это вовсе не так.
Мы исследуем зависимость CTR пользователя от его типа личности. Именно поэтому процедура состоит из трех этапов: сначала построение классификатора, затем определение вероятности пользователя принадлежать к одному из классов характеристики(например, к классу интроверт или экстраверт) и последний этап — исследование CTR в группах, относящихся к разным классам.
То что для классификатора мы используем посещенные страницы пользователя(видимо, это Вас смущает) не означает того, что Вы утверждаете. То, что Вы утверждаете, было бы верным, в случае, если бы мы сделали кластеризацию пользователей по токенам, и отдельно в каждом кластере изучали CTR.
Ну обозвали вы классы интересов «интравертами» и «экстравертами», ну сделали их произведением 4-х бинарных классификаторов. Всё равно это всего лишь группировка по интересам, а про «типы личностей» — притянуто за уши, уж простите.
Не совсем так.
По сути в статье дается ответ на два вопроса.
1) Можем ли мы определить тип личности на основе поведения пользователя(или его интересов если хотите). Ответ — можем с достаточно высокой точностью. Об этом говорят значения метрики качества классификатора (0.77 можно считать хорошим значением для данной задачи).
2) Может ли быть выявленный на основе поведения тип личности быть полезен для таргетирования рекламных компаний. Ответ — можем, по 2-м из 4х измерений на пробной рекламной кампании получили статистически значимое отклонение CTR по противоположным типам личности.

То есть еще раз: зависимости исследовано две(тип личности от поведения/интересов) и CTR от типа личности, а не одна прямая зависимость CTR от поведения.
Эти выводы исходят из заведомо ложной предпосылки о доказанном существовании типов личности, и именно это вызывает отторжение. В среде психологов уже давно известна несостоятельность диспозиционных типологий.
Простыми словами: в исследовании проводится классификация пользователей по заранее заданным группам, вместо кластеризации и последующего выявления особенностей найденных групп. Где обоснование того, что групп не больше и не меньше? Откуда взялось предположение, что пользователь не может принадлежать к нескольким группам одновременно? Каковы критерии истинности данного разбиения, т.е. как мы поймем что классификация проведена корректно? И таких вопросов очень, очень много.
Собственно нигде и не было сказано что классификация идеальная или что-то такое.
Она как и любая теория имеет свои ограничения, но в каких-то ограничениях-работает. Задачей было проверить укладываются ли клики по баннерам в эти самые ограничения, или для прогнозирования кликов эта теория не применима. Ответ получен статистически значимый — используя разные социотипы получаем разный(статистически значимо разный) результат, значит используя для таргетирования рекламы можно улучшить отклик от рекламной кампании. Таким образом бизнес-задача была решена.
Никто нигде не утверждал что типология идеальна, что она всесторонне позволяет оценить человека, и лично я не согласен с тем что человека можно описать всего 4-мя признаками. Мы думаем какие еще можем выделить полезные признкаки исходя из поведения и для этого в том числе консультируемся с профессиональными психологами.
Кстати если кто-то подскажет более «правильную» таксономию типов личности и даст ссылку на тесты их выявляющие — для нас это будет очень интересно и мы скажем большое спасибо :)
Еще раз — диспозиционные типологии несостоятельны. То есть нет и не может быть таксономии, определяющей единый и неизменный тип личности. Мне известно, что на данный момент рассматриваются ситуационные модели, которые учитывают не только какие-то эфемерные сборные признаки, но и предыдущий опыт человека, а также ситуацию, в которой производится наблюдение.
Я придерживаюсь точки зрения что теория состоятельна до тех пор пока она позволяет решать практические задачи. Например ньютоновская механика не работает для расчетов скоростей планет(нужно учитывать релятивистские эффекты) но вполне подходит для повседневных задач, хотя и является «заведомо ложной». Также и в данном случае-была проверена гипотеза о том что конкретная теория для решения конкретной задачи. Ответ был получен математически строгий — да, подходит. Для большинства теорий существуют границы их применения, и это не делает их «заведомо ложными» там где они работают.
asash Преемником MBTI считается NEO PI-R, и она действительно ситуационна, как и говорит heilage, проверено на себе. Прохожу оригинальный тест на 300 вопросов раз в год, результаты меняются (хоть и не очень сильно, но разница накапливается). Причём некоторые вопросы-ответы действительно зависят от настроения отвечающего, от стрессовости ситуации, от того, отвлекают ли его… Можете, ради эксперимента, пройти тест с разницей в день будучи в разном настроении.
Поэтому придётся делать поправки на то, в каком человек сейчас состоянии, торопится он или нет в прохождении теста, понимает ли английский (т.к. насколько я знаю, на русский корректно NEO PI-R до сих пор не переведён) и прочее, и прочее. Боюсь, статистически значимые результаты получены не будут.

P.S. asash, где вы взяли такого партнёра, который вам 10к анкет передал? И какой MBTI использовался, Step 1 же? От качества тестирования очень многое зависит.
Раскрывать партнера к сожалению мы не можем, но могу сказать что это один из популярных публичных сервисов определения своей личности. Субъективно тест выглядит адекватным, лично для меня ответы на все вопросы выглядят однозначными.
В нём, хотя бы, больше 90 вопросов?
У меня вопросы к вашим утверждениям.
1) Разве полученное хорошее качество классификации характеристик дает возможность говорить и хорошем качестве классификации типов?
2) Вы получили значимое отличие CTR в 2 классах. Но это не говорит о значимом различии для каких-либо типов, да? Например, даже не ясно какая ситуация для ET vs IF. Если вы использовали доверительные интервалы CTR для вывода о существенном отличии этой величины в классах характеристик, может вы добавите еще график доверительных интервалов для всех 16 типов?
1) Нет, не дает. Но вопрос качества самой MBTI-классификации выходит за рамки данного исследования. Мы математики а не психологи, поэтому взяли самую известную классификацию и проверили годится ли она для чего-либо :)
2) Действительно данное исследование показывает что значимо отличаются бинарные признаки. Про добавить табличку со всеми 16-ю типами подумаем.
Каким образом вы вообще вывели соответствие определенных токенов типам личности по MBTI? Как вы можете гарантировать, что определенные интересы соответствуют определенным типам личности?
Способ выявления соответствия — это класcическое машинное обучение(в данном случае Gradient Boosting). Гарантия не дается, мы говорим в терминах вероятностей. То есть примерно так «наша уверенность в том что данный человек является интровертом составляет 70%».

Проверка проводилась кросс-валидацией. Мы заранее отобрали часть пользователей для которых тип личности был выявлен классическим способом(прохождение теста), а затем сравнили показания с выдачей алгоритма.
Каков размер выборки пользователей, проходивших опросник?
Эта информация указана в статье:

Для обучающей выборки мы использовали информацию одного из наших сайтов-партнеров, на этом сайте пользователь заполняет анкету, по которой определяется его тип личности. Объем выборки составляет около десяти тысяч пользователей.
Учитывалась ли погрешность опросника MBTI, анкеты сайта партнера?
Что гарантирует их качество?
Да, вы — математики, а не психологи, но это же не является основанием использовать в своих исследованиях некачественные инструменты из других профессиональных областей.
Используемый метод предполагает наличие ошибок данных(как и большинство современных методов машинного обучения).
Гарантия качества каждой конкретной анкеты не требуется, требуется чтобы среди люей отнесенных к определенному классу действительно было больше людей из этого класса.
То есть, при погрешности в 50% и больше, метод не работает и может выдавать непроверяемо некорректные результаты?
Если погрешность слишком большая, то модель получится плохая и на контрольной выборке предсказание не будет кореллировать с действительностью.
1) Вы утверждаете, что можете с достаточно высокой точностью определять тип личности на основании поведения пользователя. Но на основании каких математических обоснований сделан этот вывод мне не ясно. Поэтому хотел прояснить этот вопрос. Мне было бы интересно посмотреть на оценки качества классификации типов.

2) В статье было заявлено, что тип личности значимо влияет на CTR. Тогда как в действительности показано, что в двух из четырех бинарных характеристиках можно утверждать о различии в CTR, для остальных двух вопрос остался открытым. Какая картина наблюдается в CTR для различных типов, на мой взгляд, не продемонстрировано.

3) Тоже не психолог, но хочу уточнить — типы личностей в выборке определялись по каким-то косвенным вопросам анкеты или сами респонденты причисляли себя к определенному типу?

1) Если уж совсем точно — мы можем предсказывать не «тип личности», а «результат анкетирования на выявления типа личности». Этот результат подтверждается валидацией по контрольной выборке (которая не участвовала в обучении модели). Для оценки использовался ROC-анализ, по каждому из 4-х признаков приведена кривая характерезующая качество.
2) Был дан ответ на вопрос «а может ли влиять признак на CTR». Ответ — да может, на одной из рекламных кампаний по 2-м принакам есть значимое различие. Других выводов сделано не было )
3) Типы определялись по косвенным признакам — результату анкетирования. Разработкой анкеты занимался партнер.
1) Возможно это занудство, но все таки если уж совсем точно — вы построили хороший классификатор на выявления каждой из четырех характеристик в отдельности. Извините, так и не понял, зачем вы упоминаете в контексте этого классификатора о выявление типа личности.
2) Меня смутил заголовок вашей публикации «Типы личностей: влияние на восприятие рекламы». Я не предполагал, что вашей целью было обнаружения влияния признаков (опять в отдельности), определяющих эти типы личностей.

Спасибо за ответы и за то, что поделились опытом.
Соционика и Майерс-Бригс — это одна и та же типология. Разница там только в терминологии.
А по поводу «прихейоги» — всё верно)
Вы определяется статистическую значимость отличия CTR на основании того, пересекаются ли их доверительные интервалы?
вообще говоря, из того, что 95% доверительные интервалы пересекаются, не следует что ошибка отклонения нуль-гипотезы о равенстве долей превышает 5%.
Нет, пока исследовали только влияние на CTR.
Да, вы правы, утверждать, что в оставшихся случаях различие статистически не значимо, вообще говоря, неверно.
Однако, для этих характеристик и фактическое различие в CTR невелико. В любом случае, нам было интересно увидеть значительное фактическое различие в CTR и проверить его статистическую значимость.
Как пройти тест и можете ли на основе моего пользовательского портрета сделать вывод? Хочу побыть и в контрольной и в экспериментальной выборке
Вы взяли хороший психографический опросник.

Сгруппировали (читай — огрубили) его данные в малонаучные макро-характеристики.

На основе этих макро-характеристик построили модель.

Давайте оставим вопрос о слабости MBTG и всякой соционики и зададим простой честный датамайнерский вопрос — ЗАЧЕМ? Зачем искусственно огрублять прекрасные исходные данные предварительной искусственной обработкой, если вы их могли подать на вход алгоритму непосредственно, сразу?
Не очень понятно что конкретно мы огрубили и что должны были подать алгоритму сразу?
Типы личности, а не их составные части.
бывают и другие типы:

The Ambivert

Socially flexible—comfortable in social situations or being alone.
Skilled at communicating—intuits when to listen or to talk.
Moderate in mood—not overly expressive or reserved.
Adaptable—no default mode, so they change their approach to fit the situation
Я психоаналитик, психолог. Типологиями занимаюсь с 1996 года.
По типологии. MBTI это кривоватое переложение и развитие типологии Юнга. У Юнга гораздо глубже, точнее и эффективнее. Если на то пошло, то Соционика к Юнгу ближе, в эффективности и глубине не уступает. По крайней мере, в моем опыте терапевтической работы. Кроме прочего, проблема в процедуре тестирования. По каждой шкале точность максимум 80%, поскольку шкал 4, то на выходе получаем 0.8*0.8*0.8*0.8=0.4096. Вероятность определения – никакая. В работе мы с коллегами либо останавливаемся на проявленных шкалах (чаще 3 из 4х), либо для ряда задач проводим экспертизу, тогда выходим на типаж с точностью больше 90%.
По обучающей процедуре. Для обучения системы взята невалидная информация. Лучшие из анкет, которые я видел, имеют 60% точность по сравнению с экспертным методом. Я бы предположил, что на сайте-партнере точность на уровне 50% максимум. Почти «угадал-не угадал» ). Брать такую информацию за исходную мне кажется неверно.
По Feature engineering. Моей квалификации хватает только увидеть его корректность.
По процедуре проверки данных. Реакция на баннер в контексте шкал Юнга сильно зависит от того, как содержащиеся на баннере элементы резонируют с каждой из шкал. Например, такие элементы как открытые пространства предпочитаются экстравертами, лаконичность образов – интровертами, эстетическое оформление ценится эмоциональным типом и т.д. Без анализа самих демонстрируемых баннеров трудно оценить таблицу «Оценки CTR».
По выводам. Целиком согласен с описанием перспектив. Единственно предложил бы использовать более точные технологии сегментирования пользователей по психологическим характеристикам.
Как уже писали выше, честнее конечно было бы сказать что мы предсказывали не честный социотип, а социотип выявленный анкетой. При этом качество предсказания получилось достаточно высокое, отнюдь не 50/50 (см ROC-кривую).
Вопрос который был поставлен в рамках исследования — может ли таргетирование на предсказанный социотип(хотя бы по каким-то из измерений) быть полезным для рекламных кампаний быть полезным. Полученный ответ говорит что может, безотносительно к качеству начальных данных, и качеству самой MBTI — этого качества оказалось достаточно чтобы зафиксировать 25% повышения CTR%.

Исследования выявления классов заранее(еще до рекламной кампании), выбор других характеристик — все это безусловно интересно и будет делаться, но выходит за рамки приведенного исследования.
Sign up to leave a comment.