Pull to refresh

Парадокс предсказателя

Research and forecasts in IT *
В век информационных технологий все больше стало появляться экспертов-аналитиков, и даже предсказателей. Их задача — рассказывать о том, что произойдет через некоторое время, на что обращать внимание и какие тренды стоит ожидать в обозримом будущем. В статье хотел бы немного проанализировать различные виды предсказаний.

50/50


Известное бизнес-издание готовит номер о трендах следующего года. Определяет ключевые вопросы, опрашивает экспертов. Мнения экспертов делятся равномерно от самого пессимистического до самого оптимистического сценария, самые осторожные делают нейтральные прогнозы.

Такие моменты вызывают у меня смущение. Если идет речь о прогнозировании роста акций Apple, то через год мы увидим лишь одну развязку: стоимость либо упадет, либо увеличится, либо останется прежней в рамках некоего коридора. Это означает, что, как минимум, ⅔ “экспертов” ошибаются прямо сейчас в своих прогнозах и “экспертами” не могут быть по определению. Тем не менее, такое встречается сплошь и рядом.

50% — это вероятность встречи блондинки с живым динозавром на улице города. Она либо встретит его, либо нет. Так можно оценить логику некоторых экспертов, т.е. угадал/не угадал. Замечу, что 50% — это довольно таки большой процент вероятности прогноза, поэтому при большом количестве мнений вы всегда найдете того, кто угадает, что ничего не говорит о его реальных аналитических способностях.

То есть нужно научится отличать экспертное мнение от банального угадывания.
Читать дальше →
Total votes 106: ↑87 and ↓19 +68
Views 32K
Comments 30

4 года Data Science в Schibsted Media Group

Data Mining *Big Data *Machine learning *Product Management *Personnel Management *
Translation

Секретные материалы


В 2014-м году я присоединился к небольшой команде в Schibsted Media Group в качестве 6-го специалиста по Data Science в этой компании. С тех пор я поработал над многими начинаниями в области Data Science в организации, в которой теперь таких уже 40 с лишним человек. В этом посте я расскажу о некоторых вещах, о которых узнал за последние четыре года, сперва как специалист, а затем как менеджер Data Science.


Этот пост следует примеру Robert Chang и его отличной статьи «Doing Data Science in Twitter», которую я нашел очень ценной, когда впервые прочитал ее в 2015-м году. Цель моего собственного вклада ― поведать настолько же полезные мысли специалистам и менеджерам Data Science по всему миру.


Я поделил пост на две части:


  • Часть I: Data Science в реальной жизни
  • Часть II: Управление командой Data Science
Читать дальше →
Total votes 7: ↑7 and ↓0 +7
Views 5.9K
Comments 1

Квантовый переключатель в стиле Шредингера

ua-hosting.company corporate blog Popular science Nanotechnologies The future is here Quantum technologies


Мир вокруг нас работает по законам естественных наук с самого своего возникновения. Любое, практически, явление мы можем объяснить, опираясь на те самые законы. И вот мы уже знаем, что молнии это не ярость Зевса, цунами это не чих Нептуна, Земля не плоская, а огромных черепах, держащих на себе целые миры, не существует. Правда в последние утверждения еще верят некоторые особенно упрямые представители нашей расы. Но сегодня мы поговорим о науке, которая любит перевернуть все с ног на голову, о квантовой механике.

Если точнее, то об исследовании, которое экспериментальным путем демонстрирует факт того, что далеко не всегда мы имеем одно единственное состояние чего-либо. Применив знания из квантовой механики, ученым удалось добиться неопределенного причинного порядка в квантовом переключателе. Что это такое и как это работает мы узнаем из их доклада. Поехали.
Читать дальше →
Total votes 17: ↑15 and ↓2 +13
Views 6.5K
Comments 33

Анализируем причинно-следственные связи метрик ВКонтакте

VK corporate blog Python *Data Mining *Big Data *Machine learning *
Всем привет, меня зовут Анвер, я работаю в команде Core ML ВКонтакте. Одна из наших задач — создавать и улучшать алгоритмы ранжирования для ленты новостей. В этой статье расскажу о том, как можно применять для этого причинно-следственный анализ — чтобы в результате сделать сервис интереснее для пользователей. Поговорим про преимущества такого подхода по сравнению с корреляционным анализом, и я предложу модификации существующих алгоритмов.



Читать дальше →
Total votes 9: ↑8 and ↓1 +7
Views 4.9K
Comments 3

Почему машинному обучению с трудом дается причинно-следственная связь?

OTUS corporate blog Machine learning *
Translation

Эта статья является частью наших обзоров исследовательских работ в области ИИ, серии публикаций, в которых исследуются последние открытия в области искусственного интеллекта.

Просматривая следующую короткую видеопоследовательность, вы естественным образом можете сделать выводы о причинно-следственных связях между различными элементами в ней. Например, вы можете наблюдать, как бита и рука бейсболиста движутся в унисон, и вы знаете, что именно рука игрока вызывает движение биты, а не наоборот. Вам также не нужно объяснять, что это бита вызывает резкое изменение траектории мяча.

Точно так же вы можете представить альтернативные сценарии, например, что произошло бы, если бы мяч пролетел немного выше и не попал в биту.

Читать далее
Total votes 8: ↑8 and ↓0 +8
Views 5.2K
Comments 0

Причина и следствие

МегаФон corporate blog Data Mining *Big Data *Statistics in IT
Sandbox

Мы привыкли, что Machine Learning предоставляет нам большое количество предиктивных методов, которые с каждым годом предсказывают события лучше и лучше. Деревья, леса, бустинги, нейронные сети, обучение с подкреплением и другие алгоритмы машинного обучения позволяют предвидеть будущее все более отчетливо. Казалось бы, что нужно еще? Просто улучшать методы и тогда мы рано или поздно будем жить в будущем так же спокойно, как и в настоящем. Однако не все так просто.

Когда мы рассматриваем бизнес задачи, мы часто сталкиваемся с двумя моментами. Во-первых, мы хотим понять что к чему относится и что с чем связано. Нам важна интерпретация. Чем сложнее модели мы используем, тем более нелинейные они. Тем больше они похожи на черную коробку, в которой очень сложно выявить связи, понятные человеческому разуму. Все же мы привыкли мыслить довольно линейно или близко к тому. Во-вторых, мы хотим понять - если мы подергаем вот эту "ручку", изменится ли результат в будущем и насколько? То есть, мы хотим увидеть причинно-следственную связь между нашим целевым событием и некоторым фактором. Как сказал Рубин - без манипуляции нет причинно следственной связи. Мы часто ошибочно принимаем обыкновенную корреляцию за эту связь. В этой серии статей мы сконцентрируемся на причинах и следствиях.

Но что не так с привычными нам методами ML? Мы строим модель, а значит, предсказывая значение целевого события мы можем менять значение одного из факторов - одной из фич и тогда мы получим соответствующее изменение таргета. Вот нам и предсказание. Все не так просто. По конструкции, большинство ML методов отлично выявляют корреляцию между признаком и таргетом, но ничего не говорят о том, произошло ли изменение целевого события именно из-за изменения значения фичи. То есть, ничего не говорят нам о том - что здесь было причиной, а что следствием.

Читать далее
Rating 0
Views 3.2K
Comments 3

Продвинутые методы Uplift-моделирования

GlowByte corporate blog Data Mining *Machine learning *
⚒️ Data Mining season

Всем привет! Меня зовут Окунева Полина, я ведущий аналитик компании GlowByte. Сегодня я хочу рассказать о задаче Uplift-моделирования — частном случае такой большой сферы как Causal Inference, или причинно-следственный анализ, — и методах ее решения. Задачи такого типа важны во многих областях. Если вы сотрудник, например, продуктовой компании, то причинно-следственный анализ поможет сократить издержки на коммуникации с людьми, на которых она не повлияет. Если вы врач, то такой анализ подскажет, выздоровел пациент благодаря лекарству или из-за удачного стечения обстоятельств. 

Какого-то полноценного гайда по продвинутым методам Uplift-моделирования я не встретила ни в русско-, ни даже в англоязычном интернете, поэтому было огромное желание структурировать информацию и поделиться ею с интересующимися.

Читать далее
Total votes 12: ↑12 and ↓0 +12
Views 1.8K
Comments 0