Нет, вам не нужно машинное обучение. Вам нужен SQL

https://cyberomin.github.io/startup/2018/07/01/sql-ml-ai.html
  • Перевод
Некоторое время назад я опубликовал серию твитов об использовании традиционных инструментов вместо новомодных и сложных технологий.

Твиты зашли неплохо и попали на HackerNews. Последствием такой мини-популярности стала интересная дискуссия. Одни согласились со мной, а другие назвали это глупостью и бредом. Ну, в интернете тоже случаются перестрелки.

Я не пытаюсь убедить вас использовать свой подход. Скорее я хочу подробнее объяснить, что именно имелось в виду в первоначальном выступлении в Twitter.

Годы проходят, и вы наблюдаете появление некоторых интересных технологий и концепций: машинное обучение, блокчейн, искусственный интеллект, виртуальная реальность, дополненная реальность и т. д. — в то время как некоторые прежние технологии уходят на задний план. Сегодня несложно услышать о разработке каких-то фантастических продуктов на блокчейне. Я видел блокчейн-сервисы для электронной коммерции, социальных сетей и недвижимости. Список можно продолжить. Я слышу слова: чтобы вам быстрее и раньше закрыть раунд финансирования, нужно использовать слово «блокчейн», даже если оно не имеет отношения к проекту.

Некоторое время назад в тренде были машинное обучение и искусственный интеллект. Каждый новый стартап занимался ML/AI. Не дай бог запустить проект без упоминания AI. Серьёзно, ты правда в бизнесе? Но вообще так быть не должно. Одной из технологий, которую я до сих пор высоко ценю, является SQL (Structured Query Language). Эта более чем 40-летняя технология сегодня так же актуальна, как и в 1974 году. Хотя за эти годы она несколько изменилась, но это такая же мощь, как и раньше.

Я всю жизнь работаю в IT, а большую часть карьеры провёл в электронной коммерции — и своими глазами видел, как эта технология помогала росту и масштабированию бизнеса. Мы использовали её для выявления интересной информации в собранных данных. Данные включают в себя в том числе потребительское поведение, характер покупок и привычки. Эта технология позволила предсказать, какой товар держать на складе, а какой нет. Она позволила предоставить сервис лучшего качества и вернуть клиентов. Позвольте рассказать, как мы это сделали — можете использовать наш опыт.

Всегда весело слышать от основателей и потенциальных основателей стартапов, что они хотят использовать AI/ML для лучшего удержания клиентов и повышения их пожизненной ценности [суммарная прибыль или убыток от конкретного потребителя за период сотрудничества с ним — прим. пер.]. На самом деле им вообще не нужно машинное обучение или какая-то другая из этих причудливых технологий. Правильно написанный SQL — вот всё, что им нужно. В прежней жизни я писал SQL-запросы, чтобы извлечь ценную информацию и идеи из созданных данных. Однажды мы хотели найти «клиентов недели», чтобы поздравить и наградить их. Такой простой и неожиданный жест по отношению к клиентам всегда приводит людей в восторг и превращает их в евангелистов. Нередко можно увидеть сообщения в социальных сетях типа «Ничего себе, Konga только что наградила меня купоном на ₦2000 как клиента недели. Не ожидал такого. Спасибо, ребята, вы лучшие».

Это оказалось более эффективно, чем тратить деньги на рекламу. Не поймите меня неправильно, традиционная реклама имеет место, но ничто не сравнится с рекомендацией от надёжного друга. Удивительно, но получить такую информацию оказалось довольно просто. Никакая причудливая технология не нужна, кроме старого доброго SQL. Чтобы выявить клиента недели, мы написали SQL-запрос, который находит в таблице заказов запись с самой большой корзиной заказов за неделю. Получив эту информацию, мы отправляем клиенту письмо с благодарностью и прикладываем небольшой купон/ваучер. Угадайте, что происходит дальше? 99% этих людей становятся постоянными клиентами. Мы никогда не нуждались в ML. Просто написали элементарный SQL-запрос — и получили эту информацию.

Однажды нужно было восстановить связь с клиентами, которые прекратили делать покупки. Поскольку этим занимался я, то написал SQL-запрос, который выбирал всех клиентов с датой последней покупки 3 месяца или более. Опять же, запрос удивительно простой. Получив эту информацию, отправляем по электронной почте симпатичное письмо: «Мы скучаем по вам, возвращайтесь, и вот ваш купон на Х найр» [денежная единица Нигерии — прим. пер.]. Эффективность отклика всегда была больше 50%. И всегда шквал сообщений в социальных сетях. На мой взгляд, эти две стратегии были и остаются намного эффективнее, чем тратить на рекламу в Google и Facebook.

Такой же подход мы применили к рассылкам новостей. Зачем рассылать общую рассылку, если можно попытаться персонализировать её? Решение? Я написал SQL-запросы для проверки содержимого корзины и извлечения отдельных элементов. Из этих элементов мы смогли сгенерировать бюллетень и таргетировать соответствующий контент. Скажем, человек купил пару обуви, солнцезащитные очки и книгу. В рассылке для него мы покажем обувь, солнцезащитные очки и книги. Это гораздо более уместно, чем посылать случайные вещи. Зачем посылать письмо с молокоотсосом мужчине, который только что купил пару кроссовок? Это даже не имеет смысла. Типичный уровень просмотра (open rate) большинства маркетинговых писем составляет от 7 до 10%. Но когда мы хорошо справлялись с работой, то видели показатель в районе 25−30%.

Это втрое выше отраслевого стандарта. Ещё одна приятная особенность этих писем — то, что мы обращались к людям по именам. Никаких «уважаемый клиент». Только «дорогой Селестин», «дорогой Омин» и так далее. Это придаёт всему оттенок человечности. Показывает наше участие. Всё благодаря старому доброму SQL, а не какому-то причудливому машинному обучению.

Мы помогли клиентам, которые по каким-то причинам не завершили заказы. Если они добавили товар в корзину, то имели намерение его купить. Чтобы помочь им с завершением заказа, я написал скрипт SQL, связал его с заданием CRON, и эта комбинация рассылала электронные письма клиентам, чьи корзины последний раз обновлялись в течение 48 часов или более. Угадай, что произошло? Это сработало. Мы отслеживали письма и сделали вывод, что люди действительно возвращались по ссылкам из них. Опять же, SQL-запрос оказался очень простым. Он выбирал непустые корзины с временем последнего обновления 48 часов или больше. Запустили ежедневный CRON на 2 часа ночи — время меньшей активности и трафика. Клиенты просыпаются и видят в почте напоминание о своей забытой корзине. Речь о повторном вовлечении клиентов. Ничего особенного, просто SQL, Bash и CRON.

Так как оплата по факту по-прежнему популярна, SQL опять пригодился. Если клиент отменяет заказы три раза подряд, он помещается в отдельный список «особого предупреждения». При следующем заказе ему звонят и спрашивают, действительно ли нужен заказ. Таким образом мы экономим время и нервы. Для таких клиентов оплату по факту вообще можно отключить, оставив только оплату по карте. В электронной коммерции логистика стоит дорого, поэтому есть смысл сосредоточиться на серьёзных клиентах. Нам не нужен ML или какой-то причудливый AI для этой проблемы. Опять же, достаточно хорошо написанного SQL.

Для заказов, не доставленных в обещанное время согласно SLA, мы тоже использовали SQL-запросы. Выбирались заказы с состоянием «Не доставлено» и датой заказа равной или более 7 дней, так как это стандартный срок доставки. Задание CRON отправляло письма и SMS таким клиентам. Понятно, что клиенты не апплодировали стоя. Но мы хотя бы заверили, что нам не наплевать и мы работаем над решением проблемы. Ничто так не раздражает, как задержка заказа.

Это конкретное решение также значительно повлияло на NPS [индекс потребительской лояльности — прим. пер.]. Опять же, старые добрые SQL и Bash.

Бонус: Sift Science удивительно хорошо предотвращает фрод. Но SQL тоже можно использовать. Если человек пытается расплатиться с трёх разных карт и эти карты отвергаются одна за другой, происходит что-то неладное. Первое и очевидное, что нужно сделать — временно заблокировать его учётную запись. Вы избавите от большой головной боли потенциальных владельцев карт. Не нужно хранить данные карты, просто регистрируйте в БД попытку проверки карты для определённого номера заказа. Для выявления таких очевидных вещей не требуется ML, а только хорошо написанный SQL.

Машинное обучение и искусственный интеллект — хорошие технологии. Во всяком случае, Amazon доказал эффективность своего бизнеса. Но если у вас маленький интернет-магазин с 1000−10000 клиентов, то можно обойтись SQL. Кроме того, специалисты по ML/AI стоят недёшево.

Буду рад услышать, что вы думаете.
Поделиться публикацией
Комментарии 417
    –12
    Напишите SQL, который определит возраст человека по фотографии (или вообще присутствие человека), плиз. Не те сравнения Вы приводите в статье. Вы привели примеры стандартного функционала любого интернет-магазина, и сомневаюсь, что кто-то использует AI\ML для тех же целей
      +46
      Статья как раз о том, что AI\ML часто пытаются тащить в проекты со стандартным функционалом, где вполне хватает обычного SQL.
        +7
        Только дело не в SQLконкретно, а в обычной статистике. Понятие AI/ML более широкое, чем SQL и сравнивать их неуместно. Правильнее сказать: вам не нужно машинное обучение, вам хватит статистики с головой. А уж в excel это будет сделано или с помощью sql, это ваше личное дело.
          0
          Но… машинное обучение и есть часть статистики…
          +13
          С использованием AI/ML всё становится лучше. Как десятью годами раньше с Bluetooth.
          +2

          Приветствую! Думаю автор хотел на конкретном примере показать суть общей проблемы (читайте проблема как перевод задача). То есть далеко не все задачи требуют новомодных веяний для простой и эффективной реализации. Можно и иначе сказать известным выражением "Из пушки по воробьям".
          Вы же противопоставляете узкую задачу. Кстати, в таком примере, справедливости ради, нужно точно так же описать конкретно решаемую задачу с помощью выбранной технологии и описать ее эффективность. А то часто слышны абстрактные тезисы без доказательства. Что не справедливо при сравнении. Потому что противопоставляем конкретный пример, конкретный результат с теоретически возможным. Заранее приношу извинения, что делаю такое замечание. Тут нет неуважения к технологии и задаче, как и к тому, кто высказался.
          Никто не отрицает, что те или иные технологии наиболее эффективны при решении определенных задач. Или то, что технологии порождаются необходимостью решать определенные задачи. Но при этом дОлжно руководствоваться прагматизмом, а не фанатизмом. Увлечение одной из технологий не должно влиять на выбор при решении конкретной задачи. Я не отрицаю в том числе и процесс эксперимента и выбора из нескольких решений. Но в реальном мире все имеет не эмоциональные метрики, а вполне материально исчисляемые.
          Как пример могу сказать, что в конце производственной линии дешевле установить промышленный сканер шк, чем систему, которая по видео будет определять наличие шк, потом обрабатывать и передавать эти данные. Тут все просто: стоимость программного решения, скорость отклика, надежность считывания данных, стоимость дополнительного вычислительного оборудования. Есть и еще дополнительные минусы.)

            +3
            Я полностью согласен, если посыл статьи был именно в этом — отлично, но на данный момент, сравнение SQL с ML больше похоже на пиар-ход для вывода статьи в топ в силу популярности ML

            Судя по минусам моего комментария, я был не прав в конкретной фразе «сомневаюсь, что кто-то использует AI\ML для тех же целей» и судя по другим комментариям действительно есть такие примеры. Так вот статью, где приводились бы примеры подобных «странностей» я прочитал бы с бОльшим удовольствием, нежели чем статью, где скорее пытаются паразитировать на хайпе той или иной технологии, чем открыть людям глаза
              +6

              Но автор с тем же фанатизмом "впихивает" SQL, где лучше сработал бы ML и говорит что SQL справляется лучше.


              Скажем, человек купил пару обуви, солнцезащитные очки и книгу. В рассылке для него мы покажем обувь, солнцезащитные очки и книги. Это гораздо более уместно, чем посылать случайные вещи

              Мне покажут обувь, когда я купил обувь; очки, когда я купил очки и случайные книги, когда я купил книгу.


              В то же время ML мог показать товары, которые сочетаются с теми что я взял:
              шнурки для обуви, одежду под цвет кроссовок, книги, которые покупают люди, у которых такие же интересы и т.д.
              upd: те кто покупали телефоны в интернет магазинах сразу меня поймут — ты только добавил телефон в корзину, тебе уже советуют чехол, защитную пленку, PowerBank и автомобильную зарядку


              Мне кажется, рекомендательная система — это одна из сильных сторон ML.


              Смысл статьи как всегда: "не забивать гвозди отверткой и не закручивать молотком".

                +5

                Рекомендательная система — пограничная область. С одной стороны алгоритм рекомендаций легко программируется на SQL. С другой стороны тонкая настройка уже требует ML инструментов — в частности нейронных сетей.


                И автор в целом прав, когда говорит что лучше бы использовать простой инструмент пока не появится явная необходимость в сложном, да еще с эффектом черного ящика.

                  0
                  Автор слишком безапелляционен.
                    +8

                    Такой стиль, внезапно, заходит лучше, чем сухая аналитика.

                    0

                    Не нужно быть столь категоричными в оценке того, что "… тонкая настройка уже требует ML инструментов...".
                    Потому что понятие "Рекомендательные системы" существовало задолго до "ML". Это всего лишь еще один способ. И, кстати, не самый лучший.

                    +8
                    ты только добавил телефон в корзину, тебе уже советуют чехол, защитную пленку, PowerBank и автомобильную зарядку
                    Это не ML, это тупой поиск на SQL принадлежностей, подходящей к данной модели телефона.

                    ML — это когда в придачу к веревке советую купить мыло и табуретку. :-)

                    Мне кажется, рекомендательная система — это одна из сильных сторон ML.
                    А мне эти рекомендательные системы кажутся просто спамом. Ну кроме самых тупых, просто показывающих подходящие к гаджету аксессуары. Эти, тупые, эквивалентные условию в поиске — ещё хоть как-то полезны. А остальное — только тупо поржать.
                      +1
                      А вы им достаточно информации для обучения даете? У меня почти вся реклама релевантная.
                        +2
                        Угу, вы верно угадали, почему ML бесполезны. Если иметь одну ML на все магазины и обучать её 10 лет особенностям каждого покупателя — толк будет. Если данных меньше — то не справится не только ИИ, но и живой человек-психолог.

                        То есть даже человек-консультант при эпизодических покупках может лишь посоветовать что-то а ля SQL-решение, то есть аксессуары, совместимые с основной покупкой.

                        Может быть когда-нибудь что-то прилично заработает у Яндекса или Гугла. Но пока что качество — ниже плинтуса.

                        Причем раздражает — безумно. Если я искал (и купил линолеум) — яндекс начинает подсовывать мне этот самый линолеум. А нафига он мне, если я его уже купил? Лучше уж тупая сегментация по полу, возрасту и доходам — там иногда что-то интересное бываеь.
                        –1
                        Machine learning в плане рекомендаций работает примерно
                        вот так
                        image
                          –1

                          Но нет.

                            +1
                            Угу. Важный момент — не «купил», а поискал на десятке сайтов. Этого достаточно, чтобы стали массировано предлагать диваны. А вот что диван уже купил — система как раз пропускает мимо ушей.
                              0
                              Надо добавить кнопку «уже купил».
                                0
                                Которая ведёт прямиком на специальный сайт к ворам. Как приглашение посетить дом в отсутствие хозяев.
                          +1
                          >ты только добавил телефон в корзину, тебе уже советуют чехол, защитную пленку, PowerBank и автомобильную зарядку

                          Для этого не нужно ML, скорее всего аксессуары забиты в базу как аксессуары к телефону.
                        +1
                        Речь скорее идет не про это. Автор имеет ввиду то, что достаточно большая часть людей используют новомодные примочки для решения элементарных задач. Которые можно решить по другому (в его примерах через SQL)

                        Еще одна мысль, выраженная не так явно — для решения некоторых задач можно применять простые подходы, вместо навороченных сложных. Инструментарий для решения вшит в систему, его надо просто знать.

                        О чем умалчивает автор при решении своих проблем — надо вести документацию по тому как и что делается. Это основная затыка такого метода решения проблем. Дело в том, что я сам пользуюсь подобным подходом, и у меня много заданий стоит в CRON-е. Вот их надо как-то систематизировать.
                          +2
                          в Rails проект cron управляет gem whenever, и вся систематизация заданий хранится в файле
                          schedule.rb, где они разбиты на группы, модули и содержат комментарии
                            0
                            в Rails лучше юзать sidekiq-scheduler чтобы избавиться от недостатков крона. Очередь задач более надежна.
                            0

                            Есть такой момент, что при использовании ML документацию вести невозможно, нельзя понять почему после обучения нейросеть дает именно такой вывод на такой набор исходных данных. Не то чтобы это плюс. В результате имеется черный ящик, который работает, вроде бы, но это не точно.

                              +3
                              Есть такой момент, что при использовании ML документацию вести невозможно, нельзя понять почему после обучения нейросеть дает именно такой вывод на такой набор исходных данных.

                              Во-первых, почему вы приравниваете ML к нейронным сетям? Есть и другие алгоритмы, в том числе полностью объяснимые (иногда объяснимость принятого решения является требованием).


                              Во-вторых, в случае машинного обучения документируется не то, как получившаяся модель принимает решения (потому что она будет регулярно переобучаться), а то, как эта модель выбиралась, какие метрики использовались и должны использоваться в будущем для оценки ее качества (ну и банальные для любой интеграции форматы ввода-вывода).

                                +1
                                В-третьих, сейчас уже есть методы, которые поясняют, почему сетка делает такие выводы на конкретную точку данных ;)
                            +3
                            Да суть-то в том, что современные айтишники штопают обычные вещи с использование модных технологий не задумываясь даже над вопросом «зачем» эта технология там нужна.
                            Недавно увидел лэндинг с парой фотографий и контактной формой. И этот лендинг написан на Ангуларе!
                            Лэндинг был совершенно обычный, хороший верстальщик такой за пару дней сделает с нуля на чистой троице.
                            А как вам магазин с оборотом 300 000 тыс рублей в месяц, основанный на ВООКОММЕРЦ, но с машинным обучением для анализа спроса? Зачем?
                            И таким проектов масса. Я понимаю, что часть из них — просто выкачивание денег из заказчика, но остальные — явно глупое следование трендам.
                              +3
                              Самообразование не рассматривается? Я недавно хотел уволиться, директор очень не хотел отпускать, дал другой проект не особо технически сложный, но сказал, что могу там делать всё что хочу, если нужно для развития.
                              0
                              А я с автором статьи согласен. Любой инструмент должен использоваться по прямому назначению.
                              Например: для автоматического чтения заполненного человеком бланка вполне годно и сетку потренировать, а вот обрабатывать статистику по прочитанному, это к SQL.
                              Я пока к искуственному интелекту отношусь с настороженностью. Во всем, что мы создавали до сих пор, мы точно понимали физику процесса. Впервые люди пытаются создать что- то, чего сами до конца не осознают.
                                0
                                И что же такого «неосознанного» в ИИ?)
                                  0
                                  Вы уверены, что точно знаете как работает ваш мозг? Как вы усваиваете информацию и обучаетесь ею пользоваться? Как обобщаете, и переходите, от частных фактов, к общим закономерностям? Как вы принимаете решения, особенно в экстремальных ситуациях? Что есть ваша интуиция и как она работает?
                                  А ведь человек пытается скопировать свой мозг. И мало того, что скопировать, еще и доверить ему принимать решения вместо себя.
                                    +1
                                    А ведь человек пытается скопировать свой мозг.

                                    Вообще-то, нет. Подавляющая часть современного ML не имеет никакого отношения к тому, как работает человеческий мозг.

                                      0
                                      Подавляющая часть современного ML не имеет никакого отношения к тому, как работает человеческий мозг.


                                      Не исключено, что он знает о том как Вы работаете намного больше, чем наоборот. ( шутка ).

                                      В конечном итоге, человек устроен не только из мозга. И по этой причине его мозг работает на режимах кратно хуже оптимальных, это медицинский факт. По этой причине машинное мышление намного более совершенно. Основная проблема при его обучении описана Азимовым довольно давно. Мотивация машины не может отойти в сторону от задачи, для переоценки критерия. Задача бизнеса деньги. Поэтому машина неизбежно в той или иной форме придет к предложению убрать тех или иных пользователей, включая физически.
                                        0
                                        По этой причине машинное мышление намного более совершенно.

                                        Эээ… нет. Чтобы машинное мышление было более совершенно, чем "неоптимальное" человеческое, оно (а) должно быть оптимальным и (б) должно вообще существовать. Ни то, ни другое сейчас не выполняется.


                                        Мотивация машины не может отойти в сторону от задачи, для переоценки критерия.

                                        У машины сейчас вообще нет мотивации.


                                        Задача бизнеса деньги.

                                        Первая, но не обязательно единственная. Соответственно, и алгоритму тоже ставится не один критерий, но несколько.


                                        Поэтому машина неизбежно в той или иной форме придет к предложению убрать тех или иных пользователей, включая физически.

                                        Нет, потому что это приведет к санкциям для компании, которые экономически невыгодны.

                                          –2
                                          В споре рождается истина.

                                          Что касается слова «санкции», то здесь выгода это важнейший параметр. Если убийство многих людей Ирака привелу к возникновению большого количества очень состоятельных Американцев, то санкции это как раз то «волшебное слово», описывающее механизм уничтожения одних людей, с целью принесения выгоды другим людям. Машины, в этой ситуации, с их неизмеримыми достоинствами могут помочь получателю выгды увеличить эти самые прибыли, при чем очень существенно. Ливия замечательный пример подобной итерации. Издержки на отнятие Ливийской нефти в пользу Американских выгодополучателей были значительно уменьшены, а выгоды значительно увеличены. Так например, один месяц финансирования машины уничтожения и подчинения Ирака стоили США 10 миллиардов долларов в месяц. В Ливии вся операция от начала до конца обошлась в 3-5.

                                          Можно себе только представить, что будет, когда машины начнут подсказывать людям, или выполнять поручения, по уничтожению людей, с целью предотвращения потерь или приобретения выгоды.

                                          Наверное единственное в чем машина уступает человеку, это как раз в мотивационном аспекте.

                                          Суть в том, что машину, принявшую неправильное решение можно обновить, либо лишив сегодняшней версии «сломанного» ума, вставить лучший, и запустить с того места, где она сделала ошибку, либо просто разобрать, засунуть в плавильную печь и получить через какое — то короткое время назад ту же машину, только лучше. У людей есть мотивация ограждать себя от подобных событий.

                                          Поэтому моё личное мнение, что серьёзнейшим преимуществом человека над машиной, в плане мышления, являются не совершенства, в которых машины давно обогнали человека, а как раз в недостатках.
                                            0
                                            Наверное единственное в чем машина уступает человеку, это как раз в мотивационном аспекте.

                                            Далеко не единственное.


                                            Поэтому моё личное мнение, что серьёзнейшим преимуществом человека над машиной, в плане мышления, являются не совершенства, в которых машины давно обогнали человека

                                            То есть тот факт, что компьютеры до сих пор не умеют мыслить, вас совершенно не волнует?

                                              0
                                              То есть тот факт, что компьютеры до сих пор не умеют мыслить, вас совершенно не волнует?

                                              Волновать должен тот факт, что на данный момент никто даже не знает, что такое "мыслить".

                                                –1
                                                Это да, никто не понимает до конца что такое сознание, интеллект и мыслить. Однако это абсолютно не мешает оценивать результаты этого всего. Поэтому апеллировать к этому факту ну такое. Человек мыслит, компьютер нет. Однозначный факт.
                                                –2
                                                «То есть тот факт, что компьютеры до сих пор не умеют мыслить, вас совершенно не волнует?»
                                                ***
                                                Извините, но это не факт, это Ваше личное мнение. К сожалению весьма невежественное.

                                                С точки зрения профессионалов, машины выиграли в шахматы у человеческого чемпиона мира по шахматам в далеком 1997-м году, на чем возражения по поводу способности машины мыслить закончились.

                                                Вопрос в том, что отдельно взятый процессор может общаться со всеми остальными процессорами в мире. Поэтому эффект предоставления массивов данных одному процессору неизбежно означает предоставление этого массива всем.

                                                Совсем недавно США познакомились с эффектом, который подобный обмен массивами данных может иметь на способность одного кандидата на пост президента США обойти другого кандидата на пост президента США. И они отреагировали на эти способности процессоров крайне негативно.
                                                  0
                                                  Извините, но это не факт, это Ваше личное мнение. К сожалению весьма невежественное.

                                                  Ну давайте поговорим как вежественные люди. Начнем прямо вот с простого, с определений. Открываем википедию:


                                                  Мышле́ние — это познавательная деятельность человека

                                                  В принципе, этого уже достаточно, но вот вам продолжение:


                                                  Результатом мышления является мысль (понятие, смысл, идея).

                                                  А теперь покажите мне хотя бы одну мысль, произведенную машиной.


                                                  С точки зрения профессионалов, машины выиграли в шахматы у человеческого чемпиона мира по шахматам в далеком 1997-м году, на чем возражения по поводу способности машины мыслить закончились.

                                                  Каких профессионалов? По шахматам? Согласно какому определению мышления оно необходимо для того, чтобы выиграть в шахматы?


                                                  Вопрос в том, что отдельно взятый процессор может общаться со всеми остальными процессорами в мире.

                                                  Нет, не может.


                                                  Поэтому эффект предоставления массивов данных одному процессору неизбежно означает предоставление этого массива всем.

                                                  Нет, не означает.


                                                  Я не люблю аналогии, но иногда приходится: "Отдельно взятый человек может общаться со всеми остальными людьми в мире. Поэтму предоставление данных одному человеку неизбежно означает предоставление их всем".

                                                    –1
                                                    Мышле́ние — это познавательная деятельность человека

                                                    Это, вообще говоря, не с совсем корректное определение. Мышление — это ощущение, в первую очередь, а не процесс и не деятельность. Человек мыслит тогда, когда он чувствует, что мыслит, и это единственный реальный критерий. Далее мы просто предполагаем, что есть некоторый процесс, который это ощущение вызывает, и называем мышлением уже его. Но вообще нет никаких достоверных сведений о том, что данный процесс действительно можно выделить.

                                                      +1
                                                      Это, вообще говоря, не с совсем корректное определение.

                                                      Я привел определение из википедии, суть которого в том, что мышление, как бы мы его не определяли, принадлежит исключительно человеку.


                                                      (кстати, забавно, что англоязычная википедия в этом вопросе придерживается того же мнения, но немного более явно)

                                                        0
                                                        Я привел определение из википедии, суть которого в том, что мышление, как бы мы его не определяли, принадлежит исключительно человеку.

                                                        Потому что это экстенсиональное определение. Мы не знаем, что такое мышление содержательно, а потому можем определить его только ткнув пальцем: "вот это мышление!", ну а поскольку никаких примеров мыслящих существ кроме человека нам неизвестно, то тыкаем в человека.
                                                        Но это не значит, что не-человек не может мыслить, просто если не-человек будет проявлять некоторые свойства, которые нами будут интуитивно восприниматься как "оно мыслит" то и определение сразу откорректируется.

                                                          0

                                                          Я подозреваю, что происхождение было обратным: вот у нас есть такая деятельность человека, нам надо ее как-то назвать, пусть будет мышление. Никакого признакового определения этой деятельности мы дать не можем, поэтому у нас нет никакого способа говорить, есть ли "такая же" деятельность у кого-либо (чего-либо) еще.

                                                            0
                                                            Я подозреваю, что происхождение было обратным: вот у нас есть такая деятельность человека, нам надо ее как-то назвать

                                                            Так деятельность эту как раз никто не наблюдал, по-этому нельзя сказать "вот у нас есть такая деятельность". Мы только предполагаем, что она существует (хотя, может, и нет).


                                                            Никакого признакового определения этой деятельности мы дать не можем, поэтому у нас нет никакого способа говорить, есть ли "такая же" деятельность у кого-либо (чего-либо) еще.

                                                            Правильно. Но, смотрите, если вы сидите на стуле и спросите у меня: "что такое стул?" и я отвечу: "та штука, на которой вы сидите", то это не значит, что если вы на чем-то не сидите — то это не стул.


                                                            Аналогично, если я говорю, что "мышление — это вот такая штука, которой человек занимается во время Х Y и Z" то это не значит, что мышления не может быть у грибов с альфа-центавры.

                                                              0
                                                              Так деятельность эту как раз никто не наблюдал, по-этому нельзя сказать "вот у нас есть такая деятельность". Мы только предполагаем, что она существует (хотя, может, и нет).

                                                              Э нет. Термин появился для обозначения какого-то существующего процесса или деятельности.


                                                              Аналогично, если я говорю

                                                              Это сильно зависит от понятийной системы. В вашей формулировке ("вот такая штука, которой занимается") — не значит, но в формулировке "вид человеческой деятельности" — уже значит.


                                                              It's complicated.

                                                                0
                                                                Э нет. Термин появился для обозначения какого-то существующего процесса или деятельности.

                                                                Нет, мы только предполагаем, что такая деятельность есть.


                                                                Это сильно зависит от понятийной системы. В вашей формулировке ("вот такая штука, которой занимается") — не значит, но в формулировке "вид человеческой деятельности" — уже значит.

                                                                Нет, в обеих не значит. Определение построено точно по тому же самому принципу, как ответ "штука, на которой вы сидите".

                                                                  0
                                                                  Это все уже из области философии. Есть условные градации определения мышления и вы говорите о самом абстрактном определении. Если взять уровень абстракции чисто биологический, то по некоторым признакам можно сказать что у грибов есть мышление. Более абстрактный уровень, например психолингвистика, докажет что у высших приматов есть мышление, хотя и на уровне трехлетнего ребенка. Если говорить о мышлении как о процессах, которые можно изучать в рамках психологии, то тут понятие мышления применимо только к человеку. И круг замыкается: к человеку какого возраста? У детей 1-2 лет есть мышление?
                                                                    0
                                                                    Это все уже из области философии.

                                                                    А само понятие из философии. Больше его нигде не существует.


                                                                    У детей 1-2 лет есть мышление?

                                                                    А что такое мышление? Это некоторый гипотетический процесс, в существовании которого мы не уверены. С-но, невозможно объективно утверждать, что кто-то обладает мышлением либо нет.
                                                                    Мы утверждаем, что сами обладаем мышлением (т.к. имеем определенные субъективные переживания, которые, как предполагается, являются следствием этого процесса), мы предполагаем, что другие люди тоже испытывают эти же переживания (но не можем быть уверены). Испытывают ли их дети 1-2 лет — непонятно, т.к. мы не помним себя в этом возрасте. Грибы их не испытывают потому, что они в принципе никаких переживаний не испытывают. Для приматов вопрос так же открыт, как и для детей.

                                                                      0
                                                                      Нет, определение мышления не философское понятия.

                                                                      Экзистенциализм, это философское понятие. Мышление понятие конкретное определяющее род деятельности вполне поддающееся оценке, используя род деятельности, где потенциал мышления одного оппонента измеряется с потенциалом мышления другого оппонента. Шахматы, это один из примеров такой деятельности.
                                                                        0
                                                                        Нет, определение мышления не философское понятия.

                                                                        А какое? У вас есть какое-то нефилософское (корректное) определение?


                                                                        Шахматы, это один из примеров такой деятельности.

                                                                        Компьютер играет в шахматы, но при этом не мыслит.
                                                                        Кроме того, каким образом вы определяете те виды деятельности, которые предполагают наличие мышления? Почему шахматы, а не прыжки в высоту?

                                                                  0
                                                                  Термин появился для обозначения какого-то существующего процесса или деятельности.

                                                                  Флогистон, эфир слегка опровергают эту идею.
                                                                    +1
                                                                    Флогистон, эфир слегка опровергают эту идею.

                                                                    Отнюдь. Было нечто, что проявлялось в наблюдениях, и чему было нужно дать название. Просто это нечто неправильно определили.

                                                                      0
                                                                      Отнюдь. Было нечто, что проявлялось в наблюдениях, и чему было нужно дать название. Просто это нечто неправильно определили.

                                                                      Ну вот и с мышлением может быть ровно такая же ситуевина.

                                                                      0
                                                                      Насчет эфира Вы явно не знаете о чем речь.

                                                                      Эфир не был обозначением существующего процесса или деятельности. Это была гипотеза, предположение. Её доказательство провалилось.

                                                                      Шахматы, это род деятельности основанный на мышлении. Утверждать, что компьютер, играющий в шахматы, не мыслит, это все равно что махать на льва платочком и говорить, что его на самом деле нет. К сожалению у некоторых людей процесс мышления не оформился, и пока их этот самый лев не кушает, они склонны утверждать что их левой пятке чешется.
                                                                        +1
                                                                        Шахматы, это род деятельности основанный на мышлении.

                                                                        Одни и те же действия можно выполнять разными способами. Если человек мыслит играя в шахматы, то это не значит, что для игры в шахматы необходимо мыслить.


                                                                        Утверждать, что шахматы — род деятельности, основанный на мышлении, то же самое, что утверждать будто прием пиши — род деятельности, основанный на использовании столовых приборов.
                                                                        Животные едят, ergo — пользуются столовыми приборами.


                                                                        Утверждать, что компьютер, играющий в шахматы, не мыслит

                                                                        Он совершенно точно не мыслит, т.к. не чувствует.

                                                                          0
                                                                          «Он совершенно точно не мыслит, т.к. не чувствует.»
                                                                          ***
                                                                          Если мышление, побеждающее в шахматы, измерять приемом пищи, то можно прийти к удивительным открытиям.
                                                                            0
                                                                            Если мышление, побеждающее в шахматы, измерять приемом пищи, то можно прийти к удивительным открытиям.

                                                                            Верно. Потому и не надо так делать. А то иначе окажется, что мыслить может любая система, способная действовать по заданному наперед алгоритму. То есть, ну, любая система.

                                                                          0
                                                                          Эфир это термин, обозначающий то, чего нет, но предполагалось, что есть по косвенным признакам. (с мышлением человека может быть та же петрушка) А lair в 18907737 утверждал, что термины есть только у существующих вещей и этим пытался доказать, что мышление существует.

                                                                          Шахматы это игра без случайностей с полной информацией. То есть самый тупой вид игр из возможных. Просто перебор затруднён количеством вариантов.

                                                                          Компьютер же в любом случае исполняет алгоритм. Игра в шахматы это или рисование очередного кадра из стрелялки — разница не велика.
                                                                          Остаётся понять, по каким признакам некоторые алгоритмы можно назвать мышлением?

                                                                          Или мышлением можно называть только специфичный химический процесс? тогда им обладают все живые (ну или живые с мозгами) и пытаться повторить его на компе не то что невозможно, но и бесполезно. А повторять надо некую модель этого процесса, которая приводит к интересным решениям у животных, для которой термина нету.
                                                                            0
                                                                            Логическая ошибка.

                                                                            Человек играет в шахматы -> человек мыслит -> шахматы — это мышление;
                                                                            Машина играет в шахматы -> машина мылит;

                                                                            На самом деле человек, играя в шахматы, тоже лишь перебирает варианты и стратегии. Просто машина перебирает больше и быстрее.
                                                                              0
                                                                              Программ, которые играю в шахматы множество. Есть программы, которые никогда не обыграют шахматиста КМСника, но в 100% случаем обыграют меня. Можно ли сказать что у такой программы есть мышление?
                                                                                0
                                                                                Шахматы, это род деятельности основанный на мышлении.

                                                                                Прямой перебор всех вариантов — это мышление?

                                                                                  –2
                                                                                  А Вы думаете Магеллан обошел земной шар с помощью некоего магического фокуса, а не пройдя водную гладь, шаг за шагом. Или по Вашему его доказательство того, что Земля круглая не было проявлением мышления.
                                                                                    0

                                                                                    Я думаю, что вы подменяете процесс мышления и результат этого процесса.

                                                                  0
                                                                  В википедии это определение уже прямо со старта гвоздями прибили К ЧЕЛОВЕКУ. Если же мы примеряем его по отношению к машине… оно уже будет иным. И по правде должно быть иным — нужно такое определение в котором не было бы привязки к ЧЕЛОВЕКУ и только тогда можно сравнивать мышление человеческое и машинное.
                                                                  В случае с шахматами — машина таки мыслит, но в очень узких рамках заданных самой шахматной игрой, в результате появляется мысль-решение какой сделать ход. Но эта же машина не может победить человека в другой деятельности где так же нужно мышление — человек оказывается гибче.
                                                                    0
                                                                    И по правде должно быть иным — нужно такое определение в котором не было бы привязки к ЧЕЛОВЕКУ и только тогда можно сравнивать мышление человеческое и машинное.

                                                                    Но такого определения нет, и поэтому такое сравнение невозможно.


                                                                    В случае с шахматами — машина таки мыслит, но в очень узких рамках заданных самой шахматной игрой, в результате появляется мысль-решение какой сделать ход.

                                                                    Чем это отличается от "мышления" калькулятора, который "знает" результат данного ему выражения?

                                                                      0
                                                                      Машина не знает результат, она его определяет перебором и/или по шаблонам практически так же как это делает человек. Ладно шахматы, тут хотябы есть смысл какие-то варианты перебирать. Взять к примеру игру Го. Там ни вычислениями ни перебором не выиграешь. Тут уже нужно стратегии развивать.
                                                                        0
                                                                        Машина не знает результат, она его определяет перебором и/или по шаблонам практически так же как это делает человек.

                                                                        Результат выражения. Перебором.


                                                                        А если вы считаете, что выполнение алгоритма — это "по шаблонам практически так же как это делает человек", то, гм, станок Жаккарда тоже "мыслит".


                                                                        Взять к примеру игру Го. Там ни вычислениями ни перебором не выиграешь.

                                                                        Тем не менее, AlphaGo использует именно вычисления (нейронные сети) и перебор (метод Монте-Карло для поиска в дереве).

                                                    0

                                                    А вы в состоянии объяснить, почему нейросеть дала такой ответ а не другой? В четких алгоритмах есть понимание как они работают. Если такое понимание в нейросеть? Или это просто "магия чисел"?

                                                      0
                                                      Во-первых, понимая работы человеческого мозга нет ни у кого, поэтому сравнивать сетки с мозгом — по определению глупость.

                                                      Во-вторых, то, что архитектуру нейросети пытаются сравнить с «архитектурой» мозга, это просто удачный пиар ход и допущение. Алгоритмы работы совершенно другие. ИИ объясняют на примере архитектуры мозга потому, что так проще объяснить.

                                                      В-третьих, любая сетка — это набор алгоритмов и вычислений, которые основаны на жестких правилах, которые разработаны человеком. И ничего магического там нет.

                                                      В-четвертых, если хотите понять «как» — возьмите данные на входе, перемножте на все веса всех слоев и получите 100% точный ответ, почему получен такой результат. Сможете ли вы осознать почему именно такие веса использовались — нет, и только потому, что на обучение подавалось слишком много данных, чтобы человек физически смог сам выявить в них закономерности. Но ML для того и создан, чтобы обопщать и обрабатывать большие объемы данные, которые не может обработать человек. Но по четким правилам и алгоритмам. Никакой магии там нет.
                                                        +1
                                                        В-четвертых, если хотите понять «как» — возьмите данные на входе, перемножте на все веса всех слоев и получите 100% точный ответ, почему получен такой результат. Сможете ли вы осознать почему именно такие веса использовались — нет, и только потому, что на обучение подавалось слишком много данных, чтобы человек физически смог сам выявить в них закономерности.

                                                        Здесь вообще есть такой момент, как повторяемость. То есть — окей, что мы не понимаем, почему именно такие веса, но мы должны понимать, как мы к ним пришли и суметь повторить. А учитывая что алгоритмы обучения сейчас стохастические, то в итоге две сетки обученные по одному и тому же алгоритму с одними и теми же параметрами на одних и тех же данных могут привести к разным результатам. И вообще в итоге обучение сложной сети приходится проводить под постоянным человеческим контролем (то есть "без учителя" это на самом деле нифига не без учителя, учитель там есть, целый отдел учительский).
                                                        При этом, как и у любого учителя, возникает проблема контроля знаний. На данный момент для сложных задач нет никакого способа достоверно убедиться, что сеть усвоила то, чему вы ее учили.

                                                          0
                                                          1. Понять как пришли к весам очень просто — достаточно понимания принципа работы алгоритмов первоначальной расстановки весов, целовой функции, функции активации и метрик их балансировки.

                                                          2. Стохастика определяется параметрами RNG. Установите констатное значение RNG — получите повторяемый процесс обучения сети.

                                                          3. Не подменяйте понятия. В методике обучения сетей: «без учителя» — когда нет известных целевых значений, «с учителем» — когда есть известные целевые значения. Вопрос только в том, что пытается сблансировать сеть — кластерные характеристики или целевую функцию.

                                                          4. Есть целвеая функция, есть критерии / метрики / методы её оценки. Правильное определение целевой функции, контроля её допущений и метрик оценки — и любой аналитик имеет полный арсенал методов убедиться в том, что он на выходе получил ожидаемое.

                                                          Мой ключевой месседж — то, что мы не можем что-топовторить (ввиду физических ограничений) не означает, что мы не понимаем, как это делает сетка.
                                                          0
                                                          Сможете ли вы осознать почему именно такие веса использовались — нет, и только потому, что на обучение подавалось слишком много данных, чтобы человек физически смог сам выявить в них закономерности.

                                                          Не только. Сравните интерпретируемость нейросетей с интерпретируемостью random forest'а, например.
                                                          +1
                                                          Просто пример: вы сможете в уме разделить 32432749324 на 234239408? Врядли, по результатам калькулятора ведь доверяете, правильно. И вы даже можете не знать, как он это делает — в столбик, остатками и т.д. Но вопросов не возникает. Изучите теорию нейросетей и все вопросы отпадут сами собой
                                                            0
                                                            Нейросеть — нет. А вот латентно-семантический анализ или градиентный бустниг над решающими деревьями вполне понятные (не мне =) ) алгоритмы, которые тоже относятся к ML.
                                                        0
                                                        Вообще, согласен. Зачем заминусовали Вас не понятно. Действительно, обычный функционал на основе данных можно реализовать при помощи SQL. Вся соль ML заключается в том, что когда логики с данными уже много, т.е., например, логика зависит от поведения клиентов, и это поведение иногда меняется, то логика на SQL над этими данными устаревает быстрее, чем вы реагируете на это поведение. Далее вы переписываете логику над данными, подстраивая ее под новое поведение клиентов, возможно, для вас это будет дорого. Это то, что касается классики работы с данными, например, с использованием SQL. Если же вы используете ML для реагирования на поведение клиентов, то при изменении поведения, на самом деле во всей внутренней математике этого самого ML логика выстраивается сама на основе этих данных, и не нужно ручками ничего переписывать, мы вовремя среагировали на поведение клиентов и попали в ЦА. Поэтому если данных не очень много, и проще использовать SQL -используем. Если данных много и SQL использовать затратно, а также интересно не явное поведение клиентов — используем ML. Примерно так.
                                                          0
                                                          дык а причем тут ML, это лишь один из методов. У нас в ЛЭТИ отдельный курс был по распознаванию лиц, нормально все распознавали
                                                          +47
                                                          «Скажем, человек купил пару обуви, солнцезащитные очки и книгу. В рассылке для него мы покажем обувь, солнцезащитные очки и книги.»
                                                          За это надо расстреливать на месте. Если книги я ещё как то понимаю, но нафига мне ещё одни очки и вторые кроссовки, если я их только что купил? И скорей всего в процессе подбора я ознакомился и с другими моделями, но их не взял.
                                                            0
                                                            страшно подумать, что будет предлагать «SQL-запрос», если купить две пары кроссовок, и три раза солнцезащитные очки…
                                                            а вот у ИИ есть интересные варианты…
                                                            Хотя и полностью отвергать простые запросы (т.е. «старые известные технологии») нельзя.
                                                              +2

                                                              А почему не составить таблицу правил по каждому типу товаров?


                                                              Если купил очки — не предлагать очки
                                                              Если купил книгу — предложить книги через две недели
                                                              Если попал под все "не" — показать товары, которые другие купили с этим типом

                                                                +2

                                                                А если у вас тысячи наименований и при этом есть нетривиальные корреляции? Например, если человек купил А и Б, то он склонен купить С, но если при этом он еще купил Д, то вместо С надо Е.
                                                                Кто будет эти правила забивать, и главное, откуда он вообще их возьмет?

                                                                  0

                                                                  Возьмёт он их, собственно, из статистики и выберет главное. То, какая реклама сейчас реально подсовывается, а это просто такие же товары, говорит о том, что им плевать на такие корреляции, оно итак работает. Зачем тогда думать над сложной математической моделью, если можно составить простую логическую?


                                                                  И да, сложные корреляции на ходу — это энергозатратно.

                                                                    +3
                                                                    Возьмёт он их, собственно, из статистики и выберет главное.

                                                                    Ну так это и есть machine learning. Он же включает не только модные нейронки, но и подходы вроде байесовских сетей или экспертных систем, которые уже десятилетия назад себя зарекомендовали. С-но, ваше предложение ниже:


                                                                    ну и? собираешь на год команду правило-мейкеров. Потом смотришь, где проценты просмотра подобных товаров наименьшее, и стараешься исправить.

                                                                    это типичный ml.


                                                                    Зачем тогда думать над сложной математической моделью, если можно составить простую логическую?

                                                                    Ну будет не сложная мат. модель, а простая. В чем разница?

                                                                    0
                                                                    >Кто будет эти правила забивать, и главное, откуда он вообще их возьмет?

                                                                    Если говорить об ИИ, то рекомендации будут на основе поведения конкретного человека. Но в том и «глупость» — чтобы натаскать сетку на конкретного человека, нужны большие объемы данных (его трафик и его конверсии). Эти данные есть у поисковиков. Но на обычных сайтах чтобы собрать такой объем потребуется… ну оочень много трафика и конверсий этого конкретного человека. Именно поэтому рекомендательные системы пишутся на основе различных эвристик и прочих коллаборативных фильтраций, основанных на статистике.
                                                                      0
                                                                      del
                                                                        0

                                                                        Для нетривиальных корреляций как раз уже нужен AI. Потому что sql для этого слишком structured. Я понимаю, статья о том, что в элементарных вещах его вполне достаточно. Иными словами, можно сделать запросы на основании имеющегося жизненного опыта и наблюдений. Но с AI всё же интереснее, покуда эти самые наблюдения и опыт он обретает сам, без участия программиста. Например, если человек купил вино и шоколад но не купил презервативы — на основании статистики он может через 40 недель предложить ему памперсы и детское питание (а может и не предложить).

                                                                        0
                                                                        вручную — замучишься.
                                                                        я вот навскидку могу добавить правила типа «купил очки и/или кроссовки» — предложить шорты/панаму/плавки. покупал раньше детские кроссовки и купил очки — предложжить детские очки. купил детские плавки/купальник или надувной круг -предложить водный пистолет. и еще 100500 различных подобных правил.
                                                                          +1

                                                                          ну и? собираешь на год команду правило-мейкеров. Потом смотришь, где проценты просмотра подобных товаров наименьшее, и стараешься исправить.

                                                                            0
                                                                            а через год меняется один из поставщиков, или из ассортимента выводится (вводится) другая группа, и все переписывать заново…
                                                                            кстати, хорошая идея для самообучения. только где бы взять датасет…
                                                                              0
                                                                              Ну вводится группа, ну добавляет кто-то правило. Это же не страшно? Просто, реальные правила, которые можно изменить — лучше закрытого механизма AI, который полностью понимает (ладно, это шутка) только тот, кто его написал. Ну и не нужно думать о каких-то хитрозакрученных правилах, потому что в мире сейчас даже простые слабо применяются.

                                                                              Датасет — он в статистике посещений же. Из того же piwik это можно выдрать, если вы про какой-то маленький локальный.

                                                                              Идеально было бы выпустить библиотеку с базовыми «если… то», чтобы все использовали её как стартовый шаблон. Что-то типа «задалбывают глупые предложения? Сделай коммит!».
                                                                                +1
                                                                                AI масштабируется, а ваш подход не масштабируется. С ростом магазина просто потонете в этой бессмысленной работе. Вот у вас к примеру 10000 SKU в магазине, и каждый день 1000 из них выбывает и столько же прибывает, их всех надо сопоставить ВРУЧНУЮ с оставшимися(обычный SQL вам не поможет отличить мочалку от тазика или очки от футболки) и придумать правила комбинаций. Это работы на целый штат сотрудников. При росте магазина становится всё только хуже. И библиотеки не помогут, поскольку между магазинами может не быть вообще каких-либо общих SKU и информация с другого магазина вам ничем не поможет.
                                                                                Веселья добавляет ещё групповая покупка — когда несколько человек для удобства покупают через чей-то один аккаунт совершенно разные товары, которые создают очень интересные комбинации вплоть до несовместимости.
                                                                                  0
                                                                                  1000 категорий выбывает? Или всё-таки товаров? Я говорю о категориях, вы проставлении правил каждому товару.

                                                                                  И да, на всех более-менее крупных площадках таки есть вручную проставленные подробные категории того, что они продают.

                                                                                  И опять же, сейчас не применяется даже общих правил, для случая, который был описан выше. Какой к чёрту AI, если они вообще ничего не используют?

                                                                                  Есть крупные агрегаторы, типа амазона. Есть местячковые магазины, типа Tesco, Euro и.т.д. У них этот штат уже есть, и возможно амазон пользуется и AI, и списками, но больше всего он полагается на «люди купившие это, так же купили». Есть маленькие магазины, у которых никогда не будет того самого роста.

                                                                                  И целенаправленные массовые покупки — это то, что вообще нужно отсекать из статистики, и это мелкий частный случай, а не гигантская проблема.

                                                                                  Так о каком именно типе магазина вы говорите?
                                                                                    0
                                                                                    возможно амазон пользуется и AI, и списками, но больше всего он полагается на «люди купившие это, так же купили».

                                                                                    Ну так FBT — это один из стандартных кейсов для ML, потому что зависимости выявляет машина.


                                                                                    Есть маленькие магазины, у которых никогда не будет того самого роста.

                                                                                    … и которые зачастую были бы рады купить сервис по продуктовым рекомендация или восполнению складов, чтобы уволить тех людей, которые занимаются ведением списков.

                                                                                      0
                                                                                      А скуль уже не может выбрать «для всех корзин (всех клиентов) в которые входил товар, купленный данным клиентом вывести табличку товар — число покупок и запустить в рекламу этому клиенту по 5 штук в неделю с топа и вниз»
                                                                                        0
                                                                                        Мне кажется полезнее брать не топ того что входит в корзины с тем же товаром, а брать корзины максимально пересекающиеся по товарам, а уже сверху этого можно и топ товары.
                                                                                          0
                                                                                          для всех корзин (всех клиентов) в которые входил товар, купленный данным клиентом вывести табличку товар — число покупок и запустить в рекламу этому клиенту по 5 штук в неделю с топа и вниз

                                                                                          Может. Однако есть два нюанса.


                                                                                          1. представьте себе, что данный клиент кликнул на товар из нашей рекламы, и мы теперь хотим, чтобы у остальных клиентов с похожими выборками это товар был ближе к топу
                                                                                          2. представьте себе, что мы хотим сделать все то же самое не для конкретного товара, а для похожих — то есть, если клиент купил кроссовки Абибас, то мы хотим учитывать заодно и корзины с кроссовками Нук (ну потому что носки все равно нужны и тем, и другим)

                                                                                          И да, это тоже можно сделать на SQL. На нем вообще почти все, что угодно можно сделать. Просто иногда уже проще начать использовать другие инструменты.

                                                                                      0
                                                                                      ибо придется класссифицировать мочалку и тазик по куче разных ортогональных признаков (которые надо еще придумать).
                                                                                      а совместная покупка действительно добавит веселья — и магазину, и покупателю…
                                                                                        0
                                                                                        Вот, это ближе к ответу. Вопрос в масштабах. Если это новый мелкий бизнес, то SQL + клиент с разного рода алгоритмами — это чуть лучше, чем бумага и excel. Но, это работает, если объемы не большие. В том случае, если за первый год, бизнес-модель показала свою состоятельность, то можно и нужно думать внедрять ИИ с МО. В целом принятие таких решений может занять до 5 лет. А сразу лепить ИИ/МО — это слишком сложно. Да, если уставной капитал исчисляется миллионами долларов и планы расписаны на 10 лет, то SQL — это будет потерей времени и ресурсов.
                                                                                        0
                                                                                        да-да-да! и либо скоро назойливая реклама исчезнет как класс, либо будет «купил кроссовки — увеличь пенис, и выучи английский !»
                                                                                          0
                                                                                          Если кроссовки брендовые, пенис увеличивать вовсе не обязательно.
                                                                                          +3
                                                                                          Какую библиотеку? 100500 лет работают паттерны «С этим товаром смотрели» и «С этим товаров купили». Нафига усложнять все? Статья именно об этом: прежде чем пилить блокчейн с диплернинг на бигдате, стоит повспоминать/подучить проверенные практики.
                                                                                            0
                                                                                            Для отсеивания шлака из «с этим товаром же», который туда 100% попадает. Но в принципе, да.
                                                                                              0
                                                                                              Ну, рекомендации такая штука, которая в принципе не выстрелит сто из ста. А количество шлака «легко» минимизируется. Сегментация пользователей по группам, сегментация правил рекомендаций по группам пользователей, сегментация по истории посещений внутри группы пользователей, сегментация по… да по чему угодно. Естественно это должен делать грамотный маркетолог, а не разработчик, который руководствуется своими догадками.
                                                                                                0
                                                                                                отсюда вопрос: с чем легче «договориться» маркетологу?
                                                                                                  0
                                                                                                  Не понял вопроса.
                                                                                                    0
                                                                                                    для какого инструмента маркетологу легче поставить задачу?
                                                                                                    маркетологи — люди своеобразные… вот сколько они мне в свое время (после я просто перешел в другую область) задач не ставили — формализовать задачу было порой весьма нетрииально… сейчас вот захотелось поднять старый список задач, и попытаться решить их на ML/
                                                                                                      0
                                                                                                      >для какого инструмента маркетологу легче поставить задачу?

                                                                                                      Опять не понял =)
                                                                                                      Он, маркетолог, работает со статистикой и выдает рекомендации. Как они реализуются — вопрос разработки.

                                                                                                      >попытаться решить их на ML

                                                                                                      Алгоритмические рекомендательные системы (SQL) на вход получают только статистику. Маркетолог — статистику, свой опыт и здравый смысл.

                                                                                                      ML это попытка заменить маркетолога и как-то прикрутить на вход «опыт». А «здравый смысл» задается в исключениях. Например не стоит предлагать холодильник через пол года после покупки холодильника. Или ласты зимой, несмотря на то что летом шорты+ласты заходят на ура, тогда как зимой шорты покупаются для спортзала и ласты в предложке уже безумство, а не cross-sell.

                                                                                                      И вот эти самые исключения и есть самое узкое место в ML. Например коллаборативная фильтрация «увидит в статистике», а маркетолог поймет из опыта (или тоже из статистики), что генератор для Приоры можно предлагать хоть каждые 2 месяца, а для Тойоты не стоит вообще его рекомендовать. А чтобы обучить таким исключениям ML нужен нехилый такой датасет. Поэтому я не верю в то что ML лучше. По крайней мере для относительно небольших сайтов и сроков. Если это Амазон и задача за год натаскать сетку, то возможно.
                                                                                                        0
                                                                                                        зато если «зимой плавки+чемодан» — то можно предложить и ласты. а холодильник через пол-года — это примерно как кроссовки через три месяца…
                                                                                                        в общем, попробую в самообразовательных целях попытаться — может, чего и получится…
                                                                                                          0
                                                                                                          >зато если «зимой плавки+чемодан» — то можно предложить и ласты.

                                                                                                          Нельзя. И маркетолог, и SQL движек это поймут — движек из статистики (предлагали, не заходит), а маркетолог из опыта (на курорт со своими ластами не ездят). ML тоже научится, но сроки…

                                                                                                          В академических целях это безусловно классный опыт. Удачи.
                                                                                                            0
                                                                                                            ML тоже научится, но сроки…

                                                                                                            Те же, что и у "движка" — если есть статистика "предлагали — не заходит", то она уже есть.

                                                                                                              0
                                                                                                              Тогда зачем вкладываться в ML, если можно дешевле в движек?

                                                                                                              При подходе «конверсия B при А+В >5% — кидаем в рекомендации» ML не нужен. Он нужен в случае если мы хотим «конверсия B при А+В <2%, но вот конкретно этот персонаж/сегмент конвертнется с вероятностью >80% — кидаем в рекомендации». Вот это пример «обученного». Для этого нужен датасет именно этого человека/сегмента.

                                                                                                              В этом случае будут точечные рекомендации и получится избавиться от маркетолога, ради чего, собственно, все и затевается.
                                                                                                                +1
                                                                                                                Тогда зачем вкладываться в ML, если можно дешевле в движек?

                                                                                                                Во-первых, еще надо доказать, что дешевле. Я вот даже не буду пытаться на SQL посчитать feature matrix для рекомендаций, а уж тем более — построить по нему расстояния, хотя на питоне это работает только в путь.


                                                                                                                А во-вторых, это вообще некорректное противопоставление, потому что когда вы вытаскиваете закономерность из существующей статистики автоматически — это уже ML. A и B — признаки, конверсия — существующие показания, 5% — порог отсечения для классификатора.

                                                                                                          0
                                                                                                          Но и тут опять все упирается в сегментирование трафика: в северном климате не работает предложка, которая на ура заходит в южном. Например. Откуда ML возьмет это исключение? Маркетолог задаст. Так, стоп, мы ж хотели заменить его на ML…

                                                                                                          Да, он конечно же обучится сегментировать сам. Со временем. Но это уже вопрос готов ли бизнес ждать.
                                                                                                            0
                                                                                                            А «здравый смысл» задается в исключениях.
                                                                                                            Наверное, не только в них.
                                                                                                            Маркетолог может сформулировать рекомендацию вида «с этим товаром обычно забывают купить...»
                                                                                                            А такой ML-алгоритм, по-видимому, невозможен. Хотя не знаю, как у него коммерческая эффективность.
                                                                                                            Но вот к только что купленному принтеру предложить дополнительный комплект картриджей — казалось бы, предсказуемая глупость, которую МО на статистике не сделало бы, а на самом деле постобслуживание информацией о продукте).
                                                                                                  0

                                                                                                  Для корректного ранжирования "с этим товаром смотрели" и "с этим товаром покупали" как раз ml (а конкретно — нейронные сети) нужен.

                                                                                                  0
                                                                                                  Просто, реальные правила, которые можно изменить — лучше закрытого механизма AI,

                                                                                                  Довод из восьмидесятых. Экспертные системы (с ручными правилами) заняли свою узкую нишу, но мало кто уже скажет, что они лучше ML.


                                                                                                  Но опять же, хотите делать экспертную систему — пожалуйста, пробуйте. Потом напишете на Хабре историю успеха (имхо, вряд ли).

                                                                                                    0

                                                                                                    Маленькое замечание. Я скажу что пока нельзя утверждать, что ML лучше старых экспертных систем из 80-х. )
                                                                                                    Не мало ведь уже критических статей на тему ML. Так же не приведете пример истории успеха для ML. Не далее как вчера упоминался Watson IBM в несколько ином свете. А ведь замахнулись на медицину.
                                                                                                    Да и нам всем тут не нужно меряться "длиной"… Скорее поразмыслить ПОЧЕМУ? Ведь мы все (надеюсь) стараемся сделать не только ради тщеславия, но и ради пользы свои продукты. Поэтому анализ почему не взлетело или не взлетает очень даже необходим.
                                                                                                    Надеюсь никто не станет возражать против того чтобы не изобретать колесо заново? Прошлый опыт интересен. Более того, и в 80-х были идеи, которые не получили должного воплощения в автоматизированных системах. Не созрели еще технологии. А просто взять и отмести не изучив… Помнится в университете мы проходили основы основ математики, которым сотни лет.
                                                                                                    И, как всегда, из практики. Несколько раз видел как разработчики изобретали квадратное колесо. Потом они уже начинали изобретать восьмигранное… и все еще деревянное. На следующей итерации они изобретут 16-ти гранное. Далее не буду продолжать. Когда они доберутся до каучука один Бог ведает. Боюсь, могу и не дожить. А причина в том, что существует убежденность в том, что они создают нечто уникальное и чужой опыт им не нужен. Хотя, очевидные методологии и техники уже эксплуатировались еще до их рождения. Хуже, что и слышать они не хотят об этом.

                                                                                                      0
                                                                                                      Я скажу что пока нельзя утверждать, что ML лучше старых экспертных систем из 80-х. )

                                                                                                      Можно, конечно. В рамках обсуждаемой задачи (рекомендательная система для интернет-магазина) кто сейчас вообще будет использовать экспертную систему? Есть истории успеха? А простейшую коллаборативную каждый каждый третий, наверное (или более быстрые варианты).


                                                                                                      Вот серьезно, кто-то вручную задаёт правила? Хотел бы узнать, если такие примеры есть.

                                                                                                        0

                                                                                                        Я приводил пример медицины. ) Есть. История успеха, скажем, была. Мне было очень интересно изучить. Тем более, что я общался с реальными участниками событий. В том числе и с людьми, которые занимались вопросами со стороны государства. В том числе есть и истории, когда кто-то получил и гос. награду…
                                                                                                        И, кстати, только одна из историй, когда произошел взрыв и использование экспертной системы позволило спасти многие жизни уже достаточен. Не все ведь меряется деньгами.)

                                                                                                0

                                                                                                И получается проект на год и десяток миллионов. Вам никто не запрещает так делать, конечно. Почему так обычно не делают (ну я не слышал про такие истории)? Коллаборативную фильтрацию можно внедрить за пару месяцев силами одного программиста.

                                                                                                  0
                                                                                                  Тут как раз AI выгоднее — можно искать корреляции автоматически. Но AI в этом контексте — это не нейронные сети, а вполне детерминированные алгоритмы кластеринга, сегментации и т.п.
                                                                                                    0
                                                                                                    Нейронные сети не сильно менее детерминированы, чем алгоритмы кластеринга, скажем.
                                                                                                  0

                                                                                                  А можно и не вручную. Простым запросом на тему "с этим товаром также часто покупают".

                                                                                                    0
                                                                                                    Это называется кластеринг и относится-таки к области AI/Big Data. При этом AI != ML, т.к. в общем случае никакого обучения нет.
                                                                                                      0

                                                                                                      Вы никогда не слышали термин unsupervised learning? Если что, алгоритмы кластеризации сейчас принято относить именно туда.

                                                                                                        –1
                                                                                                        Это такая мантра для инвесторов, а на деле — примерно как утверждение что теория асимметричной криптографии (или вообще — простых чисел) относится к криптовалютам.
                                                                                                          0

                                                                                                          Ну да, ну да, а логистическая регрессия — это статистическая модель, а матричное разложение — задача из линейной алгебры.

                                                                                                  0

                                                                                                  Потому что рано или поздно вы задолбаетесь составлять и поддерживать эти таблицы.

                                                                                                  +1
                                                                                                  А вот тут как раз ML поможет. Хотя опять же — посмотреть что еще покупали люди, которые купили очки шлепанцы и книги, можно и с помощью SQL и предложить человеку, например, солнцезащитный крем. Или зонтик от солнца, потому что обычно это идет в наборе покупок у других людей.
                                                                                                    0
                                                                                                    Чтобы ИИ научился предлагать что-то интересное, нужно данных на сотню терабайт.
                                                                                                      0
                                                                                                      вполне подойдет аналог ф-ии «с этим товаром покупают...» для работы достаточно sql
                                                                                                        0
                                                                                                        Если говорить об ИИ в рамках одного, пусть и очень большого интернет магазина, у ИИ шансов сделать точное предложение едва ли не больше, чем у SQL запроса. Из того, что я купил кроссовки, совсем не следует, что я занимаюсь спортом, а если перехал в гористую местность, совсем не значить, что я встану на горные лыжи.
                                                                                                        Другое дело поисковые системы. С ними мы общаемся чаще, и спектр запросов шире. Здесь есть где разгуляться аналитикам, и SQL здесь явно недостаточен.
                                                                                                          0
                                                                                                          Или быть гуглом или фэйсбук который знает каждый ваш шаг и каждое действие, как и яблоко и пытающийся также влезть в последний вагон Амазон.
                                                                                                          Сам по себе поиск тоже не так много может знать, наглядный пример это директ. (Или яндекс совсем отстал от жизни.)
                                                                                                        0
                                                                                                        Потому что с ненулевой вероятностью человеку нужна будет и ВТОРАЯ пара обуви, не обязательно такая же как купил — для занятия спортом, велосипедная или зимняя. То же самое касается и очков. Одни купил, но вероятно через месяц захочет другие очки уже не тёмные а прозрачные для езды на велосипеде. Или первые поломал. Обувь, очки — это считай расходники. Их будут покупать и покупать…
                                                                                                          0
                                                                                                          а если купил две пары — значит, понадобится еще две. итого четыре. и так в геометрической последвательности…
                                                                                                          или купил кроссовки — начинаем предлагать валенки и шлепанцы?
                                                                                                            0
                                                                                                            купил кроссовки для баскетбола — аксессуары для баскетбола и вторая пара через 3 месяца или когда скидка. Купил 2 пары туфель — предложение через время, когда есть скидка. Геометрическая прогрессия — это какой-то средний-крупный опт. Эти все алгоритмы — очень своеобразные ибо держаться на вкусах и предпочтения. А о вкусах не спорят. И говорить, что при покупке кроссовок тебе не понадобятся шлепанцы — не корректно. На самом деле, может понадобится очень много, о чём даже сам человек не догадывается.
                                                                                                              0
                                                                                                              для того, что бы определить, что «кроссовки для баскетбола» — они должны быть как-то классифицированы.
                                                                                                              «купил кроссовки — начинаем предлагать валенки и шлепанцы» <> «говорить, что при покупке кроссовок тебе не понадобятся шлепанцы — не корректно»
                                                                                                              я про то, что «купил кроссовки — предлагаем еще кроссовки» глупо, но «купил кроссовки — предлагаем все, кроме кроссовок» еще хуже.
                                                                                                              вот я реально позавчера купил кроссовки. сегодня мне нужна зубная паста. это не свяжет ни SQL, ини AI. а вот предложить средства для чистки кроссовок — вполне по силам обоим.
                                                                                                                0
                                                                                                                купил кроссовки — предлагаем еще кроссовки» глупо
                                                                                                                Я написал о том, что нужно и можно предлагать через время. За лето, на асфальте я могу стереть подошву. Так и было в прошлом году, в сентябре купил другую пару, по скидке. Но я бы купил текущие, но скидок не было.

                                                                                                                а вот предложить средства для чистки кроссовок — вполне по силам обоим.
                                                                                                                а я о чем писал?
                                                                                                                купил кроссовки для баскетбола — аксессуары для баскетбола и вторая пара через 3 месяца или когда скидка.
                                                                                                                Это барахтанья о том, что кто-то предложил не правильный алгоритм, в общем и целом — просто вкусовщина. Не эффективно для 99% — так и быть, но даже 1% — это много. Тупая раздача листовок — это 3% эффективности. Но они работают и их раздают.
                                                                                                                0
                                                                                                                Например, арбуз. Кроссовки то баскетбольные, а мяч круглый. Арбуз тоже (с некоторыми допусками, конечно)
                                                                                                            +3
                                                                                                            Плюс это один из тех очередников на особое место в аду из-за которых пришлось изобретать режим «ночной, не беспокоить» на телефонах пару лет назад. Емейл, у него, ссссука, по крону в два часа ночи, чтобы покупатель проснулся и обрадовался… прямо руки тянутся лично дров ему купить.
                                                                                                            Вообще вся статья написана каким-то махровым ретроградом. Нет, я конечно согласен с основным посылом о том что не надо пихать AI/ML везде где только можно, но примеры которые он приводит уж совсем из девяностых интернета. Так и кажется что следующее предложение упомянет скрипты на перле в /cgi-bin/ для apache с нежностью и теплотой, как родных детей. Все-таки крайности это плохо с какой бы стороны они не стояли. Аргументировать крайность использования AI/ML там, где это не нужно, крайностью «в наше время у всех было по 640 килобайт памяти и этого было достаточно!» — тоже аргумент так себе.
                                                                                                              0
                                                                                                              Именно.
                                                                                                              Если они добавили товар в корзину, то имели намерение его купить. Каждого потенциального клиента надо обязательно догнать и трижды осчастливить, невзирая на отчаянное сопротивление.
                                                                                                              Впрочем, упоминание валюты определенной страны как бы намекает, там богатый опыт поиска клиентов в сети, знаете ли…
                                                                                                                +1
                                                                                                                Плюс это один из тех очередников на особое место в аду из-за которых пришлось изобретать режим «ночной, не беспокоить» на телефонах пару лет назад. Емейл, у него, ссссука, по крону в два часа ночи, чтобы покупатель проснулся и обрадовался…

                                                                                                                Я сначала тоже так подумал. А потом увидел что они измеряют результат и получают таки увеличение продаж. Значит это таки работает, им очевидно важнее вернуть 25% своих клиентов, и плевать на остальные 75% которые и так ничего бы не купили.

                                                                                                                К тому же, может быть это опыт страны в которой интернет на телефоне у менее 1% населения (не пинайте, я не знаю как там в Нигерии). Если 99% клиентов получат письмо утром — то всё отлично (как и написано в статье).
                                                                                                                  +1
                                                                                                                  Емейл, у него, ссссука, по крону в два часа ночи, чтобы покупатель проснулся и обрадовался… прямо руки тянутся лично дров ему купить.

                                                                                                                  Тут вы как-то зря наезжаете. Про смс-ки ночью еще понятно. Но емейл — вещь не мгновенная и не срочная. Оповещения на емейл не должны быть громкими и тем более работать ночью. Как быть с письмами из магазина на другом конце света, в другом часовом поясе? Это плохая настройка телефонов, а не магазина, отправляющего письма в 2 часа ночи.

                                                                                                                  0
                                                                                                                  нафига мне ещё одни очки и вторые кроссовки, если я их только что купил
                                                                                                                  Они вам нужны. Только не сейчас, а чуть позже. И это тоже можно «предсказывать» с помощью SQL.
                                                                                                                    +1

                                                                                                                    Часто проблема в том что когда они мне станут нужны этой модели уже не будет (не знаю в чём смысл смены моделей по два раза в год, но ни одной модели удобных для меня кроссовок через год после покупки найти было невозможно. :)

                                                                                                                    +1

                                                                                                                    Через SQL делается интересный запрос, через который вытягивает все те товары, которые покупают люди тех же +- критериев как текущий покупатель после того, как (если данных много) купили А и Б во время года В.
                                                                                                                    Уверен "ИИ" жирный скрипт от "рога и копыта" будет стоить дороже, чем тот SQL, тратить в 5 раз больше ресурсов, но выполнять то же.

                                                                                                                      +1

                                                                                                                      Самое интересное в этом "интересном запросе" — это пункт "тех же критериев".

                                                                                                                        +2
                                                                                                                        Иными словами… рисуем_сову_в_два_этапа.jpg
                                                                                                                          0

                                                                                                                          Ну, так голова для чего?
                                                                                                                          В правильно спроектированной базе я не вижу проблем или тормозов для поиска той или иной инфы.
                                                                                                                          Далее есть Oracle с PL/SQL.

                                                                                                                            0

                                                                                                                            Недостаточно правильно спроектировать БД, нужно еще правильно наполнить ее данными. А за это отвечает далеко не тот, кто БД проектировал.


                                                                                                                            Отдельным пунктом мне интересно, как именно вы будете определять, какие из k "критериев товара" должны совпадать для "тех же" товаров, а какие — нет, особенно учитывая, что категорий товаров n, и у каждой категории "критерии", очевидно, разные.

                                                                                                                              +1
                                                                                                                              какие из k «критериев товара» должны совпадать

                                                                                                                              Ну в статье же сказано: купил кроссовки — будем предлагать еще больше кроссовок
                                                                                                                              0
                                                                                                                              В правильно спроектированной базе я не вижу проблем или тормозов для поиска той или иной инфы.

                                                                                                                              Инфу еще как-то интерпретировать надо. Какая у вас есть информация о покупателе? Какой-то предельный минимум личных данных, из которых ничего полезного не извлечь, плюс, с-но, история покупок.
                                                                                                                              Можете сходу назвать несколько своих критериев?

                                                                                                                                –1

                                                                                                                                Да, ща, сделаю, сек, падажи меня тут.

                                                                                                                          0
                                                                                                                          Человеку можно рекомендовать то что покупали другие пользователи с этими товарами. Эти выборки можно делать с помощью SQL.
                                                                                                                            0
                                                                                                                            Так скоро до коллаборативной фильтрации на SQL дойдём.
                                                                                                                            0
                                                                                                                            За это надо расстреливать на месте.

                                                                                                                            С чего вдруг?
                                                                                                                            Не вижу проблемы, если предлагается не просто тотже товар, а его альтернативы (Кроссовки -> шлёпанцы, тапочти, обувь на следующий сезон (Ботинки, например)).
                                                                                                                            Или просто другие модели. Вполне возможно, что чтото понравится больше, чем то, что купил.
                                                                                                                            Или клиент захочет купить обувь для детей/друзей/родителей/себя…

                                                                                                                            С остальными категориями также.
                                                                                                                            Тоесть тут вопрос именно в предложении товара из тойже категории, а не «Точно такое, как уже купил».
                                                                                                                            До кучи вполне можно опираться на личные данные клиента — Дату рождения и пол, которые почти всегда заполняются в личном кабинете, и предлагать товары для соответствующей категории.

                                                                                                                            В общем — никакого ИИ. Только собственная голова на плечах и умелое оперирование имеющимися данными.
                                                                                                                              +1
                                                                                                                              На кой черт мне второй холодильник если я только первый купил?
                                                                                                                                0
                                                                                                                                На кой черт мне второй холодильник если я только первый купил?

                                                                                                                                Ну не себе, так друзьям/родным/детям/внукам…
                                                                                                                                Хотя да — хорошим тоном было бы предлагать Аксесуары к холодильнику — контейнеры для еды, формочки для льда и т.п.
                                                                                                                                  0
                                                                                                                                  Ну не себе, так друзьям/родным/детям/внукам…

                                                                                                                                  С тем же успехом можно предлагать любой рандомный товар
                                                                                                                            +3

                                                                                                                            Раньше вообще обходились записями на бумаге… без какого-то причудливого SQL

                                                                                                                              0
                                                                                                                              а когда бумаги не было?
                                                                                                                                +2

                                                                                                                                Высекали запросы на камне.

                                                                                                                                  +1

                                                                                                                                  запоминали)… и передавали устно из поколения в поколение

                                                                                                                                –3
                                                                                                                                не все же так виртуозно пишут SQL запросы.
                                                                                                                                в этом нужно разбираться. вникать. сейчас это мало кто делает. всем нужны быстрые результаты и минимум усилий
                                                                                                                                  +4
                                                                                                                                  то есть прикрутить и организовать нормальную работу AI\ML, да и разбираться в этом, проще, чем знать SQL на нормальном уровне? да ну бросьте
                                                                                                                                    0

                                                                                                                                    Основная проблема в том что 2 системы параллельно одному заказчику не ставят, поэтому сравнивать особо нечего и соответственно оценить "нормальность" системы (кроме случая полного отсутствия отклика клиентов) весьма непростая задача.

                                                                                                                                    +1
                                                                                                                                    Определенно, зачем какой то сложный SQL, Если есть ML.
                                                                                                                                    +3
                                                                                                                                    Похоже автор не совсем понимает задачи и область применения ML. От слова «совсем». Отсюда и статья…
                                                                                                                                    Задача SQL — хранение и извлечение информации. Кстати, обработка этой самой информации не является прямой задачей SQL.
                                                                                                                                    Задача аналитика — формирование гипотез, которые он может подтвердить / презентовать с помощью данных. Для этого он может использовать тот же SQL.
                                                                                                                                    А вот задача ML — выявление и/или подтверждение гипотез аналитика, которые он не может сам выявить/подтвердить/презентовать по причине или их неявности, или слишком большого объема данных и их зависимостей, которые человек физически не способен обработать.

                                                                                                                                    Не путайте мух с котлетами и все будет хорошо. У каждой задачи есть свои методы и инструменты. Вряд ли вы будете использовать SQL, чтобы сделать одну заметку, точно так же, как вы вряд ли будете использовать Блокнот, чтобы отредактировать фото
                                                                                                                                      +2

                                                                                                                                      Тут так же верно утверждение, что вопрос к квалификации аналитика. И к тому же целесообразность применения ML на примере, который привел автор статьи.
                                                                                                                                      Пусть аналитик применяет ML для проверки и подтверждения гипотез. Тогда речь идет о чем-то ОЧЕНЬ крупном. Тогда, может быть, но не факт оправдана теория применения ML как дорогостоящей технологии. Да и аналитик в большом проекте стоит дорого.
                                                                                                                                      И вообще рассуждения уходя в область про "сферического коня в вакууме". ))
                                                                                                                                      Думаю, что никаких мух и котлет нет. Просто есть конкретные задачи и наиболее эффективные способы их решения.

                                                                                                                                        +2
                                                                                                                                        1. ML применим не только к очень крупным объемам данных. На моей практике были модели на основании 20-30 точек, и в этих кейсах без ML было не обойтись.

                                                                                                                                        2. Дорогая стоимость ML тоже отчасти миф — простые методы можно применить хоть в Excel. ДЛя сложных методов есть бесплатные open-source решения, которые потом летят в продакшн точно так же не дорого. Явно не дороже, чем аналогичное решение на стандартной ИТ-инфраструктуре без ML-движков. Можете почитать целую подборку статей i_shutov

                                                                                                                                        3. Я как раз и писал о том, что у каждой задачи и метода есть своя область применения и инструменты. Нельзя утверждать, что задачи ML можно решить с помощью SQL, как это делает автор статьи в самом заголовке. И то, что для подтверждения этого выбран неудачный пример — обычная манипцляция
                                                                                                                                          +1
                                                                                                                                          1. Ну проявите немного уважение к собеседникам. ) Не таите что за задачи. тем более что из практики. Именно для этого сайт и создан. да и предметное обсуждение всегда интереснее.
                                                                                                                                          2. Ключевое слово "отчасти". исключения часто подтверждают правило. в целом технология дорогая. Как и стоимость специалистов. Средний менеджер/аналитик, который пользуется excel вовсе не специалист в ML. Спасибо за статьи. Конечно чтение не повредит. )
                                                                                                                                          3. Согласен с некоторой провокативностью заголовка статьи. Пример из практики всегда удачен. Он может быть спорным. Но все же лучше, чем просто голословные утверждения о том, что одно лучше другого, без примера из той же практики. Все измеряемо и измеримо. И приводя примеры мы можем сказать, что данная технология позволила то то и то то в сравнении с другой. Грешат и сильно грешат диванные теоретики ML тем, что не имеют реальной решенной прикладной задачи. Это не добавляет, а наоборот понижает степень их правоты. Я правоту не исключаю. Потому что всегда смотрю в сторону лучшего, менее затратного и оправданного экономически способа решения поставленной задачи.
                                                                                                                                            +1
                                                                                                                                            1. Построение модели прогнозирования влияния эффекта макро-ожиданий на портфельные показатели финансовой организации. Т.е. некий микс матриц миграции Маркова по которым считался прогноз портфельных показателей и регрессии, по которой считался эффект от макро на матрицу.

                                                                                                                                            2. К сожалению, не могу оперировать точными ценами, но разве развернуть open-source решение на базе R+shiny на сервере будет дешевле, чем развернуть решение на базе SQL + еще какой-то движек нужен для UI? Интуитивно — очень сомневаюсь.

                                                                                                                                            3. Так я это и пытаюсь сказать — нет смысла утверждать, что SQL лучше ML-движков. ДЛя одних задач подходит SQL, для зругих — ML.
                                                                                                                                            Давайте представим пример из полу-практики. Считаем что объективно нужно разработать и процессить в продакшине очень просутую ML модель. Пусть будет линейная регрессия и логит. Можно ли это сделать в SQL? Можно! Есть много гик-статей, где есть примеры реализации в SQL. При этом решение задачи в R или Python — до 10ти строчек кода.

                                                                                                                                            Если задачу можно технически решить каким-то инструментом, еще не факт, что этот инструмент является лучшим выбором для этой задачи.
                                                                                                                                              0

                                                                                                                                              Вот приведение примеров и дает более наглядно видеть как и для чего применяются различные технологии. И в чем бывают их преимущества и недостатки.
                                                                                                                                              Прекрасные примеры. Из которых становится понятнее почему именно выбранная технология более применима.
                                                                                                                                              А еще курьезы в том, что люди занимаются совершенно разными задачами. И, естественно, рассуждают через призму того, что сами делают. Не делая поправки на те задачи. которые решают оппоненты. Я бы сказал больше — даже не интересуются этим. ))
                                                                                                                                              Из практики могу тоже привести пример. Есть промышленная система написанная на Delphi (не ругайтесь). Скажу просто, что она успешно применяется и отказ от нее нецелесообразен. Для быстрой проверки реализации некоего функционала используется Python в силу того, что достаточно несколько строк, чтобы проверить именно функционал. Не нужны ни формы, ни рюшечки. Но реализация все-равно останется и будет в Delphi.
                                                                                                                                              Это я к тому, что наличие альтернатив не всегда бывает допустимо к применению в конечном продукте. Это риторика, которую в общем комментировать не нужно. ) относится к конкретному продукту. Скажем опыт, который не обязательно заимствовать. Но знать полезно.)

                                                                                                                                        +1

                                                                                                                                        Ну, путает, допустим, не автор, а те, кто пытается все задачи решать через ML/AI. А автор всего лишь напоминает, что иногда другие инструменты удобнее.

                                                                                                                                          0
                                                                                                                                          Не иногда, а всегда. Почитайте залоголовок — ML не нужен, нужен SQL.
                                                                                                                                            0

                                                                                                                                            Заголовок — это да. Желтушные заголовки — наше всё.
                                                                                                                                            Но в тексте всё нормально.

                                                                                                                                        +2
                                                                                                                                        Прямо с языка снял, все именно так.
                                                                                                                                        Не так плоха новая технология, как неумение ее применять.
                                                                                                                                        Всегда вспоминается «Идиократия» с Brawndo.
                                                                                                                                        <sarkazm=«ON»>Плохой продажник, в связи с тем, что он не может придумать нормальную концепцию хорошей вещи, берет количеством модных словечек. Да, это работает только на неразборчивых клиентов, но работает же. Рыночек порешал, если продажи растут, значит, все правильно делается.<sarkazm=«OFF»>
                                                                                                                                          0
                                                                                                                                          Ну разумеется, в e-commerce эффективней такие методы, но как насчёт других областей, где ведётся прогнозирование природных явлений или человеческих действий и т.п.? В областях, где нет цели навариться на потребителях? Имхо, заголовок слишком некорректный.
                                                                                                                                            +3
                                                                                                                                            Никогда не понимал вот этого «навариться на потребителях». Что плохого в том, чтобы заниматься созданием/поддержкой удобного сервиса/магазина для покупок? Как вообще люди представляют себе мир без того самого «e-commerce»?
                                                                                                                                              0
                                                                                                                                              жили когда-то «без того самого».
                                                                                                                                              е-коммерс — просто один из удобных инструментов для жизни.
                                                                                                                                                0
                                                                                                                                                Слишком неоднозначно у меня выглядит, но всё-таки я не вкладывал плохой смысл в свои слова.
                                                                                                                                                  0

                                                                                                                                                  С одной стороны вы правы, с другой — блокировщиками рекламы и спам фильтрами активно пользуются.

                                                                                                                                                    0
                                                                                                                                                    Никогда не понимал вот этого «навариться на потребителях». Что плохого в том, чтобы заниматься созданием/поддержкой удобного сервиса/магазина для покупок?
                                                                                                                                                    Между «заработать делая бизнес» и «навариться на потребителях» разница примерно такая же как между банком и мфо.
                                                                                                                                                  +4
                                                                                                                                                  поезда — непохая штука, вон такой-то завод ими пользуется, руду возит и трубы.
                                                                                                                                                  но если у вас маленький огород — то вполне достаточно небольшого авто.
                                                                                                                                                  а если дорога раздолбанная, в ямах, а возить надо еще и навоз, то чем дешевле машина тем лучше.
                                                                                                                                                  в статье я покажу пару примеров как вместо поезда я поехал на дачу на своем авто и остался доволен.
                                                                                                                                                  а в следующей статье помогу понять, что велосипед еще лучше автомобиля и приведу пару кейсов.
                                                                                                                                                    +1
                                                                                                                                                    Добавьте в ваши рассуждения «в конкретном случае» и все ложится хорошо.
                                                                                                                                                    Да, на конкретную дачу может быть удобнее на машине.
                                                                                                                                                    Да, в конкретном случае навоз удобнее возить на дешевой машине.
                                                                                                                                                    Да, в конкретных случаях велосипед лучше автомобиля.
                                                                                                                                                    А не пытаться везде использовать поезда.
                                                                                                                                                    Собственно об этом и статья.
                                                                                                                                                      +1
                                                                                                                                                      Статья оставляет впечатление что автор топит за использование только SQL в принципе везде где это хоть как то возможно. Особенно эпичен кейс с рекомендацией товаров той же категории что пользователь только что купил. Не хватает акцента на том что статья именно о том чтобы решать задачи подходящими инструментами, оставляет впечатление желания решать все через SQL.
                                                                                                                                                        +2

                                                                                                                                                        Конкретный случай — это всегда конкретный случай. А автор пытается обобщать.


                                                                                                                                                        Заголовок спойлера
                                                                                                                                                        • Я поехал на велосипеде на дачу вместо электрички, сэкономил ХХ рублей, по дороге наслаждался прекрасными видами -> отлично! решил не покупать проездной, электричка не нужна.
                                                                                                                                                        • Уже неделю езжу на велосипеде, доволен как слон! Решение однозначно было правильным, пишу статью на habr!
                                                                                                                                                        • Сегодня на половине пути застал дождь, промок до нитки. Подписался на прогноз погоды и если он плохой, беру с собой плащ.
                                                                                                                                                        • Плащ оказался не очень удобным, купил дешевый дождевик. Все равно куда дешевле проездного.
                                                                                                                                                        • Дожди идут неделю, в двух местах дорогу размыло, приходится идти по обочине пару километров. Не беда, времени у меня много.
                                                                                                                                                        • Дешевый дождевик начал рваться., задумываюсь о покупке более качественного, но цена — как половина проездного на месяц. Ничего, все равно сэкономил больше!
                                                                                                                                                        • Черт!!! Решил проехать очередной размытый участок, упал в лужу. Весь измазался в грязи, порвал новый дорогой дождевик :( Покупать еще один давит жаба, поезжу пока в старом дешевом. Дожди вроде не так часто.
                                                                                                                                                        • Он все-таки порвался на полдороге :( Час под дождем. Вымок до нитки, простыл. Врач выписал лекарство, дорогое :(
                                                                                                                                                        • Пару дней ездил на электричке. Разовые билеты дорогие, решил вернуться к велосипеду.
                                                                                                                                                        • Все же велосипед — это классно! :-) Погода наладилась, не езда — наслаждение, красота!
                                                                                                                                                        • Он сломался!!! И опять на полпути, что за проклятое место? Пришлось тащить на себе, потом везти обратно на электричке. За ремонт просят немыслимых денег, заказал запчасть на Али за копейки. Пока не придет, буду ездить на электричке.
                                                                                                                                                        • Что-то долго не идет деталь. Купил проездной.
                                                                                                                                                        • Ура!!! Деталь пришла! Починил все за пару часов. В мастерской работают откровенные барыги.
                                                                                                                                                        • Что-то ездить стало прохладно… Посмотрел цены на термобелье, тихо выпал в осадок. Проездной еще действует, буду пока ездить на электричке.
                                                                                                                                                        • Проездной кончился, снова попробовал поехать на велосипеде. Холодно, но сезон заканчивается. Потерплю.
                                                                                                                                                        • Снова купил дождевик, мокнуть и мерзнуть одновременно не хочется.
                                                                                                                                                        • Китайская деталь сломалась :( Опять на половине, но к счастью на обратном пути. Проездной покупать смысла нет, буду ездить по разовым.
                                                                                                                                                        • Сезон закончен!!! Велик пока чинить не стал, за зиму не спеша разберусь что к чему.
                                                                                                                                                        • Весна!!! Пора на дачу… Сунулся в гвраж за великом, вспомнил, что он неисправен. Поехал на электричке.
                                                                                                                                                        • Неделю катался на электричке, решил купить проездной. До велика пока руки не доходят, да и цены на нормальные запчасти не радуют.
                                                                                                                                                        • Сегодня ехал на электричке, читал книгу. Посмотрел в окно. Увидел там велосипедистов. Едут по грязи, под дождем против ветра… Так ли оно было хорошо в прошлом году? Пока не решил… читаю книгу дальше. В вагоне тепло и сухо...
                                                                                                                                                      +1
                                                                                                                                                      Практически в каждой ветке комментов в итоге идет три противечащих утверждения:
                                                                                                                                                      1. ИТ использует ML везде где нужно и не нужно бездумно
                                                                                                                                                      2. ML ОЧЕНЬ дорогой
                                                                                                                                                      3. ML может использовать ML-специалист, которых мало и они очень дорогие.

                                                                                                                                                      Ни у кого диссонанса это не вызывает?

                                                                                                                                                      Это что же за компании такие, у которых есть возможность бесконтрольно и без анализа тратить огромные деньги на то, что не нужно + делают люди, которые это делать не должны? :)

                                                                                                                                                      Прям чувствую, что заминусуют, но удержаться не смог + может зерно истины в обсуждениях обнаружим
                                                                                                                                                        0
                                                                                                                                                        Очевидно, одно из трёх утверждений неверно. Либо ML большинству компаний нафиг не нужно, либо его можно успешно заказать на фрилансе за копейки, либо любому айтишнику хватит мозгов прочитать пару статей по теме и применить какую-нибудь из существующих ML-библиотек.
                                                                                                                                                        +1

                                                                                                                                                        В магазине на 1000-10000 товаров не нужен SQL, там спредшита достаточно, если уж на то пошло, по крайней мере для описанных задач.
                                                                                                                                                        И я не уверен что специалист по SQL сильно дешевле специалиста по ML