Это проблема любой статистической модели, и не только ИИ.
Поэтому авторы и выделяют целый блок понятию «спецификации». Если в спецификации изначально правильно указана область применения, то в дальнейшем не должно быть «всего остального»
Мне кажется, что изначальной причиной ваших «упущенных ожиданий» было то, что вы переоценили сам Дрезден. По факту это небольшой городок на полмиллиона жителей. Специфические профессиии на открытом рынке еще и для эмигрантов — изначально очень сложная задача.
Но молодцы, что все преодолели и запустили свой бизнес!
Так никто не просить расскрывать сами факторы или их веса. Как проводился отбор факторов, инжиниринг, по каким метрикам. Какой тип модели: регрессия, RF, сеть и т.д.
Если уж в заголовке упомянули Джини, то хоть итоговое значение напишите.
А детали самой модели покажите? Какие методы, как потимизировались, тестировались, отбирались переменные, какие результаты? Без этого не очень похоже на тему для хаба Машинное обучение…
Вопрос ведь не в технической реализации как таковой, а в возможности архитектуры выполнять необходимые функции в разумное время (производтельность). Технически все, что угодно можно и на ассемблере реализовать…
Сколько лет матрично-векторные вычисления будут процеситься на SQL-движке, по сравнению с ML-архитектурами?
Вы предлагаете любому бизнесу перейти на pro-bono? Любой бизнес должен зарабатывать деньги наиболее эффективным образом. Любой человек должен получать максимальное вознаграждение за свой труд. Все должны жить хорошо и богато. Это зравая экономика.
А «нажива», «разводилово», «богатые наживаются на бедных», «нас используют для того, чтобы впихнуть ненужное» и т.д. и т.п. — это филосифия совка, сорри.
Зачем нужен ML в онлайн-продажах объясню с точки зрения покупателя. При чем себя лично. Например, если я покупаю кондиционер, я хочу сразу же купить к нему фильтры. И у меня нет желания просматривать тысячи китайских подделок, читать отзывы, анализировать цены и т.д. Я хочу, чтобы мне предложили те фильтры, которые уже прошли все эти этапы проб и ощибок до меня тысячами людей. И я благодарен ML движкам, которые за меня отработали тонны этой информации и показывают мне 3-4 нормальных результата, с хорошей репутацией, из нормальных магазинов, поставщиков и которые подходят под мою модель кондиционера.
1. Понять как пришли к весам очень просто — достаточно понимания принципа работы алгоритмов первоначальной расстановки весов, целовой функции, функции активации и метрик их балансировки.
2. Стохастика определяется параметрами RNG. Установите констатное значение RNG — получите повторяемый процесс обучения сети.
3. Не подменяйте понятия. В методике обучения сетей: «без учителя» — когда нет известных целевых значений, «с учителем» — когда есть известные целевые значения. Вопрос только в том, что пытается сблансировать сеть — кластерные характеристики или целевую функцию.
4. Есть целвеая функция, есть критерии / метрики / методы её оценки. Правильное определение целевой функции, контроля её допущений и метрик оценки — и любой аналитик имеет полный арсенал методов убедиться в том, что он на выходе получил ожидаемое.
Мой ключевой месседж — то, что мы не можем что-топовторить (ввиду физических ограничений) не означает, что мы не понимаем, как это делает сетка.
Просто пример: вы сможете в уме разделить 32432749324 на 234239408? Врядли, по результатам калькулятора ведь доверяете, правильно. И вы даже можете не знать, как он это делает — в столбик, остатками и т.д. Но вопросов не возникает. Изучите теорию нейросетей и все вопросы отпадут сами собой
Во-первых, понимая работы человеческого мозга нет ни у кого, поэтому сравнивать сетки с мозгом — по определению глупость.
Во-вторых, то, что архитектуру нейросети пытаются сравнить с «архитектурой» мозга, это просто удачный пиар ход и допущение. Алгоритмы работы совершенно другие. ИИ объясняют на примере архитектуры мозга потому, что так проще объяснить.
В-третьих, любая сетка — это набор алгоритмов и вычислений, которые основаны на жестких правилах, которые разработаны человеком. И ничего магического там нет.
В-четвертых, если хотите понять «как» — возьмите данные на входе, перемножте на все веса всех слоев и получите 100% точный ответ, почему получен такой результат. Сможете ли вы осознать почему именно такие веса использовались — нет, и только потому, что на обучение подавалось слишком много данных, чтобы человек физически смог сам выявить в них закономерности. Но ML для того и создан, чтобы обопщать и обрабатывать большие объемы данные, которые не может обработать человек. Но по четким правилам и алгоритмам. Никакой магии там нет.
Практически в каждой ветке комментов в итоге идет три противечащих утверждения:
1. ИТ использует ML везде где нужно и не нужно бездумно
2. ML ОЧЕНЬ дорогой
3. ML может использовать ML-специалист, которых мало и они очень дорогие.
Ни у кого диссонанса это не вызывает?
Это что же за компании такие, у которых есть возможность бесконтрольно и без анализа тратить огромные деньги на то, что не нужно + делают люди, которые это делать не должны? :)
Прям чувствую, что заминусуют, но удержаться не смог + может зерно истины в обсуждениях обнаружим
1. Построение модели прогнозирования влияния эффекта макро-ожиданий на портфельные показатели финансовой организации. Т.е. некий микс матриц миграции Маркова по которым считался прогноз портфельных показателей и регрессии, по которой считался эффект от макро на матрицу.
2. К сожалению, не могу оперировать точными ценами, но разве развернуть open-source решение на базе R+shiny на сервере будет дешевле, чем развернуть решение на базе SQL + еще какой-то движек нужен для UI? Интуитивно — очень сомневаюсь.
3. Так я это и пытаюсь сказать — нет смысла утверждать, что SQL лучше ML-движков. ДЛя одних задач подходит SQL, для зругих — ML.
Давайте представим пример из полу-практики. Считаем что объективно нужно разработать и процессить в продакшине очень просутую ML модель. Пусть будет линейная регрессия и логит. Можно ли это сделать в SQL? Можно! Есть много гик-статей, где есть примеры реализации в SQL. При этом решение задачи в R или Python — до 10ти строчек кода.
Если задачу можно технически решить каким-то инструментом, еще не факт, что этот инструмент является лучшим выбором для этой задачи.
1. ML применим не только к очень крупным объемам данных. На моей практике были модели на основании 20-30 точек, и в этих кейсах без ML было не обойтись.
2. Дорогая стоимость ML тоже отчасти миф — простые методы можно применить хоть в Excel. ДЛя сложных методов есть бесплатные open-source решения, которые потом летят в продакшн точно так же не дорого. Явно не дороже, чем аналогичное решение на стандартной ИТ-инфраструктуре без ML-движков. Можете почитать целую подборку статей i_shutov
3. Я как раз и писал о том, что у каждой задачи и метода есть своя область применения и инструменты. Нельзя утверждать, что задачи ML можно решить с помощью SQL, как это делает автор статьи в самом заголовке. И то, что для подтверждения этого выбран неудачный пример — обычная манипцляция
Похоже автор не совсем понимает задачи и область применения ML. От слова «совсем». Отсюда и статья…
Задача SQL — хранение и извлечение информации. Кстати, обработка этой самой информации не является прямой задачей SQL.
Задача аналитика — формирование гипотез, которые он может подтвердить / презентовать с помощью данных. Для этого он может использовать тот же SQL.
А вот задача ML — выявление и/или подтверждение гипотез аналитика, которые он не может сам выявить/подтвердить/презентовать по причине или их неявности, или слишком большого объема данных и их зависимостей, которые человек физически не способен обработать.
Не путайте мух с котлетами и все будет хорошо. У каждой задачи есть свои методы и инструменты. Вряд ли вы будете использовать SQL, чтобы сделать одну заметку, точно так же, как вы вряд ли будете использовать Блокнот, чтобы отредактировать фото
Вопрос только в том, какие у вас есть данные, в каком они виде и что вы хотите визуализировать. А инструментов тьма, включая opensource — тот же d3.JS отрисует, практически, что угодно.
Если нужна не просто отрисовка, а построение \ аналитика, то в Python и R есть готовые пакеты и визуализаторы.
Выбор инструмента, наверное, саме последний вопрос :)
Поэтому авторы и выделяют целый блок понятию «спецификации». Если в спецификации изначально правильно указана область применения, то в дальнейшем не должно быть «всего остального»
Может все-таки логистической?
Но молодцы, что все преодолели и запустили свой бизнес!
Если уж в заголовке упомянули Джини, то хоть итоговое значение напишите.
Сколько лет матрично-векторные вычисления будут процеситься на SQL-движке, по сравнению с ML-архитектурами?
Really? :)
А «нажива», «разводилово», «богатые наживаются на бедных», «нас используют для того, чтобы впихнуть ненужное» и т.д. и т.п. — это филосифия совка, сорри.
Зачем нужен ML в онлайн-продажах объясню с точки зрения покупателя. При чем себя лично. Например, если я покупаю кондиционер, я хочу сразу же купить к нему фильтры. И у меня нет желания просматривать тысячи китайских подделок, читать отзывы, анализировать цены и т.д. Я хочу, чтобы мне предложили те фильтры, которые уже прошли все эти этапы проб и ощибок до меня тысячами людей. И я благодарен ML движкам, которые за меня отработали тонны этой информации и показывают мне 3-4 нормальных результата, с хорошей репутацией, из нормальных магазинов, поставщиков и которые подходят под мою модель кондиционера.
2. Стохастика определяется параметрами RNG. Установите констатное значение RNG — получите повторяемый процесс обучения сети.
3. Не подменяйте понятия. В методике обучения сетей: «без учителя» — когда нет известных целевых значений, «с учителем» — когда есть известные целевые значения. Вопрос только в том, что пытается сблансировать сеть — кластерные характеристики или целевую функцию.
4. Есть целвеая функция, есть критерии / метрики / методы её оценки. Правильное определение целевой функции, контроля её допущений и метрик оценки — и любой аналитик имеет полный арсенал методов убедиться в том, что он на выходе получил ожидаемое.
Мой ключевой месседж — то, что мы не можем что-топовторить (ввиду физических ограничений) не означает, что мы не понимаем, как это делает сетка.
Во-вторых, то, что архитектуру нейросети пытаются сравнить с «архитектурой» мозга, это просто удачный пиар ход и допущение. Алгоритмы работы совершенно другие. ИИ объясняют на примере архитектуры мозга потому, что так проще объяснить.
В-третьих, любая сетка — это набор алгоритмов и вычислений, которые основаны на жестких правилах, которые разработаны человеком. И ничего магического там нет.
В-четвертых, если хотите понять «как» — возьмите данные на входе, перемножте на все веса всех слоев и получите 100% точный ответ, почему получен такой результат. Сможете ли вы осознать почему именно такие веса использовались — нет, и только потому, что на обучение подавалось слишком много данных, чтобы человек физически смог сам выявить в них закономерности. Но ML для того и создан, чтобы обопщать и обрабатывать большие объемы данные, которые не может обработать человек. Но по четким правилам и алгоритмам. Никакой магии там нет.
1. ИТ использует ML везде где нужно и не нужно бездумно
2. ML ОЧЕНЬ дорогой
3. ML может использовать ML-специалист, которых мало и они очень дорогие.
Ни у кого диссонанса это не вызывает?
Это что же за компании такие, у которых есть возможность бесконтрольно и без анализа тратить огромные деньги на то, что не нужно + делают люди, которые это делать не должны? :)
Прям чувствую, что заминусуют, но удержаться не смог + может зерно истины в обсуждениях обнаружим
2. К сожалению, не могу оперировать точными ценами, но разве развернуть open-source решение на базе R+shiny на сервере будет дешевле, чем развернуть решение на базе SQL + еще какой-то движек нужен для UI? Интуитивно — очень сомневаюсь.
3. Так я это и пытаюсь сказать — нет смысла утверждать, что SQL лучше ML-движков. ДЛя одних задач подходит SQL, для зругих — ML.
Давайте представим пример из полу-практики. Считаем что объективно нужно разработать и процессить в продакшине очень просутую ML модель. Пусть будет линейная регрессия и логит. Можно ли это сделать в SQL? Можно! Есть много гик-статей, где есть примеры реализации в SQL. При этом решение задачи в R или Python — до 10ти строчек кода.
Если задачу можно технически решить каким-то инструментом, еще не факт, что этот инструмент является лучшим выбором для этой задачи.
2. Дорогая стоимость ML тоже отчасти миф — простые методы можно применить хоть в Excel. ДЛя сложных методов есть бесплатные open-source решения, которые потом летят в продакшн точно так же не дорого. Явно не дороже, чем аналогичное решение на стандартной ИТ-инфраструктуре без ML-движков. Можете почитать целую подборку статей i_shutov
3. Я как раз и писал о том, что у каждой задачи и метода есть своя область применения и инструменты. Нельзя утверждать, что задачи ML можно решить с помощью SQL, как это делает автор статьи в самом заголовке. И то, что для подтверждения этого выбран неудачный пример — обычная манипцляция
Задача SQL — хранение и извлечение информации. Кстати, обработка этой самой информации не является прямой задачей SQL.
Задача аналитика — формирование гипотез, которые он может подтвердить / презентовать с помощью данных. Для этого он может использовать тот же SQL.
А вот задача ML — выявление и/или подтверждение гипотез аналитика, которые он не может сам выявить/подтвердить/презентовать по причине или их неявности, или слишком большого объема данных и их зависимостей, которые человек физически не способен обработать.
Не путайте мух с котлетами и все будет хорошо. У каждой задачи есть свои методы и инструменты. Вряд ли вы будете использовать SQL, чтобы сделать одну заметку, точно так же, как вы вряд ли будете использовать Блокнот, чтобы отредактировать фото
Если нужна не просто отрисовка, а построение \ аналитика, то в Python и R есть готовые пакеты и визуализаторы.
Выбор инструмента, наверное, саме последний вопрос :)