Игры "взламывают" или через reinforcement learning (много времени и вычислительных ресурсов надо для старта), либо тестируют на модельных играх.
Хотел написать когда-то статью, как идентифицировать характеристики случайных процессов с помощью нейросеток - на примере биржевых :/ - чтобы потом на их модельных траекториях катать стратегии - да руки дальше блокнота-так-себе-черновика в колабе не дошли. Некогда.
если что, модельные траектории лучше в RL не использовать (грабельки) - сетки неплохо разгадывают другие сетки (ну или быстро вырождаются +/- от параметров процесса).
Конечно, ведь рациональными зачастую бывают только программисты, ведь часто только они знают решение задачи.
Я там выше по поводу карго-культа высказался уже. На третий вираж уже лень заходить.
Одно только добавлю - задач на данных, которые решаются без машинного обучения с теми же метриками, значительно меньше. Разница как между континуальными и счетными множествами. Формул, как комбинаций символов, счетное число, а функций - пусть из того же C[0, 1] - континуально.
Это также означает что с ростом поступающих данных (без оверфита) ML-модели будут работать с определённым качеством, а эвристики точно хуже.
Но это волнует только исследователей. И еще тех, у кого данных много. Например как у какого-нибудь сотового оператора.
А вот конкретно видением я и сам могу поделиться, без всяких статей. Два типа ML-внедренцев,
Слышали звон (в том числе от консультантов каких), хотят, считают сначала экономический эффект, потом пытаются реализовать. Это часто индустриальный крупняк, который как инвестиционный проект рассматривает в том числе и ML.
"Доморощенный" (в хорошем смысле) ML. inhouse team, никаких подрядчиков.
Соотношение я бы сказал 50/50,. с вариациями на тему. Но все понимают ценность, пусть даже хоть и первые не в курсе, в чем механика эффекта, пытаясь извлечь его на бумаге и в пресс-релизах, кормя попутно неумеек интеграторов, которые бустят что в руки попадётся.
Развеивать мифы о русском ML, бессмысленном и беспощадно, стоило бы в таком ключе. А не сакральными откровенными со ссылками на гугл.
Вот я лично даже и близко не Алфабет или даже Вымпелком. Хотя правила относительно этого вопроса у меня тоже есть:
Ценны не модели, а в первую очередь связанные данные.
Ценны не модели, а их прогнозы.
Ошибки делает и обычный софт. Цена ошибки может быть сопоставима.
Нельзя заставлять людей гадать почему алгоритм поступил так. Объясняй принцип и рассказывай в каких случаях модель может ошибаться (и как).
ML неплохо моделирует явления замкнутых систем. ML часто может заменять решения одного человека. Иногда - множества, но с большей неопределенностью. Не стоит пытаться пробовать ML, когда нельзя оценить распределение предсказываемого или оно меняется без "физической связи".
Вообще, я не очень понял, в чем мысль. Что можно не пользоваться ML? Да не пользуйтесь, как-будто кто-то заставляет.
ML, собственно, это и есть извлечение эвристик из данных, и их последующая эксплуатация. Просто в зависимости от алгоритма, эвристик, различным образом сформулированных.
Так что все это, особенно для оператора, выглядит как пчелы против меда.
Ваш метод - практически по определению. Претензий нет. Восстанавливать каким-либо оптимизатором с такими характеристиками производительности, действительно наверняка можно.
Но также для этого существуют и специализированные пакеты, вроде stan, pymc, pyro и др.
Я конечно, немного придираюсь, но это не есть случайный процесс.
Дан набор N значений случайной величины X,сэмплированный из некоторого непрерывного распределения. Необходимо оценить функцию плотности распределения вероятности случайной величины по заданной выборке.
Вы невнимательно видимо прочли и статью, и комменты выше.
Школьники в состоянии понять, что с помощью алгоритма и тренировочных данных, можно получить модель, прогнозирующую новые данные, с качеством по отложенном тесту.
Нет цели влить матан, но "магию" машинного обучения раскрыть на примерах можно.
Молодцы что внедряете ML! вы кстати смотрели что предлагает в этом плане elasticsearch из коробки? насколько помню там только unsupervised + timeseries, но обогатить вход фичами можно предполагаю неплохо.
Да, смысл-то понятен. Но в целом, это близко к синтетике на мой взгляд.
Хотя и лучше нее, хотя бы тем что данные уже сами по себе ближе к решению.
Другое название для синтетики и/или аугментации?
За идею применения нейросетки, да и саму сформулированную задачу в целом - спасибо :)
В продолжение вашего интереса погуглите PredNet, MOT Challenge.
Спасибо! Хорошую статью на свет вытащили, и перевод к оригиналу весьма близок.
Сам (тоже?) использую attention в прогнозировании timeseries. Когда нет факторов за рамками увиденного - даже и не так уж плохо.
Смело :)
Но вот этот вариант как-то мне ближе.
https://landing.ai/ai-transformations/
Игры "взламывают" или через reinforcement learning (много времени и вычислительных ресурсов надо для старта), либо тестируют на модельных играх.
Хотел написать когда-то статью, как идентифицировать характеристики случайных процессов с помощью нейросеток - на примере биржевых :/ - чтобы потом на их модельных траекториях катать стратегии - да руки дальше блокнота-так-себе-черновика в колабе не дошли. Некогда.
если что, модельные траектории лучше в RL не использовать (грабельки) - сетки неплохо разгадывают другие сетки (ну или быстро вырождаются +/- от параметров процесса).
тут черновик
А кто пояснил бы, почему только кошки в своей массе трехцветные, а коты за очень редким исключением обычно двухцветные?
Что в эволюции произошло?
Спасибо за статью, довольно легко читать. Навела на пару мыслей.
Конечно, ведь рациональными зачастую бывают только программисты, ведь часто только они знают решение задачи.
Я там выше по поводу карго-культа высказался уже. На третий вираж уже лень заходить.
Одно только добавлю - задач на данных, которые решаются без машинного обучения с теми же метриками, значительно меньше. Разница как между континуальными и счетными множествами. Формул, как комбинаций символов, счетное число, а функций - пусть из того же C[0, 1] - континуально.
Это также означает что с ростом поступающих данных (без оверфита) ML-модели будут работать с определённым качеством, а эвристики точно хуже.
Но это волнует только исследователей. И еще тех, у кого данных много. Например как у какого-нибудь сотового оператора.
Да, спасибо. До этого что "инструмент под задачу" никто не догадался помыслить.
Ведь все только и делают, что сетки заряжают, никто уже и код не пишет.
А вот конкретно видением я и сам могу поделиться, без всяких статей. Два типа ML-внедренцев,
Слышали звон (в том числе от консультантов каких), хотят, считают сначала экономический эффект, потом пытаются реализовать. Это часто индустриальный крупняк, который как инвестиционный проект рассматривает в том числе и ML.
"Доморощенный" (в хорошем смысле) ML. inhouse team, никаких подрядчиков.
Соотношение я бы сказал 50/50,. с вариациями на тему. Но все понимают ценность, пусть даже хоть и первые не в курсе, в чем механика эффекта, пытаясь извлечь его на бумаге и в пресс-релизах, кормя попутно неумеек интеграторов, которые бустят что в руки попадётся.
Развеивать мифы о русском ML, бессмысленном и беспощадно, стоило бы в таком ключе. А не сакральными откровенными со ссылками на гугл.
А может это просто здравая мысль? То есть всякое давление просто из-за хайпа, а хайп просто из-за магического вау-эффекта на неискушенных?
Я про то что ML выставлять карго-культом - тоже хайпожорство.
Вот я лично даже и близко не Алфабет или даже Вымпелком. Хотя правила относительно этого вопроса у меня тоже есть:
Ценны не модели, а в первую очередь связанные данные.
Ценны не модели, а их прогнозы.
Ошибки делает и обычный софт. Цена ошибки может быть сопоставима.
Нельзя заставлять людей гадать почему алгоритм поступил так. Объясняй принцип и рассказывай в каких случаях модель может ошибаться (и как).
ML неплохо моделирует явления замкнутых систем. ML часто может заменять решения одного человека. Иногда - множества, но с большей неопределенностью. Не стоит пытаться пробовать ML, когда нельзя оценить распределение предсказываемого или оно меняется без "физической связи".
Вообще, я не очень понял, в чем мысль. Что можно не пользоваться ML? Да не пользуйтесь, как-будто кто-то заставляет.
ML, собственно, это и есть извлечение эвристик из данных, и их последующая эксплуатация. Просто в зависимости от алгоритма, эвристик, различным образом сформулированных.
Так что все это, особенно для оператора, выглядит как пчелы против меда.
Ваш метод - практически по определению. Претензий нет. Восстанавливать каким-либо оптимизатором с такими характеристиками производительности, действительно наверняка можно.
Но также для этого существуют и специализированные пакеты, вроде stan, pymc, pyro и др.
Понятно теперь, что заголовок был с отсылкой на оригинальный, не сообразил.
Просто у меня глаз зацепляется на "случайные процессы", всегда когда возможно пытаюсь их вставить в свои аналитические решения :)
А для этой задачи пользуюсь Kernel Density Estimation из scikit-learn.
Я конечно, немного придираюсь, но это не есть случайный процесс.
Статью писал не я, но в трёх дата кампусах я поучаствовал.
Читайте статью и комменты. И тогда разные вещи у вас в голове сложатся во что-то целое.
Вы невнимательно видимо прочли и статью, и комменты выше.
Школьники в состоянии понять, что с помощью алгоритма и тренировочных данных, можно получить модель, прогнозирующую новые данные, с качеством по отложенном тесту.
Нет цели влить матан, но "магию" машинного обучения раскрыть на примерах можно.
Надо было пригласить еще @PapaBubaDiop, я серьезно.
Молодцы что внедряете ML! вы кстати смотрели что предлагает в этом плане elasticsearch из коробки? насколько помню там только unsupervised + timeseries, но обогатить вход фичами можно предполагаю неплохо.
а так... хорошо когда есть разметка :)