R, Монте-Карло и enterprise задачи

При решении практических задач с завидной регулярностью приходится сталкиваться с двумя типовыми подходами, которые выдвигаются на совещаниях или витают в воздухе.

• Вариант 1 — давайте решать частную задачу в общем виде. Решив ее таким образом, мы сможем попутно много чего еще порешать.
• Вариант 2 — давайте для предсказания поведения нелинейной системы притянем сюда прогнозы, ML и массу модных штучек. Круто ведь.

Однако не всегда применение таких подходов адекватно исходной постановке задачи.
Является продолжением предыдущих публикаций.

Почему такие подходы могут быть избыточными? Да по многим причинам: время поиска решения задачи, время расчетов, требования к объему вычислительных ресурсов, проведение расчетов с завышенной точностью, построение неправильной модели, высокая сложность аналитического решения прямой задачи, высокая сложность решения обратной задачи и многое другое.

Но есть классический способ решения подобных задач, который особенно хорош при наличии под руками мощного вычислителя. Метод Монте-Карло. Стат. анализ результатов многократного решения прямой задачи, которая, как правило, хорошо алгоритмизируема.
Нужные ответы, в первом приближении, можно получить за несколько часов, включая понимание задачи, кодинг и проведение прикидочных расчетов.

Ниже просто 2 примера.

Пример 1. Комбинаторика вложенных списков

Исходная бизнес-задача состоит в расширении обучающей базы чат-бота на основе малого набора входных фраз. Большой выборки исходных фраз просто физически нет. Но ее можно существенно расширить путем предварительного анализа структуры предложений и генерации перестановок, разрешенных правилами языка. Например, "труба течет в помещении 6" и "в помещении 6 течет труба" идентичны по сути.

Итак, формализованная постановка. Есть многоуровневый список вложенных списков. Необходимо сгенерировать почти все возможные перестановки исходного списка значений при условии допустимости перестановок элементов только в рамках каждого отдельного списка.

ll <- list(list('a', 'b', 'c'), 'd', list('e', 'f', list('g', 'h', 'i')))
# общая комбинаторика
factorial(3) * factorial(3) * factorial(3) * factorial(3)

# в цикле развернем всю перестановку единичного списка
ff <- function(x){
  # если на входе список, то мы делаем для него перестановку и загоняем в рекурсию
  res <- if(is.list(x)) {
    sample(x, length(x), replace = FALSE) %>%
      purrr::map(ff)
  } else {
    x
  }

  res
}

procLine <- function(row){
  purrr::map(row, ff) %>%
    # превращаем в вектор
    rlang::squash_chr() %>%
    stri_c(collapse = "")
}

# создаем список прецедентов, экспериментируем с размером выборки
wks <- 1
future::plan(multiprocess, workers = wks)
tic(glue("Generating permutations @ {wks} thread(s)"))
df1 <- purrr::map(1:10^4, ~sample(ll, length(ll), replace = FALSE)) %>%
  # для каждого прецедента делаем рекурсивный процессинг до плоского вида
  # purrr::map_chr(procLine) %>%
  furrr::future_map_chr(procLine) %>%
  enframe(name = NULL) %>%
  distinct()
toc()

Пример 2. Прогнозирование очереди клиентов

Схема измерений такова, что можно снимать внешние показатели процесса (считаем его достаточно сложным и нестационарным по времени), такие как время прихода и ухода покупателей, структура корзины и многое другое.

Вариант №1 — решение задачи в лоб. Нулевые теоретические знания исполнителя + накопление исторической массы всевозможных внешних показателей (фич) и применение ML методов для "подгонки". Какие-то прогнозы строятся, но что, почему и как — остается за рамками, надо использовать лианеризованных "толмачей".

Вариант №2 — Используем научный способ познания. Открываем теорию систем массового обслуживания, строим стат. показатели процессов по параметрам СМО, запускаем параметризованную дискретную симуляцию обслуживания клиентов. Получаем "цифровую модель" Системы, обладающую рычажками для управления и аналитической объясняющей силой, основанной именно на природе наблюдаемых объектов, а не на наборе неких "фич".
В R есть для этого отличный пакет simmer. Вся информация и масса практических примеров по ссылке.

Предыдущая публикация — «Несколько штрихов о работе с идентификаторами bigint в R».