Параллелим R

[Tonik]

Спасибо за статью! С процессами понятно. А что делать если датасет выходит за доступную память?

[danilchenko]

Вот почему не стоит писать посты «через ночь» – забыл написать.

Я имел в виду простой выход: дать вычислениям больше памяти. А сделать это можно, например, организовав кластер из нескольких машин при помощи модулей snow и doSnow.

[jaturken]

Было бы интересно почитать про опыт интеграции R с другими платформами. Народ, я видел, как-то интегрируется с Hadoop. Вам не приходилось заниматься?

[danilchenko]

Нет, такого опыта у меня нет, хотя как раз сейчас я о подобной вещи задумываюсь

[jaturken]

lmgtfy.com/?q=R

[Zoberg]

А как можно узнать количество доступных ядер процессора?

[danilchenko]

Непосредственно через R у меня не было нужды такие вещи узнавать.

Под linux можно так:

cat /proc/cpuinfo | grep ^processor |wc -l

[Zoberg]

Спасибо. В том же OpenMP есть специальная функция, которая это дело возвращает. Думал, что вполне может быть обертка над ней или чем-то похожим в R.

[kablag]

library(parallel)
detectCores(logical = FALSE)

[Zoberg]

Спасибо!