Комментарии 12
Статья хорошая, впервые услышал про ваши пакеты для R (могут пригодиться).
Алексей, нужно еще добавить в статье про параллельное исполнение о том, что R нативно — и уже давно — поддерживает параллельность (под Unix), используя функции parallel::mclapply, parallel::mcsapply из поставляемого по умолчанию пакета parallel.
Также я бы добавил, что помимо foreach %dopar% можно использовать doParallel::parLapply, doParallel::parSapply и т.д.
Алексей, нужно еще добавить в статье про параллельное исполнение о том, что R нативно — и уже давно — поддерживает параллельность (под Unix), используя функции parallel::mclapply, parallel::mcsapply из поставляемого по умолчанию пакета parallel.
Также я бы добавил, что помимо foreach %dopar% можно использовать doParallel::parLapply, doParallel::parSapply и т.д.
Еще бы баллы для доступа к API Яндекс.Директ учитывались tech.yandex.ru/direct/doc/dg/concepts/units-docpage
Жаль автор не рассмотрел более современные пакеты future и promises.
С ними гораздо гибче стало жить и код приятнее выглядит.
С ними гораздо гибче стало жить и код приятнее выглядит.
Спасибо за информацию, по материалам комментариев я в феврале буду апдейтить статью, т.к. я далеко не обо всех вариантах распараллеливания знал, и рассказал в статье.
Пакеты future и promises изучу и добавлю в статью.
Пакеты future и promises изучу и добавлю в статью.
Если хотите использовать внутри foreach какие либо самописные функции, то либо объявляйте их внутри foreach либо предварительно сохраните их код в .R файл и читайте его внутри foreach с помощью функции source.
Не совсем так, можно сделать проще. Есть функция clusterExport, которая позволяет экспортировать функции (вообще переменные) на каждый узел.
В foreach есть аргумент .export. stackoverflow.com/questions/45750910/how-to-export-multiple-function-or-packages-in-foreach-loop-in-r
Alexey_mosc, SatCat, Ananiev_Genrih
Друзья, ещё раз спасибо вам за комментарии, опубликовал вторую часть стать — habr.com/ru/post/448404
Друзья, ещё раз спасибо вам за комментарии, опубликовал вторую часть стать — habr.com/ru/post/448404
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как ускорить работу с API на языке R с помощью параллельных вычислений, на примере API Яндекс.Директ (Часть 1)