Как ускорить работу с API на языке R с помощью параллельных вычислений, на примере API Яндекс.Директ (Часть 1)

[Alexey_mosc]

Статья хорошая, впервые услышал про ваши пакеты для R (могут пригодиться).

Алексей, нужно еще добавить в статье про параллельное исполнение о том, что R нативно — и уже давно — поддерживает параллельность (под Unix), используя функции parallel::mclapply, parallel::mcsapply из поставляемого по умолчанию пакета parallel.

Также я бы добавил, что помимо foreach %dopar% можно использовать doParallel::parLapply, doParallel::parSapply и т.д.

[selesnow]

Огромное спасибо, за комментарий и полезную информацию.
В ближайшее время всё это изучу и добавлю в статью!

[xRay]

Еще бы баллы для доступа к API Яндекс.Директ учитывались tech.yandex.ru/direct/doc/dg/concepts/units-docpage

[selesnow]

Согласен, тоже важное ограничение которое я упустил, добавлю в статью, спасибо.

[SatCat]

Жаль автор не рассмотрел более современные пакеты future и promises.
С ними гораздо гибче стало жить и код приятнее выглядит.

[selesnow]

Спасибо за информацию, по материалам комментариев я в феврале буду апдейтить статью, т.к. я далеко не обо всех вариантах распараллеливания знал, и рассказал в статье.

Пакеты future и promises изучу и добавлю в статью.

[Ananiev_Genrih]

и особый торт: параллельный аналог purrr — furrr (на основе future). вашпе бомба:)

[selesnow]

Да, об этом мне уже в FB Павел Левчук написал, в общем в феврале будет чем заняться, в результате статья в объёме вырастит, зато будет исчерпывающим руководством.
Спасибо!

[SatCat]

Ну и чтоб два раза не ходить, можно про обмен данными между процессами раскрыть. Маленькую главку. Хотя-бы бы на svSocket. Оч. прикольный пакет, всем рекомендую.

[MaxIvanych]

Если хотите использовать внутри foreach какие либо самописные функции, то либо объявляйте их внутри foreach либо предварительно сохраните их код в .R файл и читайте его внутри foreach с помощью функции source.

Не совсем так, можно сделать проще. Есть функция clusterExport, которая позволяет экспортировать функции (вообще переменные) на каждый узел.
В foreach есть аргумент .export. stackoverflow.com/questions/45750910/how-to-export-multiple-function-or-packages-in-foreach-loop-in-r

[selesnow]

Верно, спасибо. В статью внёс правки по экспорту объектов.

[selesnow]

Alexey_mosc, SatCat, Ananiev_Genrih

Друзья, ещё раз спасибо вам за комментарии, опубликовал вторую часть стать — habr.com/ru/post/448404