Я на R для этих же целей написал пакет ryandexdirect. При его использовании код намного компактнее т.к. пользователь уже готовые функции использует, ну и у меня токен автоматом сам обновляется при необходимости.
Тут в тесте всё запускалось под виндой, но на самом деле как я и написал в статье победа parallel скорее случайность. Тут всё зависело от скорости обработки результатов сервером Яндекса, и от нагрузки на него. Поэтому единственное, что я на самом деле тестом скорости хотел показать, что даже на 4ёх аккаунтах скорость работы двухкратно увеличивается при распараллеливании.
Про `mcapply` я написал для общей инфы. У меня всё на винде развёрто, и `mcapply`я тестил вообще в rstudio.cloud, поэтому в статье даже замер времени выполнения не указывал.
Вам ещё раз спасибо за комментарий к первой части статьи!
Спасибо, доработал пример кода в тесте скорости, там как раз идеально вписывается `tweak`, т.к. мы запускаем его в фоновой сессии, а внутри него все распараллеленные функцию запускаются ещё по 4 процесса.
Да, об этом мне уже в FB Павел Левчук написал, в общем в феврале будет чем заняться, в результате статья в объёме вырастит, зато будет исчерпывающим руководством.
Спасибо!
Спасибо за информацию, по материалам комментариев я в феврале буду апдейтить статью, т.к. я далеко не обо всех вариантах распараллеливания знал, и рассказал в статье.
Пакеты future и promises изучу и добавлю в статью.
Наверное соглашусь, у меня в целом тоже были вопросы по сохранению учётных данных в локальный файл пользователя, в остальном скорее больше надежды на то, что команда поддержки API отвечает за безопасность его использования.
Я думаю, что минимально команда CRAN, не пропустит пакет который по почте шлёт какие либо данные, или же ещё каким то способом их передаёт.
В целом, как для меня если пакет есть на CRAN, то это сигнал, что им можно пользоваться, но я согласен с вами, сказать что это гарантия безопасности нельзя.
Я на R для этих же целей написал пакет ryandexdirect. При его использовании код намного компактнее т.к. пользователь уже готовые функции использует, ну и у меня токен автоматом сам обновляется при необходимости.
Но в любом случае тоже решение интересное.
Про `mcapply` я написал для общей инфы. У меня всё на винде развёрто, и `mcapply`я тестил вообще в rstudio.cloud, поэтому в статье даже замер времени выполнения не указывал.
Вам ещё раз спасибо за комментарий к первой части статьи!
Спасибо вам за полезные комментарии и плюс в карму.
Друзья, ещё раз спасибо вам за комментарии, опубликовал вторую часть стать — habr.com/ru/post/448404
Спасибо!
Пакеты future и promises изучу и добавлю в статью.
В ближайшее время всё это изучу и добавлю в статью!
Я думаю, что минимально команда CRAN, не пропустит пакет который по почте шлёт какие либо данные, или же ещё каким то способом их передаёт.
В целом, как для меня если пакет есть на CRAN, то это сигнал, что им можно пользоваться, но я согласен с вами, сказать что это гарантия безопасности нельзя.