Как стать автором
Обновить
5.87

R *

Язык для статистической обработки данных

Сначала показывать
Порог рейтинга
Уровень сложности

Время есть отношение бытия к небытию. Немного слов про Time-to-event analysis

Уровень сложности Средний
Время на прочтение 10 мин
Количество просмотров 209

Всем доброго дня!

Некоторое время назад нами была написана обзорная статья о методах анализа данных, используемых при разработке инновационных лекарств, и теперь пришло время поподробнее остановиться на отдельных пунктах этой публикации.

Сегодня мы поговорим о таком подходе как анализ выживаемости (survival analysis) или, как его еще называют, анализ времени до наступления события (time-to-event analysis, ТТЕ). Звучит немного зловеще; и действительно: лично я познакомилась с этой методикой, занимаясь оценкой эффекта различных видов терапии на выживаемость пациентов с онкологическими заболеваниями. Забегая вперед, скажу, что сфера применения ТТЕ значительно шире, поэтому ее понимание может пригодиться широкому кругу специалистов. Данная статья освящает наиболее базовые концепции TTE, однако в конце искушенный читатель найдет список более исчерпывающих трудов.

Читать далее
Рейтинг 0
Комментарии 0

Новости

Обзор библиотеки drake в R

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 287

Drake предлагает систематический подход к построению и управлению зависимостями в проектах, автоматизируя процесс обработки данных и анализа. С помощью drake можно отслеживать изменения в коде и данных, автоматически перезапуская только те части анализа, которые были изменены.

Создатель drake, Уилл Ландау, искал способ улучшить репродуктивность исследований в R, и так родилась библиотека drake. С тех пор она претерпела множество изменений и улучшений.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 1

Обзор библиотеки Stan в R

Уровень сложности Средний
Время на прочтение 11 мин
Количество просмотров 775

Приветствую!

Stan - это библиотека на C++, предназначенная для байесовского моделирования и вывода. Она использует сэмплер NUTS, чтобы создавать апостериорные симуляции модели, основываясь на заданных пользователем моделях и данных. Так же Stan может использовать алгоритм оптимизации LBFGS для максимизации целевой функции, к примеру как логарифмическое правдоподобие.

Для облегчения работы с Stan из языка программирования R доступен пакет rstan, который предоставляет интерфейс R для Stan.

Сегодня мы и рассмотрим этот пакет.

Читать далее
Всего голосов 12: ↑10 и ↓2 +8
Комментарии 0

Параллельное выполнение в R

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 849

Привет, Хабр!

Параллельные вычисления – подход к проектированию и выполнению программ, который позволяет ускорить обработку данных и вычисления, используя множество процессоров или ядер процессора одновременно.

В ЯП R паралельное выполнение также имеет свои варианты реализации. Рассмотрим их в статье.

Читать далее
Всего голосов 15: ↑14 и ↓1 +13
Комментарии 0

Истории

Топ 5 моментов при разработке бота ТГ на R, на Serverles functions Яндекса

Уровень сложности Средний
Время на прочтение 3 мин
Количество просмотров 759

Возьмем пример: Как создать бота в Telegram

Если вы когда нибудь читали документацию Яндекс облака, вы в курсе. Для остальных могу пояснить. Возьмите лапидарный текст, удалите из него ясность и чёткость и вы получите документацию Яндекс облака.

В статье я хочу поделиться теми моментами которые всплыли при разработке бота в телеграм, но не описаны в документации.

Читать далее
Всего голосов 7: ↑2 и ↓5 -3
Комментарии 0

Семантический поиск и генерация текста на R. Часть 2

Уровень сложности Средний
Время на прочтение 5 мин
Количество просмотров 833

В первой части говорили про использование поиска и генерации ответа с помощью языковых моделей. В этой части рассмотрим память и агентов.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 0

Семантический поиск и генерация текста на R. Часть 1

Уровень сложности Средний
Время на прочтение 10 мин
Количество просмотров 1.8K

Для этой задачи использую LLM (Large Language Models - например, chatGPT или opensouce модели) для внутренних задач (а-ля поиск или вопрос-ответную систему по необходимым данным).

Я пишу на языке R и также увлекаюсь NLP (надеюсь, я не один такой). Но есть сложности из-за того, что основной язык для LLM - это python. Соответственно, на R мало примеров и документации, поэтому приходится больше времени тратить, чтобы “переводить” с питона, но с другой стороны прокачиваюсь от этого.

Чтобы не городить свою инфраструктуру, есть уже готовые решения, чтобы быстро и удобно подключить и использовать. Это LangChain и LlamaIndex. Я обычно использую LangChain (дальше он и будет использоваться). Не могу сказать, что лучше, просто так повелось, что использую первое. Они написаны на питоне, но с помощью библиотеки reticulate всё работает и на R.

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 4

Вливаемся в Data Science: подробный roadmap что и где изучать

Уровень сложности Простой
Время на прочтение 10 мин
Количество просмотров 49K

Привет, Хабр!

В этой статье рассмотрим план становления начинающим дата-сайнтистом. Рассмотрим, что и где изучать, чтобы преисполниться в своём познании. А там и до оффера недалеко

Читать далее
Всего голосов 40: ↑37 и ↓3 +34
Комментарии 14

Язык программирования R для статистической обработки данных

Уровень сложности Простой
Время на прочтение 11 мин
Количество просмотров 4.9K

Гибадуллина Д.А  Гибадуллина Дарья Анатольевна/ Gibadullina Daria Anatolievna- студент второго курса бакалавриат Уральского филиала Финансового университета направления бизнес-информатика 

Аннотация: Язык программирования R имеет широкое применение в области статистических вычислений и анализа данных В данной статье мы рассмотрим основные возможности языка R, его синтаксис и особенности, а также примеры использования для решения задач статистического анализа данных. Также мы рассмотрим некоторые популярные пакеты и библиотеки, которые доступны для работы с данными в R. Данная статья поможет читателю ознакомиться с основами языка R и его применением в статистических вычислениях. 

Annotation: The R programming language has wide application in the field of statistical computing and data analysis. In this article, we will consider the main features of the R language, its syntax and features, as well as examples of use for solving problems of statistical data analysis. We will also look at some popular packages and libraries that are available for working with data in R. This article will help the reader to familiarize himself with the basics of the R language and its application in statistical computing. 

Ключевые слова: язык программирования, язык программирования R, синтаксис R, библиотеки R, анализ данных, статистический анализ, обработка данных на R. 

Keywords: programming language, R programming language, R syntax, R libraries, data analysis, statistical analysis, data processing in R. 

Читать далее
Всего голосов 18: ↑10 и ↓8 +2
Комментарии 15

Временные ряды в R

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 1.2K

Привет, Хабр!

Сегодня мы поговорим о временных рядах, и как мы можем работать с ними, используя ЯП R. Временные ряды позволяют понять динамику процессов, изменяющихся со временем, и предсказывать тенденции.

Читать далее
Всего голосов 11: ↑10 и ↓1 +9
Комментарии 0

Xg предсказывает результаты матчей?

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 1.7K

Для начала определим для кого эта статья? Моя цель заинтересовать не только обыкновенных зрителей, но и тех, кто уже занимается футбольной аналитикой. В статье я постараюсь показать интересные исследования об Xg.

Многие из тех, кто смотрит футбол и читает новости когда-нибудь видел метрику «xg». Что она вообще означает? Простыми словами Xg это количество ожидаемых голов. Т.е. каждый нанесённый удар по воротам имеет вероятность конвертироваться в забитый мяч, но с каждой позиции эта вероятность разная (если углубляться, то станет очевидным, что xg зависит от нескольких параметров, а не от одной позиции). К примеру, самая высокая вероятность забить мяч при исполнении пенальти. Чаще всего с пенальти дают 0.79 xg. Необходимо учитывать, что единой формулы расчёта xg нет, каждый провайдер рассчитывает её по-своему. Так например, для написания этой статьи я использовал данные с сайта https://understat.com/, но, если мы посмотрим другие источники, цифры будут отличаться.

Моя задача узнать, насколько точно Xg предсказывает количество голов в матче. Исследование будем проводить для АПЛ сезона 2022/2023. В данном исследовании мы ограничимся простыми методами анализа. Я составил таблицу из 380 матчей АПЛ.

Читать далее
Рейтинг 0
Комментарии 6

Хорошая идея не пропадает зря или о пакете gMWT

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 796

В заметке кратко описан функционал пакета gMWT, который реализовывает обобщенный тест Манна-Уитни. Описано его применение для проверки гипотез о равенстве законов распределения для случая двух и трех выборок, продемонстрировано его применение для проверки гипотез о принадлежности изучаемого распределения некоторому закону.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 0

Когда надоела путаница или о идее пакета familial

Уровень сложности Простой
Время на прочтение 3 мин
Количество просмотров 948

В заметке рассказывается о функционале достаточно простого пакета familial, реализующего весьма оригинальную идею о проверке статистических гипотез, связанных с семейством центральных параметров. Концепция данного семейства была изначально разработана Питером Хубертом в статье «Robust estimation of a location parameter».

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Комментарии 2

Ближайшие события

Как обучить миллионы моделей прогнозирования временными сериями

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 3.2K

Не буду вдаваться в подробности о том, откуда берутся миллионы временных серий и почему они умудряются изменяться еженедельно. Просто возникла задача еженедельно сделать прогноз на 2-8 недель по паре миллионов временных серий. Причем не просто прогноз, а с кроссвалидацией и выбором наиболее оптимальной модели (ARIMA, нейронная сеть, и т.п.).

Имеется свыше терабайта исходных данных и достаточно сложные алгоритмы трансформации и чистки данных. Чтобы не гонять большие массивы данных по сети решено было реализовать прототип на одном сервере.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 23

Статистические тесты и проверка гипотез в R

Время на прочтение 15 мин
Количество просмотров 3.7K

Современный мир насыщен данными, анализ информации становится критически важным инструментом для принятия обоснованных решений. Однако просто иметь данные не достаточно – необходимо извлечь из них ценную информацию. В этом процессе статистические тесты и проверка гипотез играют важнейшую роль. Они позволяют нам сделать выводы на основе данных, опираясь на строгие методы анализа, и тем самым способствуют принятию обоснованных решений.

Статистические тесты – это мощный инструмент, который позволяет провести объективную оценку данных и проверить гипотезы, основанные на этой информации. Они позволяют определить, насколько вероятно, что наблюдаемые различия или закономерности случайны, а не реально существующие в популяции. Статистические тесты позволяют избежать ошибок и предоставляют научно обоснованный подход к анализу данных.

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Комментарии 1

Воспроизведение карты биома Уиттакера из журнала Nature Communications с помощью R

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 1.3K

Биом Уиттекера, также известный как метод классификации экосистем, делит экосистемы на поверхности земли на различные типы на основе таких факторов, как географическое распределение и условия окружающей среды.Этот метод классификации был предложен американским экологом Робертом Уиттакером (Robert Whittaker) в 1962 году, целью которого является улучшение понятий и описаний разнообразия и функций экосистем. Уиттакер использует два фактора для классификации биологических сообществ: осадки и температуру.

Читать далее
Всего голосов 14: ↑14 и ↓0 +14
Комментарии 0

Профилирование производительности R-скриптов

Уровень сложности Средний
Время на прочтение 13 мин
Количество просмотров 890

Когда мы занимаемся анализом данных, каждая миллисекунда имеет значение. Профилирование производительности - это мощный инструмент, который позволяет нам выявлять узкие места в нашем коде, те самые места, где программа затрачивает больше всего времени. Понимание этих моментов позволяет нам сосредотачиваться на оптимизации и сделать нашу работу более быстрой и эффективной.

Цель этой статьи - рассмотреть методы профилирования производительности и оптимизации для повышения эффективности R-скриптов. Мы поговорим о встроенных инструментах R, которые помогают нам профилировать код, а также о том, как правильно анализировать результаты профилирования.

Читать далее
Всего голосов 10: ↑9 и ↓1 +8
Комментарии 2

На берегу океана или о тестах для таблиц 2*k

Уровень сложности Простой
Время на прочтение 2 мин
Количество просмотров 525

Сообщение посвящено простому (всего 1 функция ) пакету chisquare, который реализует статистический тест на равенство пропорций для таблиц 2*k, выдает по ней подробную информацию, а также приятно оформленные таблицы в виде графиков

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

Как биостатистика помогала в пандемию COVID-19

Время на прочтение 11 мин
Количество просмотров 1.2K

В этой статье расскажем о проекте, реализованном во время первой и второй волн пандемии COVID-19. Сегодня его идеолог и основной разработчик — Евгений Бакин — учится в магистратуре в ИТМО на программе Public Health Sciences (мы писали о ней в блоге). Проект реализовывался вне стен университета, но, во‑первых, он интересен сам по себе — математические методы, примененные к стандартным анализам крови, на пике заболеваемости COVID-19 немного упорядочили хаос для врачей и помогли спасти жизни людей. А во‑вторых, проект и подтолкнул специалиста в магистратуру. Пандемия имела огромные социально‑экономические последствия и повлияла на систему здравоохранения — Евгений заинтересовался более высокоуровневым взглядом на проблему.

Читать далее
Всего голосов 6: ↑5 и ↓1 +4
Комментарии 6

Как IT-специалисты-экологи спасут планету

Время на прочтение 6 мин
Количество просмотров 3.5K

Всем привет! Я тот самый человек, который учится на бакалавриате по направлению "Экология и природопользование" в обычном Российском ВУЗе. И будучи человеком, которому трудно утолить жажду знаний, мне приходится часто себя ловить на мыслях об улучшении и оптимизации многих процессов, в том числе и в образовании. В целом, образовательная программа моего ВУЗа достаточно неплоха, и мы получаем от преподавателей (конечно же, не от всех) информацию из научных кругов, говорим о инновационных исследованиях и приборах, которые дают новый толчок в изучении такой многокомпонентной науки как экология.

Я думаю, не трудно догадаться, что в современных реалиях все завязано на IT, в том числе и экология. Все меньше становится природных процессов, в которых не используются информационные технологии. Честно, даже затрудняюсь привести такой пример. И вот тут возникает реальная проблема подготовки квалифицированных кадров, которые должны отвечать современным требованиям. И я тут даже не про работодателей, а про жизнь – обычную человеческую бытовуху. Мир меняется бешенными темпами — это факт. Природные процессы меняются, как и мы с вами – также стремительно и безвозвратно. Научное сообщество даже не сразу успевает эти изменения детектировать и осмыслять, поэтому вопрос поиска и подготовки специалистов на стыке нескольких наук не менее актуальная проблема чем изменение климата.

С вашего позволения я попытаюсь рассмотреть некоторые проблемы и пути решения подготовки айтишников-экологов/экологов-айтишников, а также ответить на вопрос как IT-специалисты-экологи спасут планету.

Читать далее
Всего голосов 18: ↑11 и ↓7 +4
Комментарии 10

Вклад авторов

Работа

Data Scientist
71 вакансия