Хотя в среднем для каждодневных задач автоматизация не требуется, бывают случаи, когда она может быть необходима. Создание множества диаграмм, рисунков, таблиц и отчётов может утомить, если вы работаете вручную. Так быть не должно. Специально к старту нового потока курса Fullstack-разработчик на Python делимся с вами кейсом постройки конвейера на Python, с помощью которого Excel и Word легко интегрировать: нужно создать таблицы в Excel, а затем перенести результаты в Word, чтобы практически мгновенно получить отчёт.

На Хабре часто выкладывают туториалы по разным областям знаний. Сегодня, к старту нового потока курса по machine learning, поделимся с вами туториалом.... по ядерной физике, работе реакторов и прогнозной аналитике с использованием Python.

По данным Комиссии по ядерному регулированию, в США находится 31 исследовательский ядерный реактор. У автора есть лицензия на эксплуатацию одного из них, и в этой статье он продемонстрирует, как применил методы машинного обучения и общего анализа данных для прогнозирования уровней мощности импульсов и повышения показателя воспроизводимости наших экспериментов.

Сегодня вместо обсуждения геологических моделей мы посмотрим пример их программирования в среде Jupyter Notebook на языке Python 3 и с библиотеками Pandas, NumPy, SciPy, XArray, Dask Distributed, Numba, VTK, PyVista, Matplotlib. Это довольно простой ноутбук с поддержкой многопоточной работы и возможностью запуска локально и в кластере для обработки больших данных, отложенными вычислениями (ленивыми) и наглядной трехмерной визуализацией результатов. В самом деле, я постарался собрать разом целый набор сложных технических концепций и сделать их простыми. Для создания кластера на Amazon AWS смотрите скрипт AWS Init script for Jupyter Python GIS processing, предназначенный для единовременного создания набора инстансов и запуска планировщика ресурсов на главном инстансе.

Визуализация с помощью Visualization Toolkit(VTK) и PyVista это уже далеко не Matplotlib

Если вы хоть немного пересекались с Machine Learning, то понимаете, что человеческий мозг — это, по сути, большая нейросеть. А раз так, то и работу с ним можно строить по известным в ML алгоритмам. Так я нашел универсальный способ выучить любой иностранный язык до нормального уровня в разумные сроки. И на себе проверил его эффективность.

В американском футболе атакующей команде дается 4 попытки, чтобы пройти 10 ярдов и тогда команда имеет право продолжить атаковать (владеть мячом). И очень часто, перед розыгрышем 4-ой попытки, тренерам приходится решать - попытаться добрать оставшееся до минимальных 10 ярдов с риском не дойти и отдать сопернику мяч в текущей точке поля, либо сразу пробить ногой по мячу, запнув мяч подальше, обезопасив так себя в защите. Чтобы облегчить принятие этого решения и повысить его эффективность в этой статье мы построим байесовскую модель.

Git - это консольная утилита, для отслеживания и ведения истории изменения файлов, в вашем проекте. Чаще всего его используют для кода, но можно и для других файлов. Например, для картинок - полезно для дизайнеров.

С помощью Git-a вы можете откатить свой проект до более старой версии, сравнивать, анализировать или сливать свои изменения в репозиторий.

Не будет преувеличением сказать, что тема этой публикации вынесена из комментариев, а именно из обсуждения статьи о бонобо Канзи. Благодарю уважаемого @kraidiky за ссылку на статью Максима Руссо о неандертальском искусстве. Также с огромным интересом прочел материал уважаемого @ra3vdx «Застывшее время. Научные подходы к датированию». Действительно, датировка неандертальских рисунков при помощи уран-ториевого метода примечательна тем, что здесь мы наблюдаем применение геохронологического метода в археологии. Это исследование является не только замечательным примером «перекрытия» традиционно геологических и традиционно исторических методов, но и заставляет задуматься, в каких исторических масштабах радиоуглеродная датировка действительно проигрывает другим методам, и каковы перспективы уран-ториевого и уран-свинцового методов датировки при изучении сравнительно недавнего прошлого.

Задачи, которые сегодня решает машинное обучение, зачастую являются комплексными и включают в себя большое количество признаков (фичей). Из-за сложности и многообразия исходных данных применение простых моделей машинного обучения часто не позволяет достигнуть необходимых результатов, поэтому в реальных бизнес-кейсах применяют сложные, нелинейные модели. У таких моделей есть существенный недостаток: из-за их сложности практически невозможно увидеть логику, по которой модель присвоила именно этот класс операции по счету. Особенно большое значение интерпретируемость модели играет, когда результаты ее работы необходимо представить заказчику — он скорее всего захочет узнать, на основе каких критериев принимаются решения для его бизнеса.

В стандартных пакетах для машинного обучения, таких как sklearn, xgboost, lightGBM существуют методы для оценки важности влияния на конечный результат той или иной фичи (параметра). Однако эти метрики важности не дают представление о том, как именно эти признаки влияют на предсказания модели. Например, как время проведенной операции указывает на то, была ли сделка мошеннической? Или как сильно адрес прописки владельца карты смещает предсказание модели? Для ответа на эти вопросы необходимо найти комплексное решение, которое помогло бы повысить интерпретируемость нелинейных моделей. Таким инструментом является библиотека SHAP. В библиотеке SHAP для оценки вклада фичей в итоговое предсказание моделей рассчитываются значения Шэпли. Для оценки важности фичи происходит оценка предсказаний модели, которая была обучена на основе датасета с и без данной фичи.

Рассмотрим работу данной библиотеки на примере определения мошеннических операций. Рассмотрим поля, которые есть в нашей таблице. В таблице содержится 213 столбцов, что довольно много для ручного перебора с помощью метода обучения модели без каждого признака поочередно для выявления важности каждой из фич.

Приведенный ниже код взят с kaggle и доработан для демонстрации функций рассматриваемого инструмента.

На начало ноября 2020 г. в мире было зарегистрировано 50 млн случаев COVID-19. Для формирования коллективного иммунитета, который должен был бы препятствовать возникновению повторных вспышек заболевания, этот показатель являлся явно недостаточным [1]. Карантинные мероприятия в нашей стране также порой вводятся с опозданием, что собственно подчеркнул и Премьер-министр Российской Федерации Михаил Мишустин [2]. Из этого следует, то что подобные меры не способны в полной мере ограничить распространение заболевания [1]. Поэтому вопрос о вакцинации части населения от новой коронавирусной инфекции до сих пор остаётся острым.

Тем не менее несмотря на скептическое отношение некоторых людей [10], наши учёные из Национального исследовательского центра эпидемиологии и микробиологии имени Н. Ф. Гамалеи первые в мире зарегистрировали двухкомпонентную вакцину от COVID-19, которая хоть и не безоговорочно [7], но успешно проявила себя в двух этапах и показывает в отличии от сходной оксфордской вакцины [4] объективную безопасность и эффективность в плане иммунного ответа на всех проходимых этапах [5]. Эффективность самой вакцины в целом мы окончательно увидим в конце третьего этапа в мае 2021 года [7].

Большинство критически негативных взглядов по по поводу этой вакцины , которые были ранее высказаны на хабре некоторыми аналитиками о скрытых исходниках [10], не правильных графиках и сомнительной эффективности были устранены в официальном ответе на критику Бучче [8] в международном журнале Lancet [9]. Единственный вопрос, который остался к вакцине это не полное прохождение второго этапа, о котором также высказался известный врач и популяризатор науки Алексей Водовозов [7]. Следует отметить, что он весьма объективно раскритиковал позицию некоторых аналитиков и представителей некоторых СМИ о похоронах российской вакцины, отметив также странным требование предоставить исходники [7].

Сам же Буччи, критикуя исследования о гамалеевской вакцине, отметил, что результаты этого исследования являются потенциально значимыми [8]. Поэтому если ко второму этапу всё таки и остаётся один вопрос по поводу объективной оценки эффективности, то по поводу безопасности вакцины, которая обычно проверяется на первом этапе вопросов нет, вопреки личным мнениям некоторых аналитиков на Хабре [10]. Безопасность этой вакцины также проверил на себе и на своей семье известный биолог Панчин Александр Юрьевич. При этом на себе он проверил действие этой вакцины два раза [3;11].