Продолжаю погружаться в Reinforcement Learning. Здесь продолжение статьи Intro Reinforcement Learning.

Если предыдущая часть помогла вам понять, что такое среда, агент, награды и функции ценности, то здесь мы сделаем шаг дальше: мы переходим к model-free алгоритмам и Deep Reinforcement Learning, где агент учится оптимальной стратегии, не имея прямого доступа к модели среды.

Для меня разобраться в базовых концепциях Reinforcement Learning оказалось не так просто, особенно сложными оказались функции Беллмана. Эта статья — моя попытка систематизировать материал и объяснить себе (и, возможно, другим), что, откуда и почему берется. Будет здорово, если она поможет кому-то разложить все по полочкам.

Захотелось более детально разобраться и попробовать самостоятельно написать Transformer на PyTorch, а результатом поделиться здесь. Надеюсь, так же как и мне, это поможет ответить на какие-то вопросы в данной архитектуре.

Построение 3D мира стало необходимым с появлением автопилотов для построения карт и планирования маршрутов. Данная статья про одно из решений задачи Depth Completion (получение 3D карты по лидарным точкам и изображениям с камер). Попыталась разобраться в архитектуре Marigold-DC. Надеюсь, будет интересно ❤️

В статье описана идея нейронных обыкновенных дифференциальных уравнений (Neural ODEs) - подхода в области глубокого обучения, который объединяет методы численного решения дифференциальных уравнений с нейронными сетями. Neural ODEs позволяют моделировать непрерывное изменение скрытых состояний, что открывает новые возможности для анализа временных рядов, обработки сигналов и динамических систем.

Сверточные нейронные сети (CNN) являются мощным классом глубоких нейронных сетей, которые широко применяются в обработке изображений, распознавании образов, компьютерном зрении и других задачах, связанных с анализом визуальных данных.

Рекомендательные системы стали неотъемлемой частью нашей жизни, помогая нам легко находить новые фильмы, музыку, книги, товары и многое другое. Цель этой шпаргалки - дать краткий обзор основных методов: коллаборативная фильтрация, матричная факторизация и некоторые нейросетевые методы.

Надеюсь, что эта шпаргалка станет полезным ресурсом для вас, помогая разобраться в мире рекомендательных систем и использовать их потенциал для улучшения пользовательского опыта.

Изучение структурных свойств стационарных динамических систем - хорошо изученная область теории дифференциальных уравнений. Иначе обстоит дело, если коэффициенты зависят от времени. Однако, такие системы достаточно часто встречаются в задачах механики и управления. Сегодня выделяют лишь классы нестационарных систем, свойства которых в достаточной мере изучены. В данной статье рассматривается один из таких классов - периодические системы.

Результаты могут быть использованы при изучении вопросов устойчивости программных движений различных механических объектов, линеаризованные модели которых описываются линейными нестационарными системами.

Вывод уравнений тангажных колебаний для малых спутников на магнитной системе управления (по типу Университетский-Татьяна-2).

Продолжение темы рекомендательных систем. Небольшая модификация алгоритма SVD. Как учитывать предубеждения пользователей относительно товаров и куда развиваться дальше.

Про SVD разложение и PCA. Решение задачи восстановления user-item matrix с помощью stochastic gradient descent.