← Предыдущая глава | 

Какие существуют популярные категории глубоких генеративных моделей (также известных как генеративные ИИ) в области глубинного обучения, и какие у них недостатки?

Для создания различных форм информации, таких как изображения, видео, тексты и аудио, было разработано множество глубоких генеративных моделей. Кроме того, эти модели могут быть адаптированы для генерации данных, специфичных для конкретных областей, например, для моделирования органических молекул и белковых структур. В этой главе мы сначала рассмотрим определение генеративного моделирования, а затем подробно опишем каждый тип генеративной модели, оценив их сильные и слабые стороны.

← Предыдущая глава | Следующая глава →

В чём секрет успеха трансформеров?

В последние годы трансформеры стали самой успешной архитектурой нейронных сетей, особенно в задачах обработки естественного языка. Теперь они близки к тому, чтобы стать SOTA для задач компьютерного зрения тоже. Успех трансформеров обусловлен несколькими ключевыми факторами: их механизм внимания, возможность легкой параллелизации, предварительное обучение без учителя и большое количество параметров.

← Предыдущая глава | Следующая глава →

Какие существуют подходы к обучению на нескольких GPU и в чем их сильные и слабые стороны?

Подходы к обучению на нескольких GPU можно разделить на две группы: разделение данных для параллельной обработки несколькими GPU и разделение модели по нескольким GPU для преодоления ограничений памяти, когда размер модели превышает возможности одной видеокарты. Параллелизм данных попадает в первую категорию, в то время как тензорный параллелизм и параллелизм моделей попадают во вторую. Такие подходы как конвейерный параллелизм, объединяют идеи из обеих категорий. В дополнение, современные программные реализации, такие как DeepSpeed, Colossal AI и другие смешивают различие техники в гибридные подходы.

В этой главе мы рассмотрим несколько подходов к обучению и поделимся рекомендациями по их эффективному применению на практике.

В этой главе мы в основном говорим о графических процессорах (GPU), чтобы описать аппаратное обеспечение, используемые для параллельной обработки. Однако те же концепции и техники, можно применять к другим специализированным устройствам, таким как тензорные процессоры (TPU) или другие ускорители, в зависимости от конкретной архитектуры и требований системы.

← Предыдущая глава | Следующая глава →

Допустим, мы обучаем классификатор при помощи обучения с учителем и уже применили к датасету различные методы для уменьшения переобучения. Как можно улучшить модель или цикл обучения, чтобы добиться еще более заметного эффекта?

Наиболее эффективные методы борьбы с переобучением включают в себя различные техники регуляризации, такие как Dropout и сокращение весов. Как правило, модели с большим количеством параметров требуют больше тренировочных данных для успешного обобщения. Поэтому иногда уменьшение размера модели может помочь снизить степень переобучения. Наконец, одним из самых действенных способов борьбы с переобучением является создание ансамблей моделей. Однако этот метод иногда связан с повышенными вычислительными затратами.

В этой главе мы обсудим ключевые идеи и методы, которые помогают снизить переобучение при помощи модификации моделей, и сравним их между собой. В заключение мы обсудим, как выбрать между различными техниками уменьшения переобучения, включая те, о которых мы говорили в предыдущей главе.

← Предыдущая глава | Следующая глава →

Предположим, что мы обучаем классификатор при помощи обучения с учителем и замечаем, что он страдает от переобучения. Какие существуют основные подходы для уменьшения переобучения путем модификации или дополнения данных?

Переобучение - достаточно широко распространенная проблема в машинном обучении, возникающая, когда модель слишком точно подстраивается под тренировочные данные. В результате она начинает учитывать шум и выбросы, а не взаимосвязи данных. Из-за этого модель хорошо работает на тренировочных данных, но плохо справляется с новыми или тестовыми. В идеале мы бы хотели полностью избежать переобучения, однако на практике это не всегда реально. Поэтому мы стараемся минимизировать его влияние на модель настолько, насколько это возможно.

Наиболее успешные методы, направленные на уменьшение переобучения, основаны на сборе большего количества высококачественных размеченных данных. Однако, если затраты на получение дополнительных размеченных данных оказываются неоправданными, мы можем рассмотреть варианты, такие как аугментация существующих данных или использование неразмеченных данных для предварительного обучения.

← Предыдущая глава | Следующая глава →

О чем говорит гипотеза о лотерейном билете, и чем она полезна на практике, если оказывается верной?

Гипотеза о лотерейном билете — это идея, которая появилась в 2018 году в контексте обучения нейронных сетей. Она утверждает, что в случайно инициализированной нейронной сети существует подсеть (или «выигрышный билет»), которая, если ее обучить независимо, сможет достичь такой же точности на тестовом датасете, как и полная сеть после такого же количества шагов обучения. Авторы гипотезы — Джонатан Франкл и Майкл Карбин.

В этой главе мы подробно рассмотрим гипотезу лотерейного билета. Сначала мы шаг за шагом разберемся, как она работает, а затем обсудим прунинг весов — один из ключевых методов, который позволяет создавать более компактные сети. Этот процесс является частью методологии, основанной на гипотезе лотерейного билета. В конце главы мы проанализируем практические применения и ограничения данной гипотезы.

← Предыдущая глава | Следующая глава →

Что такое few-shot learning (обучение, FSL)? Чем оно отличается от традиционной процедуры обучения с учителем?

Few-shot обучение представляет собой особый вид обучения с учителем для небольших тренировочных датасетов с очень низким отношением количества примеров на класс. В традиционном обучении с учителем модель тренируется, пробегаясь по тренировочному сету, при этом она всегда видит один и тот же фиксированный набор классов. В few-shot обучении мы работаем с опорным множеством, из которого формируем несколько тренировочных заданий. Из этих заданий мы собираем тренировочные эпизоды, где каждое тренировочное задание состоит из различных классов.

← Предыдущая глава | Следующая глава →

Self-supervised обучение - это процедура предварительного обучения, которая позволяет нейронным сетям использовать большие объемы неразмеченных данных в supervised стиле. В этой главе мы сравним self-supervised обучение с трансферным, схожим методом для предварительного обучения моделей, и рассмотрим практические приложения SSL. Также обсудим основные категории self-supervised обучения.

Следующая глава →

Известный эксперт в области машинного обучения и ИИ Себастьян Рашка был добр бесплатно поделиться с миром своей уникальной книгой о фундаментальных вопросах в области современного машинного обучения, которая рассматривает и изучает вопросы создания эффективных архитектур для глубинного обучения. В книге рассматриваются 30 важных аспектов этой сферы в максимально доступной и понятной форме: каждый вопрос рассмотрен как небольшая, но интересная статья подобно тем, что мы читаем здесь, на Хабре. Отсутствие такой книги в русскоязычном сегменте - большое упущение, поэтому верю, что серия переводов этой книги будет полезна хабровчанам.

Не важно, узнали ли вы о БЭМ только сейчас, или следите за ним с самого начала, вы, возможно, уже оценили столь полезную методологию. Если вы не знаете, что такое БЭМ, я рекомендую прочитать вам об этом на сайте БЭМ перед тем, как продолжить чтение этой статьи, потому что я буду использовать термины, которые предполагают базовое понимание этой CSS методологии.

Эта статья нацелена на людей, которые уже используют БЭМ и желают использовать его более эффективно, а также на тех, кто хочет узнать о нем больше.

Пост является переводом статьи "Improving User Flow Through Page Transitions" со Smashing Magazine о создании плавных переходов. Автор этой статьи, Луиджи Де Роза, является фронт-энд разработчиком в EPIC. Далее повествование будет идти от лица автора статьи. Приятного чтения.