Машинное обучение *

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_7

?Вопрос_7: Какие есть разновидности Adam optimization и в чем их разница ?

✔️Ответ:

1. AdamW вводит дополнительное слагаемое в обновление параметров модели для уменьшения влияния больших значений параметров. Это помогает справиться с проблемой увеличения значений параметров во время обучения нейронных сетей, что может приводить к переобучению. Дополнительное слагаемое регуляризует обновление параметров и способствует лучшей обобщающей способности модели;

2. Nadam (Nesterov-accelerated Adaptive Moment Estimation) является вариацией алгоритма Adam с коррекцией Nesterov Momentum. Она использует модификацию алгоритма Momentum для вычисления градиентов в моменты времени, отличные от текущего;

3. AMSGrad (Adaptive Moment Estimation with Variance Correction) вводит исправление для оценки второго момента градиентов. Оно предотвращает возможное увеличение оценки второго момента в сравнении с алгоритмом RMSprop;

4. AdaBelief использует адаптивные скорректированные оценки моментов и вводит дополнительные гиперпараметры для контроля скорости обучения и сглаживания оценок моментов;

5. RAdam (Rectified Adam) вводит коррекцию для оценки первого момента градиентов, чтобы устранить проблему смещения оценки первого момента на начальных итерациях обучения. RAdam также включает в себя масштабирование скорости обучения на начальных итерациях для стабилизации процесса обучения.

   https://t.me/DenoiseLAB

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_6

?Вопрос_6: Всегда ли PCA спасает от проблеммы "проклятие размерности" и если нет, то что можно использовать вместо него ?

✔️Ответ:
РСА не всегда спасает от проклятия размерности, однако существует несколько продвинутых алгоримов для решения данной проблеммы:

• t-SNE (t-Distributed Stochastic Neighbor Embedding): Этот алгоритм позволяет визуализировать данные высокой размерности в двух или трех измерениях, сохраняя при этом их локальную и глобальную структуру. Он основан на вероятностной модели, которая пытается сохранить близость между объектами в исходном пространстве и их представлением в пространстве меньшей размерности.

• LLE (Locally Linear Embedding): LLE ищет линейные зависимости между соседними точками данных и пытается сохранить эти зависимости при снижении размерности. Алгоритм строит локальные линейные модели для каждой точки данных и затем находит низкоразмерное представление, которое наилучшим образом воспроизводит эти локальные модели.

• UMAP (Uniform Manifold Approximation and Projection): UMAP является относительно новым алгоритмом снижения размерности, который сочетает в себе методы локальной связности и глобальной структуры данных. Он строит граф связности между точками данных и затем находит низкоразмерное представление, которое сохраняет геометрическую структуру данных.

  Кроме того, в ряде задач применяются: Isomap, MDS, Random Projection, Sparse Coding, NMF.

  https://t.me/DenoiseLAB
  

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_5

?Вопрос_5: Что означает термин "Variance Inflation Factor" и как он интерпритируется и есть ли ему аналоги ?

✔️Ответ:

"Variance Inflation Factor" (VIF) относится к статистическому показателю, используемому для измерения степени мультиколлинеарности в модели линейной регрессии. Мультиколлинеарность происходит, когда две или более независимые переменные в модели сильно коррелируют друг с другом, что может исказить результаты регрессии.

VIF равен 1, когда вектор предиктора ортогонален каждому столбцу матрицы проектирования для регрессии предиктора на другие ковариаты. В противном случае, если вектор предиктора не ортогонален всем столбцам матрицы проектирования для регрессии предиктора на другие ковариаты, VIF будет больше 1.

Интерпретация VIF следующая: если VIF предиктора равен 5.27 (корень из 5.27 = 2.3), это означает, что стандартная ошибка для коэффициента этого предиктора в 2.3 раза больше, чем если этот предиктор имел бы корреляцию 0 с другими предикторами в модели. VIF измеряет количество завышенных дисперсий, вызванных мультиколлинеарностью. 

В качестве аналога VIF можно рассмотреть "Tolerance Index" (TI), который также используется для измерения степени мультиколлинеарности в модели. TI также представляет собой отношение дисперсии оценок параметра к дисперсии модели.

https://t.me/DenoiseLAB

11 букв и один дефис — IT-кроссворд!

Привет, Хабр! 14-17 ноября мы запустим IT-кроссворд Selectel — онлайн-соревнование для разработчиков, инженеров, аналитиков и всех тех, кто интересуется технологиями. Регистрируйтесь на сайте — мы отправим вам ссылку для участия.

Всего в IT-кроссворде 128 вопросов на четыре темы: 

• дата-центры и инфраструктура,

• разработка и тестирование,

• ML и Data Science,

• Soft Skills и карьера в IT.

Вы можете выбрать любое направление или участвовать в нескольких. Они стартуют в разные дни — 14, 15, 16 и 17 ноября соответственно. Призеры получат 10 000 рублей на аренду серверов и эксклюзивный мерч Selectel.

Готовы показать свои знания в IT? Примите участие в IT-кроссворде Selectel.

Что такое XLNet?

XLNet, или eXtreme Language Model — это языковая модель, созданная компанией Microsoft в 2017 году. Она использует современную архитектуру Transformer с некоторыми улучшениями и модификациями.

Главное из них — использование функции Cross-Layer Attention, выполняющей обработку контекстуальных зависимостей. Она позволяет моделировать двунаправленные взаимодействия между различными слоями и обеспечивает комплексное представление входных данных.

В классической модели Transformer каждый слой самостоятельно обрабатывает данные. Функция Cross-Layer Attention отменяет это ограничение. Точнее, она позволяет учитывать зависимости между данными, находящимися как выше, так и ниже текущего слоя. Это даёт возможность лучше анализировать контекст, особенно в длинных запросах.

XLNet была обучена на англоязычных датасетах суммарным объёмом около 800 млрд символов, что до сих пор считается является одним из самых больших наборов данных для обучения.

Напишите в комментариях, какие ещё термины вам бы хотелось разобрать в рубрике #нейрословарь, которую мы ведём вместе с экспертами из лаборатории больших данных компании "Криптонит".

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_4

?Вопрос_4: Как проверить нормальность набора данных или признака?

✔️Ответ: Существует список проверок нормальности, они следующие:

• W-тест Шапиро-Уилка:

  1. Рассчитывается выборочное среднее и ковариационная матрица выборки;

  2. Затем вычисляются статистики заказа (например, i-е наименьшее число в выборке) и ожидаемые значения из статистики заказа, выбранные из стандартного нормального распределения;

  3. Наконец, вычисляется W-статистика, которая сравнивается с критическим значением, полученным через моделирование Монте-Карло;

  4. Если W-статистика значима, то гипотеза о нормальном распределении данных отвергается, то есть данные, не следуют нормальному распределению;

• Тест Мартинеса-Иглевича:

  1. Вычисляются квантили выборки;

  2. Эти квантили сравниваются с квантилями стандартного нормального распределения;

  3. Расстояние между квантилями выборки и стандартного нормального распределения вычисляется для каждого квантиля;

  4. Если все расстояния меньше некоторого критического значения, то гипотеза о нормальном распределении данных принимается.

• Тест Д'Агостино

  1. Вычисляются эксцесс и асимметрия выборки и эти значения сравниваются с ожидаемыми значениями для нормального распределения;

  2. Расстояние между вычисленными и ожидаемыми значениями вычисляется для каждого из них;

  3. Если оба расстояния меньше некоторого критического значения, то гипотеза о нормальном распределении данных принимается.

  https://t.me/DenoiseLAB
  
  #work #coding #testing #optimization #ml #learning

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_3

?Вопрос_3: Что такое преобразование Бокса-Кокса?

Преобразование Бокса-Кокса (Box-Cox transformation) - это преобразование, которое преобразует "ненормальные" зависимые переменные в нормальные переменные, так как нормальность является наиболее распространенным предположением при использовании многих статистических методов. Оно было предложено Георгом Боксом и Дэвидом Коксом в 1964 году.

Оно имеет параметр лямбда, который при значении "0" означает, что это преобразование эквивалентно лог-трансформации. Оно используется для стабилизации дисперсии, а также для нормализации распределения. Выбор оптимального значения параметра (лямбда) при использовании преобразования Бокса-Кокса может быть выполнен с использованием различных методов:

1. Метод максимального правдоподобия: В этом подходе подбирается значение (лямбда), которое максимизирует правдоподобие модели. Это можно сделать с помощью численных методов оптимизации, таких как метод Ньютона-Рафсона или метод Брента;

2. Критерии информационного критерия: можно использовать информационные критерии, такие как критерий Акаике (AIC) или критерий Шварца (BIC);

3. Кросс-валидация: При этом данные разбиваются на обучающую и проверочную выборки, и производится оценка преобразования Бокса-Кокса для различных значений (лямбда) на обучающей выборке. Затем оцениваются результаты на проверочной выборке и выбирается лучшее значение.
   
   https://t.me/DenoiseLAB

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_2

?Вопрос_2: Объясните, что такое One-hot encoding и Label Encoding. Как они влияют на размерность заданного набора данных ?

✔️Ответ:

One-hot encoding - это представление категориальных переменных в виде двоичных векторов, при котором каждая уникальная категория переменной преобразуется в новый бинарный столбец, называемый "фиктивной переменной". В этом новом столбце значение 1 указывает на принадлежность к соответствующей категории, а значение 0 - на принадлежность к другим категориям. Таким образом, каждая уникальная категория представлена отдельным столбцом. Это позволяет алгоритмам машинного обучения интерпретировать категориальные значения и использовать их в расчетах. Не создает ложного упорядочения или отношения между значениями категориальных переменных и помогает избежать проблемы ложной корреляции между категориями переменных. Однако, использование one-hot encoding увеличивает размерность набора данных ("проклятие размерности").

Label Encoding - это процесс преобразования каждого значения категориальной переменной в целочисленный код. Каждой уникальной категории присваивается уникальное число. Label Encoding не добавляет новые столбцы к набору данных и не увеличивает размерность. Однако, важно понимать, что числовые значения, присвоенные категориям, могут создать ложное упорядочение или отношение между ними. 

#work #coding #testing #optimization #ml #learning

Телеграмм: https://t.me/DenoiseLAB

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_1

?Вопрос_1: Чем ковариация и корреляция отличаются друг от друга?

✔️Ответ:

Ковариация и корреляция - это два статистических показателя, которые используются для определения связи между двумя случайными величинами.

Ковариация измеряет степень, в которой две переменные меняются вместе, тогда как корреляция измеряет не только степень, но и направление отношения между двумя переменными.

Ковариация подразумевает, что две величины меняются в одном направлении: если одна увеличивается, то вторая тоже увеличивается, или если одна уменьшается, то другая тоже уменьшается. Однако, ковариация не учитывает, насколько сильно или слабо эти переменные меняются.

Корреляция, с другой стороны, учитывает не только направление, но и силу отношения между двумя переменными. Коэффициент корреляции может принимать значения от -1 до 1. Значение +1 для корреляции означает, что две переменные имеют прямую связь и полностью коррелируют. Значение -1 для корреляции означает, что две переменные находятся в обратной пропорциональной связи. Значение 0 для корреляции означает, что между двумя переменными нет связи.

#work #coding #testing #optimization #ml #learning

Телеграмм: https://t.me/DenoiseLAB

Компания Jina открыла под лицензией Apache 2.0 модель машинного обучения для векторного представления текста — jina‑embeddings‑v2. Модель позволяет преобразовать произвольный текст, включающий до 8192 знаков, в небольшую последовательность вещественных чисел, образующих вектор, сопоставленный с исходным текстом и воспроизводящий его семантику (смысл). Jina Embedding стала первой открытой моделью машинного обучения, обладающей характеристиками, не уступающими проприетарной модели векторизации текста от проекта OpenAI (text‑embedding‑ada-002), также способной обрабатывать тексты, насчитывающие до 8192 токенов.

Для загрузки доступны два варианта модели jina-embeddings (базовая на 270 МБ и сокращённая размером 70 МБ), обученные на 400 млн пар текстовых последовательностей на английском языке, охватывающих различные области знаний. При обучении использовались последовательности размером 512 токенов, которые были экстраполированы до размера 8192 при помощи метода ALiBi (Attention with Linear Biases). В ближайшее время также планируют опубликовать крупную модель, которая будет охватывать 435 млн параметров.

Базовая модель включает в себя 137 млн параметров и рассчитана на использование на стационарных системах с GPU. Сокращённая модель включает 33 млн. параметров, обеспечивает меньшую точность и нацелена на применение на мобильных устройствах и на системах с небольшим объёмом памяти.

Источник: OpenNET.

Что такое GoogLeNet?

Рассказывают наши эксперты из лаборатории больших данных.

GoogLeNet — глубокая свёрточная нейросеть, разработанная командой исследователей из Google в 2014 году для классификации изображений. «Le» в её названии — это отсылка к нейросети LeNet 5, одной из первых свёрточных нейросетей, способствовавшей развитию идеи глубокого обучения с 1988 года.

Главным отличием архитектуры GoogLeNet от других свёрточных нейросетей (CNN) является использование дополнительного модуля начальной обработки данных — Inception. Он параллельно применяет свёртки с разными размерами ядра (1x1, 3x3, 5x5), а затем объединяет вектора признаков. Это позволяет эффективнее выделять локальные и глобальные признаки анализируемого изображения.

Несмотря на глубокую архитектуру сети, состоящую из 22 слоёв, количество используемых параметров GoogLeNet остаётся относительно небольшим. Это достигается благодаря использованию свёртки 1x1, которая по сути работает как линейный фильтр и уменьшает размерность следующего слоя. Поэтому GoogLeNet менее требовательна к объёму памяти видеокарты, чем AlexNet и другие архитектуры без модуля Inception.

За счёт своей сбалансированности GoogLeNet показывает высокую точность классификации на изображениях различного размера. В 2014-м году она победила в соревновании ImageNet. С тех пор на её основе разрабатываются более современные нейросети, также использующие глубокую свёрточную архитектуру и концепцию модуля Inception.

Что такое YOLO?

Разбираемся вместе с нашими экспертами из лаборатории больших данных.

YOLO (you only look once) — это архитектура детектора по распознаванию объектов в реальном времени. YOLO состоит из двух частей: encoder (свёрточные слои) и head (классификационный слой).

Энкодер выполняет роль первичной обработки изображений и извлечения признаков объектов. Обычно для этого используется Darknet или другая предобученная CNN.

Затем head принимает от энкодера признаки объектов и выполняет классификацию, после чего применяет пороговую фильтрацию и оставляет на выходе наиболее вероятные результаты.

Благодаря своей способности анализировать объекты одновременно на всём изображении, YOLO обеспечивает высокую скорость и точность распознавания объектов.

Также YOLO отличается хорошей обобщающей способностью. Он уверенно работает в различных условиях освещения и с разными типами камер (хотя и требует для этого большого количества обучающих данных, покрывающих различные условия). Это делает его востребованным в алгоритмах машинного зрения для роботов, дронов и автономного транспорта.

В микроблогах предлагают угадать по списку референсов, кто написал научную работу.

Список состоит из работ Юргена Шмидхубера — одного из самых цитируемых исследователей ИИ. На Google Scholar у него более 200 тыс. цитирований, индекс Хирша — 116.

Шмидхубер не стесняется своего статуса. Он даже хвастает им у себя на странице на сайте Института исследований искусственного интеллекта Далле Молле. Страница называется «Все самые цитируемые нейросети построены на работе, выполненной в моих лабораториях». В микроблоге Шмидхубер ещё более скромен: он говорит «нашей работе», а не «моей».

Вообще, преувеличить роль Шмидхубера сложно. Он мог бы побороться с Яном Гудфеллоу за право называть себя изобретателем генеративно-состязательных сетей.

Трансформеры — тоже развитие идей Юргена. 26 марта 1991 года он представил технику neural fast weight programmers. Аналог из наших дней — трансформеры с механизмом внутреннего внимания. Разве что ключ и значение в 1991 году назывались FROM и TO, соответственно. Как известно, термин «трансформеры» закрепился из работы 2017 года «Attention Is All You Need» Ашиша Васвани и других.

Впрочем, Юрген признаёт: это лишь демонстрирует ограниченность и самозацикленность англоязычного мира. На деле глубинное обучение зародилось в 1965 году в «Кибернетических предсказывающих устройствах» Алексея Ивахненко и Валентина Лапы академии наук УССР, считает Юрген.

Что касается документа со скриншота, это работа «One Big Net For Everything» 2018 года. Написал её тоже Шмидхубер.

Что такое "пирамида признаков"?

Рассказываем в рубрике #нейрословарь вместе с нашими экспертами из лаборатории больших данных.

Пирамида признаков (FPN, Feature Pyramid Net) — это вычислительная архитектура, используемая в машинном зрении для обработки изображений без привязки к их разрешению. Она позволяет обнаруживать объекты на изображениях различных размеров, масштабировать их и автоматически подстраиваться под меняющиеся условия.

Для анализа изображения FPN объединяет информацию из разных слоёв нейронной сети, после чего создаёт «пирамиду» — иерархическую структуру признаков. Если на изображении есть сравнительно большой объект, то FPN обрабатывает его на более высоком уровне пирамиды, а мелкую деталь — на более низком.

FPN широко используется во всех сферах, применяющих машинное зрение. Например, пирамида признаков используется для автоматического диагностирования рака груди по маммограммам и в системах помощи водителю для распознавания участников дорожного движения.

Основные конкурирующие архитектуры для FPN — U-Net и SegNet. Они менее требовательны к ресурсам, но работают только с изображениями фиксированного разрешения и распознают объекты определённого размера. FPN лишена этих ограничений, поэтому в условиях меняющегося окружения показывает более стабильные результаты.

Джарет Баркетт [Jarett Burkett] представил LoRA для Stable Diffusion XL, которая помогает генерировать картинки в стиле инструкций «ИКЕА».

К многим предметам нидерландской компании приложены инструкции по сборке, выполненные в характерном стиле. Для простоты локализации товаров транснациональной сети магазинов слова на буклете (кроме названия) отсутствуют, что только усиливает запоминаемость образов. Поэтому икеевские инструкции любят пародировать за простоту и узнаваемость графического языка.

К файлам проекта Ikea Instructions Баркетт приложил примеры работ. С этой LoRA он сгенерировал как людей, персонажей или предметы (хиппи, Барби с Кеном, гамбургер), так и процессы (сон).

Забавно, что модель с удовольствием вставляет в инструкцию шестигранник даже там, где он вряд ли нужен. В примерах он появляется в гардеробе Кена.

huggingface.co/ostris/ikea-instructions-lora-sdxl

Страница на Civitai

Bing Chat AI заблокировала генерацию картинок с Дрейком. Если упомянуть Drake в запросе на картинку, фильтр по стоп-слову выдаст предупреждение о невозможности генерации.

Встроенный в чат генератор картинок DALL-E 3 от OpenAI хорошо приспособлен выдавать любые образы по запросу пользователя. Этим незамедлительно воспользовались сетевые шутники. Канадский рэпер в их воображении ржёт как конь над детьми в снежных шарах, пилотирует Евангелион или просто (видимо, фантазия кончилась) руководит Третьим рейхом.

Вообще, у Microsoft хватает проблем с новым инструментом. Bing Chat AI с трудом пытается отфильтровать башни-близнецы Всемирного торгового центра в Нью-Йорке, на которые повадились запускать самолёты с Марио и Спанч Бобом за штурвалом.

Комбо, где атаки 11 сентября проводит Дрейк, тоже есть.

Секта водохлёбов добралась до искусственного интеллекта. Любители посчитать расход аш-два-о до этого с удовольствием приводили статистику, сколько ценного вещества нужно для выращивания, к примеру, говядины. Получается страшное: на килограмм стейка нужно более 15 тонн влаги — куда больше, чем для выращивания бобов сои или пшеницы. Предполагается, что затем такими числами нужно стыдить наглых любителей вкусить чужой плоти.

На деле речь идёт про осадки. Дождь и снег всё равно выпадут на лужайку, будет на ней пастись корова или нет. А вот выпас скота качество почвы лишь улучшит. (Про негативный эффект от засева огромных полей монокультурой говорить не принято вовсе.) Также внутри бурёнки не встроен портал в параллельное измерение, куда вода исчезает — всё потреблённое она рано или поздно отдаст обратно.

Некий микроблогер приводит график, согласно которому на обучение GPT-4 ушло в разы больше воды, чем потребляет в неделю аквапарк. Вывод простой: эдак скоро пить нечего будет.

Впрочем, к твиту приделали успокоительную пометку сообщества. Огромная корпорация Microsoft, которая хостит вычислительные мощности OpenAI, тратит на охлаждение своих многочисленных вычислительных центров лишь одну стотысячную процента потребления пресной воды США.

С само́й статистикой мало кто спорит: на обучение предыдущей версии GPT, GPT-3, ушло 700 тонн воды.

Как обычно, речь идёт про расход. Вода при этом уходит в почву или атмосферу, но не исчезает с планеты. Очевидно, что из цикла обмена воду не изымают.

Однажды наши эксперты из лаборатории больших данных вдруг заговорили о трансформерах (transformers). Оказалось, что это не только роботы, но и прогрессивное семейство архитектур нейросетей от Google. Оно появилось в 2017 году и совершило настоящую революцию во многих областях машинного обучения, особенно в обработке естественной речи (NLP).

Ключевые элементы трансформеров — это энкодер и декодер. Первый выполняет преобразование входных данных в векторы, а второй генерирует ответ после ряда операций с векторами.

Это может быть текстовый ответ чат-бота, или озвученный с помощью синтеза речи ответ голосового ассистента. Если ответ формируется на другом языке, то мы получаем систему машинного перевода, вроде Google Translate.

За исключением вычисления средневзвешенного значения, все операции в трансформерах выполняются над отдельными векторами входной последовательности. Поэтому трансформеры можно эффективнее распараллелить и быстрее обучить, чем используемые до их появления рекуррентные нейронные сети (RNN).

Напишите, какие ещё термины из сферы машинного обучения вам хотелось бы разобрать в нашей рубрике #нейрословарь.

Инженер стартапа Airchat Сигил Уэн портировал GPT-2 на Apple Watch Ultra 2. Большая языковая модель запускается локально, прямо на запястье, на всех 4 ядрах нейроускорителя Neural Engine системы в корпусе Apple S9.

Здесь тяжело отыскать практическую ценность. Нейросеть пытается продолжать промпт. Для видеоролика выбор пал на фразу «The meaning of life is», которую GPT-2 развивает в связный текст с законченной мыслью. Генерация идёт медленно: заметно, что на токен уходит больше секунды. По достижении отметки в 30 токенов приложение падает.

Как предполагает Уэн, кончается память — у Ultra 2 всего 1 ГиБ ОЗУ. Автор проекта считает, что такая демонстрация на умных часах доказывает, что в дальнейшем часть вычислений искусственного интеллекта станет граничными (on edge), то есть будет выполняться в пределах конечных устройств.

Разработчик поделился произведённым на своём аккаунте GitHub.

github.com/Sigil-Wen/WatchGPT2

Что такое многослойный перцептрон (MLP)? Рассказывают эксперты из лаборатории больших данных компании "Криптонит".

Многослойный перцептрон (MLP) — это одна из элементарных архитектур, с которой часто начинают освоение нейронных сетей и принципов их обучения. Обычно его сравнивают с такими типами моделей машинного обучения, как опорно-векторная машина и сети Кохонена. По сравнению с ними, MLP предоставляет более точные результаты, особенно в задачах классификации.

Для обучения MLP используется принцип обратного распространения ошибки. Одно из преимуществ MLP — способность обучаться на наборах данных любого размера.

В чистом виде MLP уже не используется для решения практических задач в области ML, но применяется в составе более сложных нейросетей.

Исторически MLP применялся для анализа самых разных типов данных — медицинских, финансовых, технических и других, позволяя прогнозировать состояние сложных систем. Кроме того, MLP даже использовали в ранних версиях таких приложений ИИ, как виртуальные помощники, сервисы распознавания рукописного текста и транскрибации речи.

Сейчас для каждого из этих направлений разработаны более продвинутые архитектуры, о которых мы расскажем в следующих выпусках нашей рубрики #нейрословарь.