Машинное обучение *

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_2

?Вопрос_2: Объясните, что такое One-hot encoding и Label Encoding. Как они влияют на размерность заданного набора данных ?

✔️Ответ:

One-hot encoding - это представление категориальных переменных в виде двоичных векторов, при котором каждая уникальная категория переменной преобразуется в новый бинарный столбец, называемый "фиктивной переменной". В этом новом столбце значение 1 указывает на принадлежность к соответствующей категории, а значение 0 - на принадлежность к другим категориям. Таким образом, каждая уникальная категория представлена отдельным столбцом. Это позволяет алгоритмам машинного обучения интерпретировать категориальные значения и использовать их в расчетах. Не создает ложного упорядочения или отношения между значениями категориальных переменных и помогает избежать проблемы ложной корреляции между категориями переменных. Однако, использование one-hot encoding увеличивает размерность набора данных ("проклятие размерности").

Label Encoding - это процесс преобразования каждого значения категориальной переменной в целочисленный код. Каждой уникальной категории присваивается уникальное число. Label Encoding не добавляет новые столбцы к набору данных и не увеличивает размерность. Однако, важно понимать, что числовые значения, присвоенные категориям, могут создать ложное упорядочение или отношение между ними. 

#work #coding #testing #optimization #ml #learning

Телеграмм: https://t.me/DenoiseLAB

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_1

?Вопрос_1: Чем ковариация и корреляция отличаются друг от друга?

✔️Ответ:

Ковариация и корреляция - это два статистических показателя, которые используются для определения связи между двумя случайными величинами.

Ковариация измеряет степень, в которой две переменные меняются вместе, тогда как корреляция измеряет не только степень, но и направление отношения между двумя переменными.

Ковариация подразумевает, что две величины меняются в одном направлении: если одна увеличивается, то вторая тоже увеличивается, или если одна уменьшается, то другая тоже уменьшается. Однако, ковариация не учитывает, насколько сильно или слабо эти переменные меняются.

Корреляция, с другой стороны, учитывает не только направление, но и силу отношения между двумя переменными. Коэффициент корреляции может принимать значения от -1 до 1. Значение +1 для корреляции означает, что две переменные имеют прямую связь и полностью коррелируют. Значение -1 для корреляции означает, что две переменные находятся в обратной пропорциональной связи. Значение 0 для корреляции означает, что между двумя переменными нет связи.

#work #coding #testing #optimization #ml #learning

Телеграмм: https://t.me/DenoiseLAB

Компания Jina открыла под лицензией Apache 2.0 модель машинного обучения для векторного представления текста — jina‑embeddings‑v2. Модель позволяет преобразовать произвольный текст, включающий до 8192 знаков, в небольшую последовательность вещественных чисел, образующих вектор, сопоставленный с исходным текстом и воспроизводящий его семантику (смысл). Jina Embedding стала первой открытой моделью машинного обучения, обладающей характеристиками, не уступающими проприетарной модели векторизации текста от проекта OpenAI (text‑embedding‑ada-002), также способной обрабатывать тексты, насчитывающие до 8192 токенов.

Для загрузки доступны два варианта модели jina-embeddings (базовая на 270 МБ и сокращённая размером 70 МБ), обученные на 400 млн пар текстовых последовательностей на английском языке, охватывающих различные области знаний. При обучении использовались последовательности размером 512 токенов, которые были экстраполированы до размера 8192 при помощи метода ALiBi (Attention with Linear Biases). В ближайшее время также планируют опубликовать крупную модель, которая будет охватывать 435 млн параметров.

Базовая модель включает в себя 137 млн параметров и рассчитана на использование на стационарных системах с GPU. Сокращённая модель включает 33 млн. параметров, обеспечивает меньшую точность и нацелена на применение на мобильных устройствах и на системах с небольшим объёмом памяти.

Источник: OpenNET.

Что такое GoogLeNet?

Рассказывают наши эксперты из лаборатории больших данных.

GoogLeNet — глубокая свёрточная нейросеть, разработанная командой исследователей из Google в 2014 году для классификации изображений. «Le» в её названии — это отсылка к нейросети LeNet 5, одной из первых свёрточных нейросетей, способствовавшей развитию идеи глубокого обучения с 1988 года.

Главным отличием архитектуры GoogLeNet от других свёрточных нейросетей (CNN) является использование дополнительного модуля начальной обработки данных — Inception. Он параллельно применяет свёртки с разными размерами ядра (1x1, 3x3, 5x5), а затем объединяет вектора признаков. Это позволяет эффективнее выделять локальные и глобальные признаки анализируемого изображения.

Несмотря на глубокую архитектуру сети, состоящую из 22 слоёв, количество используемых параметров GoogLeNet остаётся относительно небольшим. Это достигается благодаря использованию свёртки 1x1, которая по сути работает как линейный фильтр и уменьшает размерность следующего слоя. Поэтому GoogLeNet менее требовательна к объёму памяти видеокарты, чем AlexNet и другие архитектуры без модуля Inception.

За счёт своей сбалансированности GoogLeNet показывает высокую точность классификации на изображениях различного размера. В 2014-м году она победила в соревновании ImageNet. С тех пор на её основе разрабатываются более современные нейросети, также использующие глубокую свёрточную архитектуру и концепцию модуля Inception.

Что такое YOLO?

Разбираемся вместе с нашими экспертами из лаборатории больших данных.

YOLO (you only look once) — это архитектура детектора по распознаванию объектов в реальном времени. YOLO состоит из двух частей: encoder (свёрточные слои) и head (классификационный слой).

Энкодер выполняет роль первичной обработки изображений и извлечения признаков объектов. Обычно для этого используется Darknet или другая предобученная CNN.

Затем head принимает от энкодера признаки объектов и выполняет классификацию, после чего применяет пороговую фильтрацию и оставляет на выходе наиболее вероятные результаты.

Благодаря своей способности анализировать объекты одновременно на всём изображении, YOLO обеспечивает высокую скорость и точность распознавания объектов.

Также YOLO отличается хорошей обобщающей способностью. Он уверенно работает в различных условиях освещения и с разными типами камер (хотя и требует для этого большого количества обучающих данных, покрывающих различные условия). Это делает его востребованным в алгоритмах машинного зрения для роботов, дронов и автономного транспорта.

В микроблогах предлагают угадать по списку референсов, кто написал научную работу.

Список состоит из работ Юргена Шмидхубера — одного из самых цитируемых исследователей ИИ. На Google Scholar у него более 200 тыс. цитирований, индекс Хирша — 116.

Шмидхубер не стесняется своего статуса. Он даже хвастает им у себя на странице на сайте Института исследований искусственного интеллекта Далле Молле. Страница называется «Все самые цитируемые нейросети построены на работе, выполненной в моих лабораториях». В микроблоге Шмидхубер ещё более скромен: он говорит «нашей работе», а не «моей».

Вообще, преувеличить роль Шмидхубера сложно. Он мог бы побороться с Яном Гудфеллоу за право называть себя изобретателем генеративно-состязательных сетей.

Трансформеры — тоже развитие идей Юргена. 26 марта 1991 года он представил технику neural fast weight programmers. Аналог из наших дней — трансформеры с механизмом внутреннего внимания. Разве что ключ и значение в 1991 году назывались FROM и TO, соответственно. Как известно, термин «трансформеры» закрепился из работы 2017 года «Attention Is All You Need» Ашиша Васвани и других.

Впрочем, Юрген признаёт: это лишь демонстрирует ограниченность и самозацикленность англоязычного мира. На деле глубинное обучение зародилось в 1965 году в «Кибернетических предсказывающих устройствах» Алексея Ивахненко и Валентина Лапы академии наук УССР, считает Юрген.

Что касается документа со скриншота, это работа «One Big Net For Everything» 2018 года. Написал её тоже Шмидхубер.

Что такое "пирамида признаков"?

Рассказываем в рубрике #нейрословарь вместе с нашими экспертами из лаборатории больших данных.

Пирамида признаков (FPN, Feature Pyramid Net) — это вычислительная архитектура, используемая в машинном зрении для обработки изображений без привязки к их разрешению. Она позволяет обнаруживать объекты на изображениях различных размеров, масштабировать их и автоматически подстраиваться под меняющиеся условия.

Для анализа изображения FPN объединяет информацию из разных слоёв нейронной сети, после чего создаёт «пирамиду» — иерархическую структуру признаков. Если на изображении есть сравнительно большой объект, то FPN обрабатывает его на более высоком уровне пирамиды, а мелкую деталь — на более низком.

FPN широко используется во всех сферах, применяющих машинное зрение. Например, пирамида признаков используется для автоматического диагностирования рака груди по маммограммам и в системах помощи водителю для распознавания участников дорожного движения.

Основные конкурирующие архитектуры для FPN — U-Net и SegNet. Они менее требовательны к ресурсам, но работают только с изображениями фиксированного разрешения и распознают объекты определённого размера. FPN лишена этих ограничений, поэтому в условиях меняющегося окружения показывает более стабильные результаты.

Джарет Баркетт [Jarett Burkett] представил LoRA для Stable Diffusion XL, которая помогает генерировать картинки в стиле инструкций «ИКЕА».

К многим предметам нидерландской компании приложены инструкции по сборке, выполненные в характерном стиле. Для простоты локализации товаров транснациональной сети магазинов слова на буклете (кроме названия) отсутствуют, что только усиливает запоминаемость образов. Поэтому икеевские инструкции любят пародировать за простоту и узнаваемость графического языка.

К файлам проекта Ikea Instructions Баркетт приложил примеры работ. С этой LoRA он сгенерировал как людей, персонажей или предметы (хиппи, Барби с Кеном, гамбургер), так и процессы (сон).

Забавно, что модель с удовольствием вставляет в инструкцию шестигранник даже там, где он вряд ли нужен. В примерах он появляется в гардеробе Кена.

huggingface.co/ostris/ikea-instructions-lora-sdxl

Страница на Civitai

Bing Chat AI заблокировала генерацию картинок с Дрейком. Если упомянуть Drake в запросе на картинку, фильтр по стоп-слову выдаст предупреждение о невозможности генерации.

Встроенный в чат генератор картинок DALL-E 3 от OpenAI хорошо приспособлен выдавать любые образы по запросу пользователя. Этим незамедлительно воспользовались сетевые шутники. Канадский рэпер в их воображении ржёт как конь над детьми в снежных шарах, пилотирует Евангелион или просто (видимо, фантазия кончилась) руководит Третьим рейхом.

Вообще, у Microsoft хватает проблем с новым инструментом. Bing Chat AI с трудом пытается отфильтровать башни-близнецы Всемирного торгового центра в Нью-Йорке, на которые повадились запускать самолёты с Марио и Спанч Бобом за штурвалом.

Комбо, где атаки 11 сентября проводит Дрейк, тоже есть.

Секта водохлёбов добралась до искусственного интеллекта. Любители посчитать расход аш-два-о до этого с удовольствием приводили статистику, сколько ценного вещества нужно для выращивания, к примеру, говядины. Получается страшное: на килограмм стейка нужно более 15 тонн влаги — куда больше, чем для выращивания бобов сои или пшеницы. Предполагается, что затем такими числами нужно стыдить наглых любителей вкусить чужой плоти.

На деле речь идёт про осадки. Дождь и снег всё равно выпадут на лужайку, будет на ней пастись корова или нет. А вот выпас скота качество почвы лишь улучшит. (Про негативный эффект от засева огромных полей монокультурой говорить не принято вовсе.) Также внутри бурёнки не встроен портал в параллельное измерение, куда вода исчезает — всё потреблённое она рано или поздно отдаст обратно.

Некий микроблогер приводит график, согласно которому на обучение GPT-4 ушло в разы больше воды, чем потребляет в неделю аквапарк. Вывод простой: эдак скоро пить нечего будет.

Впрочем, к твиту приделали успокоительную пометку сообщества. Огромная корпорация Microsoft, которая хостит вычислительные мощности OpenAI, тратит на охлаждение своих многочисленных вычислительных центров лишь одну стотысячную процента потребления пресной воды США.

С само́й статистикой мало кто спорит: на обучение предыдущей версии GPT, GPT-3, ушло 700 тонн воды.

Как обычно, речь идёт про расход. Вода при этом уходит в почву или атмосферу, но не исчезает с планеты. Очевидно, что из цикла обмена воду не изымают.

Однажды наши эксперты из лаборатории больших данных вдруг заговорили о трансформерах (transformers). Оказалось, что это не только роботы, но и прогрессивное семейство архитектур нейросетей от Google. Оно появилось в 2017 году и совершило настоящую революцию во многих областях машинного обучения, особенно в обработке естественной речи (NLP).

Ключевые элементы трансформеров — это энкодер и декодер. Первый выполняет преобразование входных данных в векторы, а второй генерирует ответ после ряда операций с векторами.

Это может быть текстовый ответ чат-бота, или озвученный с помощью синтеза речи ответ голосового ассистента. Если ответ формируется на другом языке, то мы получаем систему машинного перевода, вроде Google Translate.

За исключением вычисления средневзвешенного значения, все операции в трансформерах выполняются над отдельными векторами входной последовательности. Поэтому трансформеры можно эффективнее распараллелить и быстрее обучить, чем используемые до их появления рекуррентные нейронные сети (RNN).

Напишите, какие ещё термины из сферы машинного обучения вам хотелось бы разобрать в нашей рубрике #нейрословарь.

Инженер стартапа Airchat Сигил Уэн портировал GPT-2 на Apple Watch Ultra 2. Большая языковая модель запускается локально, прямо на запястье, на всех 4 ядрах нейроускорителя Neural Engine системы в корпусе Apple S9.

Здесь тяжело отыскать практическую ценность. Нейросеть пытается продолжать промпт. Для видеоролика выбор пал на фразу «The meaning of life is», которую GPT-2 развивает в связный текст с законченной мыслью. Генерация идёт медленно: заметно, что на токен уходит больше секунды. По достижении отметки в 30 токенов приложение падает.

Как предполагает Уэн, кончается память — у Ultra 2 всего 1 ГиБ ОЗУ. Автор проекта считает, что такая демонстрация на умных часах доказывает, что в дальнейшем часть вычислений искусственного интеллекта станет граничными (on edge), то есть будет выполняться в пределах конечных устройств.

Разработчик поделился произведённым на своём аккаунте GitHub.

github.com/Sigil-Wen/WatchGPT2

Что такое многослойный перцептрон (MLP)? Рассказывают эксперты из лаборатории больших данных компании "Криптонит".

Многослойный перцептрон (MLP) — это одна из элементарных архитектур, с которой часто начинают освоение нейронных сетей и принципов их обучения. Обычно его сравнивают с такими типами моделей машинного обучения, как опорно-векторная машина и сети Кохонена. По сравнению с ними, MLP предоставляет более точные результаты, особенно в задачах классификации.

Для обучения MLP используется принцип обратного распространения ошибки. Одно из преимуществ MLP — способность обучаться на наборах данных любого размера.

В чистом виде MLP уже не используется для решения практических задач в области ML, но применяется в составе более сложных нейросетей.

Исторически MLP применялся для анализа самых разных типов данных — медицинских, финансовых, технических и других, позволяя прогнозировать состояние сложных систем. Кроме того, MLP даже использовали в ранних версиях таких приложений ИИ, как виртуальные помощники, сервисы распознавания рукописного текста и транскрибации речи.

Сейчас для каждого из этих направлений разработаны более продвинутые архитектуры, о которых мы расскажем в следующих выпусках нашей рубрики #нейрословарь.

Что вас ждет на Selectel Tech Day?

Через два дня пройдет масштабная конференция Selectel Tech Day 2023, посвященная IT-инфраструктуре для бизнеса. Ожидаете мероприятие так же, как и мы? Тогда самое время познакомиться со спикерами и темами их докладов. 

Присоединиться →

Железо и оборудование

Тренды рынка IT-инфраструктуры и секретная презентация новых продуктов Selectel

• Константин Ансимов, директор по продуктам Selectel

HW в 2023 году в условиях санкций: что нам доступно и что там в части performance 

• Кирилл Малеванов, технический директор Selectel

• Денис Божок, технический директор Ostrovok.ru

Облачные технологии

Любое 1С приложение в облаке — реальность или миф?

• Александр Тугов, директор по развитию услуг Selectel

ZeroTrust в Kubernetes: не пустые слова

• Дмитрий Евдокимов, Founder&CTO компании Luntry

Информационная безопасность 

Как отбиваться от атак: актуальные угрозы и способы защиты

• Антон Ведерников, руководитель отдела разработки и сопровождения сервисов ИБ Selectel

Security&Compliance как фича продукта, или как зарабатывать больше

• Андрей Давид, руководитель отдела продуктов клиентской безопасности Selectel.

Machine learning

Как ускорить выполнение ML-экспериментов в несколько раз?

• Ефим Головин, MLOps-инженер Selectel

Почему сложно сделать собственный ChatGPT?

• Антон Чунаев, менеджер ML-продуктов Selectel

Подробнее ознакомиться с программой и спикерами вы можете на сайте.

Магия самообучения или Self-Supervised Learning

#нейрословарь

В своих разработках «Криптонит» активно использует искусственные нейронные сети. Поэтому мы решили расшифровать связанные с этой сферой термины и их практический смысл. Все материалы из рубрики "Нейрословарь" подготовлены при помощи наших экспертов из лаборатории больших данных.

Self-Supervised Learning или магия самообучения. Способность нейросетей к самообучению выглядит фантастически, но на самом деле это всего лишь метод ML, основанный на избыточности данных. В отличие от классического подхода «обучение с учителем», здесь не требуются аннотированные человеком примеры (размеченные изображения, проверенные фрагменты текста и т.д.).

В парадигме self-supervised learning нейросеть учится на «сырых» (немаркированных) данных. Она сама расставляет метки при первом прогоне обучающей выборки, а затем использует их на следующих этапах обучения. Обычно для достижения сравнимого результата при самообучении требуется в разы больше данных, поэтому метод неприменим для автоматической классификации редких событий. Зато он удобен в тех случаях, когда можно дать ИИ массу однотипных примеров.

Иногда словосочетание self-supervised learning сокращается до SSL, но из контекста обычно понятно, когда речь идёт о самообучении, а когда о Secure Sockets Layer. Впрочем, ИИ уже применяют для анализа трафика, поэтому фраза «SSL для SSL» тоже не лишена смысла.

PS: Какие еще термины из сферы ИИ нам еще раскрыть? Пишите в комментариях!

Что изменилось на рынке IT-инфраструктуры в 2023 году? 

Уже в следующий четверг, 21 сентября, мы соберемся на Selectel Tech Day 2023 — масштабной конференции про IT-инфраструктуру для бизнеса. Расскажем о новинках серверного рынка, поделимся опытом коллег из Ostrovok.ru, X5 Group, ПИК и Luntry. А также эксклюзивно анонсируем обновления в наших продуктах. 

Кому не нужен Kubernetes? Как подобрать инфраструктуру под ML-проекты? Какое аппаратное оборудование доступно на рынке и насколько оно вам подойдет? Выбирайте из 17 докладов на актуальные темы и подключайтесь к онлайн-трансляции.

Зарегистрироваться →

Сегодня в 18:00 — трансляция митапа по ML & AI с докладами от Neoflex, Контур AI, Selectel и Русагро

Включайте уведомление на YouTube, чтобы не пропустить начало.

Доклады

• Определение дрифта данных и дрифта моделей на MLOps-платформе Neoflex Dognauts

• Хостинг сотни моделей машинного обучения в Контуре: существующее решение и путь к нему, а также актуальные и решенные проблемы

• Стек технологий и инфраструктурная база для пилотных проектов внедрения LLM

• Оптимизация работы видеоаналитических сервисов в животноводстве с помощью Prefect

Заполняйте форму регистрации, чтобы задать вопрос спикерам.

Стартап Milo представил камеру с искусственным интеллектом, определяющую, что в бассейне кто-то тонет.

Камера состоит из двух модулей, устанавливаемых под и над водой. Камеры постоянно сканируют позы купающихся и сравнивает их с паттернами тонущих (пишут, что определение работает в т.ч. и на животных).

Как только камере кажется, что кто-то вот-вот захлебнется или получил травму, то она тут же выдает сообщение на телефон и включает громкое уведомление на специальном “маяке”, который можно поставить в доме.

Стоит такая радость $1500, причем основная ценность тут не в аппаратуре, а в обученном алгоритме.

Об авторе: более 10 лет пишу о промышленном дизайне и технологиях, влияющих на повседневность. Наиболее интересное публикую в канале “интересно ПРОм дизайн”.

Сколько раз звонить, чтобы дозвониться. Наша странная реальность и теория вероятности. Является ли попытка дозвониться аналогом подбрасывания монеты

Бывают ситуации когда надо дозвониться до какой-то организации или человека, но телефон адресата то занят, то не отвечает, то вне зоны доступа и т.д. Мне попались любопытные данные внутренней статистики от одного из провинциальных операторов связи. Получается оптимальное количество попыток 4..7, а больше 15 раз делать попыток дозвониться теряет смысл, вероятность дозвона сильно уменьшается. И всё-таки это не подбрасывание монетки.

Mozilla обновила наборы голосовых данных Common Voice, включающие примеры произношения более 200 тыс. человек. Данные опубликованы как общественное достояние (CC0). Предложенные наборы можно использовать в системах машинного обучения для построения моделей распознавания и синтеза речи. По сравнению с прошлым обновлением объём речевого материала в коллекции увеличился с 27.1 до 28.1 тысяч часов речи, из которых 18.6 тысяч часов прошли процедуру проверки. Число поддерживаемых языков увеличилось со 108 до 112 (добавлены пушту, албанский, амхарский и стандартный марокканский берберский языки).

В подготовке материалов на английском языке приняли участие 88 тыс. человек, надиктовавших 3279 часов речи. Набор для русского языка охватывает 3001 участника и 263 часа.

Проект Common Voice нацелен на организацию совместной работы по накоплению базы голосовых шаблонов, учитывающей всё разнообразие голосов и манер речи. Пользователям предлагается озвучить выводимые на экран фразы или оценить качество данных, добавленных другими пользователями. Накопленную базу данных c записями различного произношения типовых фраз человеческой речи без ограничений можно использовать в системах машинного обучения и в исследовательских проектах.

Источник: OpenNET.