Машинное обучение *

Секта водохлёбов добралась до искусственного интеллекта. Любители посчитать расход аш-два-о до этого с удовольствием приводили статистику, сколько ценного вещества нужно для выращивания, к примеру, говядины. Получается страшное: на килограмм стейка нужно более 15 тонн влаги — куда больше, чем для выращивания бобов сои или пшеницы. Предполагается, что затем такими числами нужно стыдить наглых любителей вкусить чужой плоти.

На деле речь идёт про осадки. Дождь и снег всё равно выпадут на лужайку, будет на ней пастись корова или нет. А вот выпас скота качество почвы лишь улучшит. (Про негативный эффект от засева огромных полей монокультурой говорить не принято вовсе.) Также внутри бурёнки не встроен портал в параллельное измерение, куда вода исчезает — всё потреблённое она рано или поздно отдаст обратно.

Некий микроблогер приводит график, согласно которому на обучение GPT-4 ушло в разы больше воды, чем потребляет в неделю аквапарк. Вывод простой: эдак скоро пить нечего будет.

Впрочем, к твиту приделали успокоительную пометку сообщества. Огромная корпорация Microsoft, которая хостит вычислительные мощности OpenAI, тратит на охлаждение своих многочисленных вычислительных центров лишь одну стотысячную процента потребления пресной воды США.

С само́й статистикой мало кто спорит: на обучение предыдущей версии GPT, GPT-3, ушло 700 тонн воды.

Как обычно, речь идёт про расход. Вода при этом уходит в почву или атмосферу, но не исчезает с планеты. Очевидно, что из цикла обмена воду не изымают.

Однажды наши эксперты из лаборатории больших данных вдруг заговорили о трансформерах (transformers). Оказалось, что это не только роботы, но и прогрессивное семейство архитектур нейросетей от Google. Оно появилось в 2017 году и совершило настоящую революцию во многих областях машинного обучения, особенно в обработке естественной речи (NLP).

Ключевые элементы трансформеров — это энкодер и декодер. Первый выполняет преобразование входных данных в векторы, а второй генерирует ответ после ряда операций с векторами.

Это может быть текстовый ответ чат-бота, или озвученный с помощью синтеза речи ответ голосового ассистента. Если ответ формируется на другом языке, то мы получаем систему машинного перевода, вроде Google Translate.

За исключением вычисления средневзвешенного значения, все операции в трансформерах выполняются над отдельными векторами входной последовательности. Поэтому трансформеры можно эффективнее распараллелить и быстрее обучить, чем используемые до их появления рекуррентные нейронные сети (RNN).

Напишите, какие ещё термины из сферы машинного обучения вам хотелось бы разобрать в нашей рубрике #нейрословарь.

Инженер стартапа Airchat Сигил Уэн портировал GPT-2 на Apple Watch Ultra 2. Большая языковая модель запускается локально, прямо на запястье, на всех 4 ядрах нейроускорителя Neural Engine системы в корпусе Apple S9.

Здесь тяжело отыскать практическую ценность. Нейросеть пытается продолжать промпт. Для видеоролика выбор пал на фразу «The meaning of life is», которую GPT-2 развивает в связный текст с законченной мыслью. Генерация идёт медленно: заметно, что на токен уходит больше секунды. По достижении отметки в 30 токенов приложение падает.

Как предполагает Уэн, кончается память — у Ultra 2 всего 1 ГиБ ОЗУ. Автор проекта считает, что такая демонстрация на умных часах доказывает, что в дальнейшем часть вычислений искусственного интеллекта станет граничными (on edge), то есть будет выполняться в пределах конечных устройств.

Разработчик поделился произведённым на своём аккаунте GitHub.

github.com/Sigil-Wen/WatchGPT2

Что такое многослойный перцептрон (MLP)? Рассказывают эксперты из лаборатории больших данных компании "Криптонит".

Многослойный перцептрон (MLP) — это одна из элементарных архитектур, с которой часто начинают освоение нейронных сетей и принципов их обучения. Обычно его сравнивают с такими типами моделей машинного обучения, как опорно-векторная машина и сети Кохонена. По сравнению с ними, MLP предоставляет более точные результаты, особенно в задачах классификации.

Для обучения MLP используется принцип обратного распространения ошибки. Одно из преимуществ MLP — способность обучаться на наборах данных любого размера.

В чистом виде MLP уже не используется для решения практических задач в области ML, но применяется в составе более сложных нейросетей.

Исторически MLP применялся для анализа самых разных типов данных — медицинских, финансовых, технических и других, позволяя прогнозировать состояние сложных систем. Кроме того, MLP даже использовали в ранних версиях таких приложений ИИ, как виртуальные помощники, сервисы распознавания рукописного текста и транскрибации речи.

Сейчас для каждого из этих направлений разработаны более продвинутые архитектуры, о которых мы расскажем в следующих выпусках нашей рубрики #нейрословарь.

Что вас ждет на Selectel Tech Day?

Через два дня пройдет масштабная конференция Selectel Tech Day 2023, посвященная IT-инфраструктуре для бизнеса. Ожидаете мероприятие так же, как и мы? Тогда самое время познакомиться со спикерами и темами их докладов. 

Присоединиться →

Железо и оборудование

Тренды рынка IT-инфраструктуры и секретная презентация новых продуктов Selectel

• Константин Ансимов, директор по продуктам Selectel

HW в 2023 году в условиях санкций: что нам доступно и что там в части performance 

• Кирилл Малеванов, технический директор Selectel

• Денис Божок, технический директор Ostrovok.ru

Облачные технологии

Любое 1С приложение в облаке — реальность или миф?

• Александр Тугов, директор по развитию услуг Selectel

ZeroTrust в Kubernetes: не пустые слова

• Дмитрий Евдокимов, Founder&CTO компании Luntry

Информационная безопасность 

Как отбиваться от атак: актуальные угрозы и способы защиты

• Антон Ведерников, руководитель отдела разработки и сопровождения сервисов ИБ Selectel

Security&Compliance как фича продукта, или как зарабатывать больше

• Андрей Давид, руководитель отдела продуктов клиентской безопасности Selectel.

Machine learning

Как ускорить выполнение ML-экспериментов в несколько раз?

• Ефим Головин, MLOps-инженер Selectel

Почему сложно сделать собственный ChatGPT?

• Антон Чунаев, менеджер ML-продуктов Selectel

Подробнее ознакомиться с программой и спикерами вы можете на сайте.

Магия самообучения или Self-Supervised Learning

#нейрословарь

В своих разработках «Криптонит» активно использует искусственные нейронные сети. Поэтому мы решили расшифровать связанные с этой сферой термины и их практический смысл. Все материалы из рубрики "Нейрословарь" подготовлены при помощи наших экспертов из лаборатории больших данных.

Self-Supervised Learning или магия самообучения. Способность нейросетей к самообучению выглядит фантастически, но на самом деле это всего лишь метод ML, основанный на избыточности данных. В отличие от классического подхода «обучение с учителем», здесь не требуются аннотированные человеком примеры (размеченные изображения, проверенные фрагменты текста и т.д.).

В парадигме self-supervised learning нейросеть учится на «сырых» (немаркированных) данных. Она сама расставляет метки при первом прогоне обучающей выборки, а затем использует их на следующих этапах обучения. Обычно для достижения сравнимого результата при самообучении требуется в разы больше данных, поэтому метод неприменим для автоматической классификации редких событий. Зато он удобен в тех случаях, когда можно дать ИИ массу однотипных примеров.

Иногда словосочетание self-supervised learning сокращается до SSL, но из контекста обычно понятно, когда речь идёт о самообучении, а когда о Secure Sockets Layer. Впрочем, ИИ уже применяют для анализа трафика, поэтому фраза «SSL для SSL» тоже не лишена смысла.

PS: Какие еще термины из сферы ИИ нам еще раскрыть? Пишите в комментариях!

Что изменилось на рынке IT-инфраструктуры в 2023 году? 

Уже в следующий четверг, 21 сентября, мы соберемся на Selectel Tech Day 2023 — масштабной конференции про IT-инфраструктуру для бизнеса. Расскажем о новинках серверного рынка, поделимся опытом коллег из Ostrovok.ru, X5 Group, ПИК и Luntry. А также эксклюзивно анонсируем обновления в наших продуктах. 

Кому не нужен Kubernetes? Как подобрать инфраструктуру под ML-проекты? Какое аппаратное оборудование доступно на рынке и насколько оно вам подойдет? Выбирайте из 17 докладов на актуальные темы и подключайтесь к онлайн-трансляции.

Зарегистрироваться →

Сегодня в 18:00 — трансляция митапа по ML & AI с докладами от Neoflex, Контур AI, Selectel и Русагро

Включайте уведомление на YouTube, чтобы не пропустить начало.

Доклады

• Определение дрифта данных и дрифта моделей на MLOps-платформе Neoflex Dognauts

• Хостинг сотни моделей машинного обучения в Контуре: существующее решение и путь к нему, а также актуальные и решенные проблемы

• Стек технологий и инфраструктурная база для пилотных проектов внедрения LLM

• Оптимизация работы видеоаналитических сервисов в животноводстве с помощью Prefect

Заполняйте форму регистрации, чтобы задать вопрос спикерам.

Стартап Milo представил камеру с искусственным интеллектом, определяющую, что в бассейне кто-то тонет.

Камера состоит из двух модулей, устанавливаемых под и над водой. Камеры постоянно сканируют позы купающихся и сравнивает их с паттернами тонущих (пишут, что определение работает в т.ч. и на животных).

Как только камере кажется, что кто-то вот-вот захлебнется или получил травму, то она тут же выдает сообщение на телефон и включает громкое уведомление на специальном “маяке”, который можно поставить в доме.

Стоит такая радость $1500, причем основная ценность тут не в аппаратуре, а в обученном алгоритме.

Об авторе: более 10 лет пишу о промышленном дизайне и технологиях, влияющих на повседневность. Наиболее интересное публикую в канале “интересно ПРОм дизайн”.

Сколько раз звонить, чтобы дозвониться. Наша странная реальность и теория вероятности. Является ли попытка дозвониться аналогом подбрасывания монеты

Бывают ситуации когда надо дозвониться до какой-то организации или человека, но телефон адресата то занят, то не отвечает, то вне зоны доступа и т.д. Мне попались любопытные данные внутренней статистики от одного из провинциальных операторов связи. Получается оптимальное количество попыток 4..7, а больше 15 раз делать попыток дозвониться теряет смысл, вероятность дозвона сильно уменьшается. И всё-таки это не подбрасывание монетки.

Mozilla обновила наборы голосовых данных Common Voice, включающие примеры произношения более 200 тыс. человек. Данные опубликованы как общественное достояние (CC0). Предложенные наборы можно использовать в системах машинного обучения для построения моделей распознавания и синтеза речи. По сравнению с прошлым обновлением объём речевого материала в коллекции увеличился с 27.1 до 28.1 тысяч часов речи, из которых 18.6 тысяч часов прошли процедуру проверки. Число поддерживаемых языков увеличилось со 108 до 112 (добавлены пушту, албанский, амхарский и стандартный марокканский берберский языки).

В подготовке материалов на английском языке приняли участие 88 тыс. человек, надиктовавших 3279 часов речи. Набор для русского языка охватывает 3001 участника и 263 часа.

Проект Common Voice нацелен на организацию совместной работы по накоплению базы голосовых шаблонов, учитывающей всё разнообразие голосов и манер речи. Пользователям предлагается озвучить выводимые на экран фразы или оценить качество данных, добавленных другими пользователями. Накопленную базу данных c записями различного произношения типовых фраз человеческой речи без ограничений можно использовать в системах машинного обучения и в исследовательских проектах.

Источник: OpenNET.

Давно у меня вызревает план написания своего личного AI ассистента, но отсутствие возможности качественно распознавать речь локально вынуждало отложить реализацию.

Сейчас Whisper ai побуждает таки взяться за это дело. Теперь надо решить с Intent Recognition (Classification). Этот вопрос раньше тоже не добавлял вдохновения, так как были сомнения по поводу простоты подготовки тренировочных данных для обучения. Но с chatGPT это уже вообще больше не вопрос (примеры)! И вот это уже реально мотивирует.

А теперь вопрос. Что лучше взять для этих целей в 2023-м году? DeepPavlov? Rasa NLU? Или что-то на базе BERT-а?

Вы знали что:

• Машинное обучение

• Нейронные сети

• Deep learning

Называется искусственным интеллектом?

То есть поисковик гугл или yandex translate тоже искусственный интеллект.

Если у вашего драйвера Nvidia CUDA 12.1 не переживайте! Смело ставьте PyTorch под 11.8. Только ни в коем случае не через conda, а через Pip. У меня на получение знания ушла 1 ubuntu 18.04(RIP) и 2 дня.