Искусственный интеллект

Под конец работы над моей последней сентябрьской публикацией «Неизбежность, незаменимость и туманные перспективы пилотируемой космонавтики» я даже полагал, что она может получиться упаднической. Тем не менее, активное обсуждение (83 комментария) явно приглашает к продолжению этой темы, куда более футуристичному и тревожному. Дело в том, что организованное освоение ближайшего космоса при помощи умных зондов предполагает огромную избыточность в количестве этих зондов. Например, при потенциальных поисках первичной чёрной дыры на задворках Солнечной системы многие зонды придётся просто швырять в пустоту, чтобы «нащупать» интересующий нас объект. Очевидно, чтобы живучесть таких автономных зондов была чуть выше проектной, они должны каким‑то образом самозалечиваться (самозалечивающаяся электроника уже существует), а также реплицировать себя в потенциально неограниченных количествах. Здесь мы подходим к теме полноценных зондов фон Неймана и пресловутой «серой слизи».

Корпорация IBM на днях опубликовала данные о новом процессоре, который предназначен для ИИ-вычислений. По словам представителей компании, чип разрабатывали в исследовательской лаборатории IBM в течение 8 лет. Базируется новинка на ряде идей предыдущей модели чипа, TrueNorth, будучи при этом в 4 000 раз быстрее предшественника. Подробности — под катом.

Облако предлагает много возможностей для развития ИИ. С помощью облачных вычислений проще масштабировать ML-модели, повышать точность обучения и предоставлять данные удаленно пользователям. Однако масштабное развертывание ML-моделей требует понимания архитектуры нейронных сетей. 

Один из важнейших инструментов машинного обучения — трансформеры. Популярность трансформеров взлетела до небес в связи с появлением больших языковых моделей вроде ChatGPT, GPT-4 и LLama. Эти модели созданы на основе трансформерной архитектуры и демонстрируют отличную производительность в понимании и синтезе естественных языков. 

Хотя в сети уже есть хорошие статьи, в которых разобран принцип действия трансформеров, большинство материалов изобилует запутанными терминами. Мы подготовили перевод статьи, в которой без кода и сложной математики объясняют современную трансформерную архитектуру.

С тех пор, как год назад вышел ChatGPT, индустрия генерации цифрового контента находится в суматохе. Всех постепенно начинает вытеснять ИИ. Ряд художников, авторов, исполнителей, и даже звукозаписывающие компании подали многочисленные иски против компаний, занимающихся искусственным интеллектом, в основном против OpenAI. Все они касаются одного: обучающих данных. Компании ходят по всему интернету и собирают миллиарды фрагментов текста/звука, а также миллионы изображений в дата-сеты для тренировки своих моделей ИИ. Естественно, авторам или владельцам контента за это никто не платит, и их даже вообще никак не нотифицируют. Развитие технологии превыше всего.

Чтобы пресечь такой сбор данных, Reddit и X этим летом запретили доступ к своим API сторонним приложениям. Но обычные дизайнеры и цифровые художники не имели никакой возможности противостоять использованию их работ для обучения новых коммерческих ИИ. Теперь в их руках появляется более радикальный инструмент: система Nightshade. Которая отравляет любое изображение, которое ИИ просканировал без твоего разрешения.

Везувий — вулкан, который одновременно является и благом, и несчастьем для территории, на которой находится. Благом — потому, что извержения, которые произошли сотни и тысячи лет назад, приводят к появлению плодородного слоя почв. Соответственно, человек, поселившись рядом с вулканом, получает возможность снимать более богатые урожаи, чем те, кто живёт где-то далеко. Несчастьем — потому, что вулканы время от времени извергаются. И проблема не столько в лаве (хотя и в ней тоже), сколько в пирокластическом потоке и огромном количестве вулканического пепла, погребающего тысячи квадратных километров территории.

Из-за извержения Везувия, например, был надолго забыт город Геркуланум, который позже обнаружили археологи, а в одной из вилл, расположенных в этом городе, нашли богатую библиотеку со множеством свитков, бесценным наследием античных учёных, философов и ораторов. Прочитать большинство из них не представлялось возможным, но технологии, совершенствуясь, открывают новые горизонты в расшифровке забытых текстов. Подробности — под катом.

Все мы видели много статей, где с помощью AI-инструментов за минуты выполняется работа, на которую раньше мог легко уйти день. Особенно впечатляют примеры, где работа (успешно) идет вне зоны компетенции человека (т.е. когда AI позволяет делать то, что человек в принципе один сделать не мог бы). Но сегодня у меня получился несколько другой случай:

У нас в гостях специалист с 15-летним опытом в Machine Learning который совмещает пару высокоуровневых должностей в разных компаниях — Head of ML в Cherry Labs и CTO в Rembrain. За полтора часа мы обсудили: позабытые ML-фреймворки и перспективы Reinforcement Learning, выяснили, какие платы с NPU лучше подходят для pet-project и зачем норвежцам роборуки.

Обращаясь к мастерам научной фантастики, всё чаще удивляешься их проницательности. В рассказе Артура Кларка «Девять миллиардов имён Бога» компьютер воплотил пророчество тибетских монахов о наступлении конца света, а в повести Ника Горькавого «Астровитянка» ИИ был единственным другом маленькой девочки в течение десятка лет и помог ей выжить на чужой планете. Многие люди, включая специалистов, верят как в позитивный, так и в негативный путь развития искусственного интеллекта. К счастью, подобные системы являются лишь инструментом, который можно использовать себе во благо, или оставаться в стороне от этого. Уверен, что в течение нескольких лет ажиотаж вокруг нейросетей постепенно спадёт до такой степени, что мы будем относиться к ним как к ещё одному подарку технического прогресса.

А пока мы с вами находимся в настоящем и предвкушаем наступление новой технологической эры, предлагаю разобраться в основах машинного обучения и познакомиться с новой версией GigaChat'а. В ней нам удалось добиться качественного прорыва, обойти аналогичные по размеру языковые модели, а также расширить максимальную длину входного запроса модели и проделать множество других улучшений. Но обо всём по порядку.

Сначала освежим в памяти, что такое языковые модели и как они развивались до сегодняшних дней.

За пределами всем известного GitHub Copilot лежит огромный мир полезных приложений для программистов, и каждую неделю в нем появляется что-нибудь новенькое. В этом посте мы расскажем об этих инструментах — как полноценных конкурентах продукта GitHub, так и более специфических плагинах, а также о нашей собственной разработке в этом направлении.

Остановка производства сериалов и фильмов, перенос премьер, отмена анонсированных проектов… Нет, это не закат Голливуда, речь идет о второй крупнейшей забастовке «WGA». Она стала ответной реакцией на жадность в край обнаглевших корпоратов из стриминг-сервисов, которые не захотели договориться на берегу. Каждые три года «AMPTP» («Альянс продюсеров кино и телевидения»), куда входят «Netflix» и другие, заключает с «WGA» («Гильдия сценаристов США») новый контракт. В нем приходят к согласию в таких вещах, как минимальная оплата труда для различных проектов, медицинское страхование, пенсионные отчисления, роялти и так далее. Проще говоря, это главный документ, регулирующий отношения между сценаристами и Голливудом.

«Альянс» встал в позу по причине внесенных «Гильдией» новых положений контракта, за каждым из которых скрывается целый ворох проблем. Но можно выделить четыре основных требования: авторские отчисления за фильмы и сериалы на стримингах, повышение минимальной ставки, борьба со сценарными «мини-комнатами» и ограничение использования нейросетей. Чтобы лучше понять ситуацию, стоит рассмотреть все по отдельности и разобраться в некоторых нюансах.

Kornia это open source библиотека для решения задач компьютерного зрения. Она использует PyTorch в качестве основного бэкенда и состоит из набора дифференцируемых процедур и модулей. Создатели библиотеки вдохновлялись OpenCV, и поэтому Kornia является его аналогом, но при этом в некоторых моментах превосходит. Главным преимуществом Kornia по сравнению с тем же OpenCV, scikit-image или с Albumentations является возможность обрабатывать изображения батчами, а не по одному изображению и возможность обрабатывать данные на GPU.

Друзья, всем привет, сегодня я научу вас как создавать шикарные мемные гифки с вашим лицом с помощью дипфейк нейросети FaceFusion.

Статья написана по мотивам доклада Ефима Головина, MLOps-инженера в отделе Data- и ML-продуктов Selectel.

Добрый день, уважаемые читатели и авторы Хабра!

Сегодня я рад представить вам подробное руководство по обучению модели ruGPT-3.5 13B с использованием датасетов модели Saiga-2/GigaSaiga, технологии Peft/LoRA и технологии GGML. Эта статья призвана стать полезным и практичным ресурсом для всех, кто интересуется машинным обучением, искусственным интеллектом и глубоким обучением, а также для тех, кто стремится глубже понять и освоить процесс обучения одной из самых мощных и перспективных русскоязычных моделей.

В данной публикации мы разберем каждый этап обучения модели, начиная от подготовки данных и заканчивая конвертацией в формат GGML. Буду рад, если мой опыт и знания помогут вам в вашем исследовании и экспериментах в этой захватывающей области!

Около месяца назад уважаемый @SLY_G опубликовал на Хабре перевод «Сможем ли мы разговаривать с животными при помощи ИИ?». Мы с ним немного обсуждали этот текст, и он обратил моё внимание на свежее исследование, позволяющее предположить, что слоны могут придумывать друг для друга имена. Меня озадачила мысль о том, не начинается ли осознанный язык с придумывания имён собственных (а не имён нарицательных). Тем более, что в минувшем августе мне довелось затронуть эту крайне интересную тему в разговоре с семилетним сыном моего друга: Филипп интересовался, чем отличается имя человека и кличка животного. Предвосхищая тему дельфинов, которая в основном рассматривается под катом, я даже хотел посоветовать парню изумительную книгу Успенского «Подводные береты», но зашёл с тузов и сразу скинул «Звёздный прилив» Дэвида Брина. Итак, под катом будет рассказано, у каких животных фиксируются внутривидовые прото-имена, как это связано с прохождением зеркального теста и какое значение может иметь при разработке искусственного интеллекта.

Коррекция правописания является одной из основополагающих задач в области Natural Language Processing (NLP). Достаточно прозаичная формулировка и кажущаяся жёсткой структура орфографической системы скрывают под собой нетривиальные внутриязыковые взаимодействия, являющиеся традиционно сложными для языковых моделей. В этом посте мы расскажем, как решали эту проблему внутри SberDevices, и как это привело к созданию проекта по исследованию задачи коррекции текста, а также решения, опережающего модели OpenAI.

Планировщик движения беспилотного автомобиля — это алгоритм-помощник, который общается с другими участниками движения посредством манёвров. То есть он действует так, чтобы другим было понятно, куда поедет беспилотник, и сам по действиям других пытается определить, кто куда будет двигаться и почему.

В диалоговых системах совсем недавно произошла революция из-за появления ChatGPT. В беспилотных автомобилях революции, к сожалению, пока не произошло, но если это случится, то как раз в той области, про которую будет мой рассказ.

Под катом — детальный разбор логики движения беспилотника, примеры свёрточных и трансформерных архитектур моделей для предсказания движения и много формул для расчёта вероятных траекторий других машин и пешеходов. А ещё я расскажу, в чём преимущества машинного обучения перед эвристиками и чем может помочь Reinforcement Learning.

Многие из вас сталкивались со Stable Diffusion и знают, что с помощью этой нейросети можно генерировать разнообразные изображения. Однако не всем интересно создавать случайные картинки с кошкодевочками, пускай даже и красивыми, и всем прочим. Согласитесь, было бы гораздо интереснее, если бы можно было обучить нейросеть создавать изображения... нас самих? Или наших любимых актёров и музыкантов? Или наших почивших родственников? Конкретных людей, в общем, а не какие-то собирательные образы из того, что было заложено при обучении нейросети. И для достижения этой цели нам потребуется обучить некую модель. Этим мы и займёмся, пытаясь определить наиболее оптимальный воркфлоу и максимально его автоматизировать.