Терминология IT

Слышали про Audio2photoreal? Это модель машинного обучения, которая анимирует мимику 3D-аватаров на основе аудиозаписей голоса.

Audio2photoreal — это фреймворк для создания фотореалистичных виртуальных персонажей, которые артикулируют и жестикулируют в соответствии с речевой динамикой.

В его основе лежит объединение двух методов: векторного квантования (VQ) и диффузии. Первый точнее передаёт движения, а второй повышает детализацию.

Процесс анимации состоит из трёх частей:
• моделирования мимики;
• предсказания динамики позы;
• отрисовки движений тела.

На выходе получается анимированная со скоростью 30 кадров/с реконструкция говорящего человека.

Реалистично говорящие аватары востребованы в компьютерных играх, системах телеприсутствия, виртуальной и дополненной реальности, а также в разработке роботов, имитирующих эмоции.

На GitHub доступна реализация Audio2photoreal на Pytorch3D. С её помощью вы можете сгенерировать говорящих аватаров, используя в качестве входных данных речевые аудиозаписи.

Стиль — это стиль. Если воспринимать моду на термины и графические знаки именно как моду, предмет перестаёт быть таким уж холиварным. Не нужно спорить. Нужно просто всё время спрашивать себя, на кого я хочу быть похож. На свою жилконтору или на DigitalOcean. Главное не оказаться охранником из книги Пелевина:

— Принято так, — сказал охранник, снимая со стены один из фонарей и протягивая его Сердюку. — Вы ведь галстук тоже не от холода носите.

Вот примеры сложных выборов :)

Вначале было слово e‑mail, потом вариант email (без дефиса) был принят в словари страны происхождения и попал во все англоязычные гайды. То есть был принят большинством. Сейчас дело не в том, нравится вам лично этот вариант или не нравится, а в том, какую одежду вы хотите носить — ту, что была модной десять лет назад, или ту, которую сейчас носит ваша любимая компания.

Ещё пример, тоже про большинство. «Кавычки‑ёлочки». Хорошо сочетаются с кириллическим алфавитом. Носят примерно с 15 века. Но в 21 веке всем внезапно стало лень и теперь я очень часто вижу программистские кавычки в текстах, а не в коде. Мне ёлочки нравятся. Жаль, если их таки вытеснят программистские кавычки. Потому что особого практического смысла это иметь не будет. А красоту мы потеряем.

Когда вы спрашиваете голосовой помощник о погоде, курсе валют и пробках на дороге, он ищет в интернете свежие данные, извлекает их, после чего «оборачивает» в стандартную фразу и сообщает вам. Помогает ему в этом RAG — Retrieval Augmented Generation, что можно перевести как генерация (ответа) с использованием дополнительной информации.

Технически это метод программного дополнения вывода (большой) языковой модели данными из внешних источников. Его можно применить в задачах, где ИИ требуется постоянно оперировать свежими данными. Также этот метод позволяет адаптировать LLM под собственные базы знаний без необходимости дообучать её.

Например, RAG используют для подключения LLM в режиме реального времени к новостным каналам и лентам социальных сетей, дополнения выдачи поисковых систем актуальной информацией.

Несмотря на простую идею, внутреннее устройство RAG довольно сложно. Прежде, чем добавить данные в свой ответ, необходимо найти релевантную информацию в базе знаний. Для этого информация хранится в виде векторных представлений, которые позволяют выполнять семантический поиск.

Для этого приходится перефразировать запросы, разбивать их на фрагменты, ранжировать поисковую выдачу и делать много другой алгоритмической работы. Это и есть Retrieval — отдельное искусство «найти нужное дерево в лесу».

Подробнее о RAG читайте в этой статье.

Слышали о самом (не)благозвучном языке программирования — Brainfuck?

Его придумал швейцарский студент Урбан Мюллер в 1993 году, вдохновившись идеей минимализма. Он разработал свой язык, начисто лишённый абстракций, и написал для него компилятор в машинных кодах.

После преобразования в двоичный файл первая версия компилятора занимала всего 296 байт, а вторая и вовсе ужалась до 240 байт.

За мозговыносящий синтаксис, больше похожий на топтание кота по знакам препинания, Brainfuck и получил своё название. Для примера напишем программу, которая будет выводить слово KRYPTONITE в ASCII кодах (75 82 89 80 84 79 78 73 84 69).

Вот один из вариантов её реализации:
++++++++++[>+++++++>++++++++<<-]>+++++.>++.+++++++.<+++++.++++.-----.-.-----.>-----.<----.

Здесь используется цикл и три ячейки памяти. Мы записываем в нулевую ячейку "10" как начальное значение счётчика. В конце каждого цикла оно уменьшается на единицу, пока не станет равным нулю. В первую ячейку записываем "7", а во вторую — "8".

После завершения цикла значения в первой и второй ячейках увеличатся в десять раз. Дальше значения этих ячеек увеличиваются или уменьшаются прямо перед выводом, чтобы получить код нужного символа ASCII.

Например, буква «К» получается добавлением пяти (+++++) к значению "70" из первой ячейки, а буква «R» — добавлением двух (++) к значению "80" из второй ячейки.

Если захотите чего-то мозговыносящего, попробуйте оптимизировать эту программу, задействовав меньше операторов и/или ячеек.

Cети Колмогорова-Арнольда (KAN) могут стать эффективной альтернативой многослойным перцептронам (MLP), лежащим в основе моделей глубокого машинного обучения. MLP основаны на универсальной теореме аппроксимации, а KAN базируются на теореме Колмогорова-Арнольда.

В то время как у MLP есть фиксированные функции активации на узлах (искусственных нейронах), у KAN вместо них используются обучаемые функции активации на гранях («веса»).

В KAN вообще нет линейных весов — каждый весовой параметр заменяется одномерной функцией, параметризованной как сплайн.

Структура KAN проще и позволяет задействовать для решения тех же задач гораздо меньшие графы вычислений, чем MLP. При этом KAN обладают сопоставимой с MLP (или даже более высокой) точностью.

В мае 2024 года была опубликована интересная научная работа, в которой выполнено обобщение оригинального описания теоремы Колмогорова-Арнольда на произвольные размерности.

Главным недостатком KAN авторы отмечают медленное обучение. При одинаковом количестве параметров KAN обычно в 10 раз медленнее, чем MLP. При этом в исследовании не выполнялась оптимизация KAN с точки зрения скорости. Поэтому сравнительно медленное обучение KAN скорее проблема незрелой технологии, чем фундаментальное ограничение.

Язык программирования Eiffel.

В 1985 году французский специалист в области программной инженерии Бертран Мейер представил язык программирования Eiffel, ориентированный на создание ПО для критически важной инфраструктуры.

Название Eiffel было дано в честь Александра Гюстава Эйфеля, построившего в Париже знаменитую башню. Аналогия призвана показать, что язык «Эйфель» также надёжен, как Эйфелева башня, и позволяет быстро создавать сложные конструкции из стандартных компонентов без ущерба безопасности.

Синтаксис в Eiffel непривычно строгий и призван облегчить читаемость кода. Сокращения не приветствуются, все классы и процедуры комментируются, зарезервированные слова набираются жирным шрифтом, а идентификаторы — курсивом.

Хотя сам язык не чувствителен к регистру, переменные в нём принято писать строчными буквами, а константы — начинать с прописной. Если допустить вольности в оформлении, компилятор выдаст ошибку, как если бы она была в коде.

Язык Eiffel продолжает развиваться, а Бертран Мейер с 2014 года преподаёт в российском Университете Иннополис, где ведёт курсы «Введение в требования и спецификации программного обеспечения», «Методология и методы научного исследования» и другие.

Если у вас таблицы с миллионами строк, обратите внимание на Polars — проект с открытым исходным кодом, который написан на Rust и распространяется бесплатно по лицензии MIT. Рассказываем про эту быструю альтернативу Pandas ниже.

Polars обеспечивает эффективный параллелизм и очень высокую производительность на любых современных процессорах с наборами команд для работы с векторами.

Проект поддерживает распространённые форматы (CSV, JSON, Parquet), умеет работать с различными облачными хранилищами (S3, Azure Blob, BigQuery) и базами данных (Postgres, MySQL).

В отличие от Pandas, Polars не присваивает каждой строке метку с индексом. Строки индексируются по их целочисленным позициям в таблице. Поэтому в Polars семантика запроса не меняется в зависимости от состояния индекса.

Для представления данных в памяти Polars использует Apache Arrow — колоночно-ориентированный формат, широко используемый аналитиками из-за его высокой эффективности. Он ускоряет загрузку данных и сокращает расход памяти. Pandas применяет для этих целей массивы NumPy. Поскольку многие переходят на Polars с Pandas, из соображений совместимости Polars может конвертировать данные в формат NumPy.

Для тех, кто знаком с Pandas, переход на Polars не составит труда благодаря схожести интерфейсов. Устанавливается Polars с помощью стандартного менеджера пакетов.

Ярый сторонник движения за свободное ПО лингвист и программист Ларри Уолл часто радует перлами. Один из них родился в 1987 году и остаётся популярным до сих пор. Речь о Perl — Practical Extraction and Report Language, языке для практического извлечения данных и обработки отчётов.

Ключевая идея Perl выражается наиболее известной фразой Ларри Уолла: «Простые вещи должны оставаться простыми, а сложные — становиться возможными».

Изначально язык предназначался для автоматизированной обработки текстовых файлов, но со временем его функциональность расширилась. Сегодня Perl используют в научных исследованиях, создании сайтов, приложений и пользовательских интерфейсов.

Ещё одна фраза Ларри иллюстрирует универсальность языка: «Есть несколько способов сделать что-либо». Связано это с тем, что Perl поддерживает как объектно-ориентированный подход, так и процедурную, и функциональную парадигмы.

Perl можно назвать Си-подобным, с заимствованиями из LISP, Бейсика, текстового редактора sed, языка сценариев AWK, командного интерпретатора UNIX и бог знает чего ещё. Это весьма необычный сплав структуры и синтаксиса совершенно разных программных продуктов.

При должном знании английского изучать Perl сравнительно легко из-за обилия бесплатной литературы, свободно распространяемых модулей и развитого сообщества, насчитывающего десятки тысяч программистов. На основе Perl создан язык Raku (ранее — Perl 6), который развивается как самостоятельный диалект.

Что такое CuPy? Продолжаем знакомиться с терминами из мира нейросетей. Спасибо коллегам из лаборатории больших данных компании «Криптонит», что помогают нам делать эти посты.

CuPy — это совместимая с NumPy/SciPy библиотека для вычислений на графических процессорах (ГП) с помощью Python. CuPy позволяет использовать существующий код на NumPy/SciPy, запуская его на платформах Nvidia CUDA или AMD ROCm.

В среде AMD ROCm CuPy автоматически переводит все вызовы CUDA API в ROCm HIP, что позволяет запускать код на ГП Nvidia и AMD без каких-либо модификаций.

CuPy реализует стандартные API (DLPack, CUDA Array Interface), благодаря которым легко интегрируется с NumPy, PyTorch, TensorFlow, MPI4Py и другими библиотеками.

Кстати, одной из них является библиотека XNumPy, которую написал исследователь компании «Криптонит» Игорь Нетай. Она позволяет контролировать точность расчётов на каждом этапе вычислений.

CuPy может работать с несколькими GPU или кластерами через пакет распределённых вычислений (cupyx.distributed). В CuPy доступны низкоуровневые функции CUDA (профилировщик CUDA Profiler, прямой вызов библиотек CUDA, настройка выделенной памяти и другие).

Сегодня рассказываем про язык с другой планеты — APL.

В фантастических фильмах иногда показывают компьютеры инопланетян с непонятными значками на экране и клавишах. У этого образа есть реальный прототип. Подобный язык программирования действительно существовал, как и специальная клавиатура для него.

В 1957 году канадский специалист по теории вычислительных систем Кеннет Айверсон публикует монографию «A Program Language». В ней он описывает необычный по стилю язык для обработки массивов данных и называет его APL (акроним от названия книги).

Сейчас бы мы сказали, что этот язык использует функциональную парадигму программирования и специальную нотацию, которая с шестидесятых годов стала использоваться не только в APL, но и в высшей математике в целом.

Тогда разработкой Айверсона заинтересовались в IBM, куда его и пригласили на работу. В 1965 году IBM выпускает первый интерпретатор APL, а ещё год спустя — клавиатуру с символами Айверсона и тремя дополнительными секциями управляющих знаков (см. фото).

Язык APL подкупал своей лаконичностью. Он использовался не только в мейнфреймах и терминалах, но также и в персональном компьютере IBM 5100, созданным за 6 лет до начала эпохи IBM PC.

Благодаря коллективу московского Научно-исследовательского центра электронной вычислительной техники (НИЦЭВТ) во многих советских ЭВМ 80-х и начала 90-х годов тоже использовался APL.

Сейчас APL теряет актуальность, хотя самые стойкие приверженцы продолжают развивать его как ряд независимых диалектов.

Flower — фреймворк с открытым исходным кодом для построения систем федеративного обучения нейросетей, код которого доступен на GitHub.

Суть федеративного обучения сводится к обучению нейросетей на различных устройствах, без необходимости пересылать персональные данные, пересылаются лишь обновленные веса нейронной сети. Такой подход снизит количество утечек персональных данных и связанных с ними рисков.

Подробнее об этом читайте в колонке Forbes, которую написал Иван Чижов, заместитель руководителя по научной работе лаборатории криптографии в компании «Криптонит».

Инструменты для федеративного обучения стали появляться сравнительно недавно. Одним из них стал Flower, написанный в Оксфордском университете и впервые представленный в 2020 году.

Сегодня проект Flower отличает глубина проработки. В нём более 100 программистов и специалистов по машинному обучению, которые делятся своим практическим опытом.

На странице проекта в GitHub доступна подробная документация и Flower Baselines — коллекция проектов, воспроизводящих эксперименты из научных публикаций по федеративному обучению.

Проект быстро развивается. Через API Flower уже взаимодействует с TensorFlow, PyTorch, pandas, Hugging Face Transformers, Google JAX и другими инструментами машинного обучения.

CORAL — язык программирования, который получил благословение королевы Елизаветы II. Что он из себя представлял, рассказываем дальше.

Один из стимулов разработки новых ЭВМ и языков программирования — необходимость в быстрой обработке сигналов радиолокационных станций. Чтобы решить эту задачу, требовались средства разработки программ, исполняемых в реальном времени.

В СССР для этого использовали преимущественно АЛГОЛ и его диалекты. По тому же пути пошёл и британский научно-исследовательский центр радиолокации. На базе ALGOL 60 и Fortran в нём разработали CORAL — Computer On-line Real-time Applications Language.

CORAL поддерживал ассемблерные вставки, что позволяло писать очень быстрый код с оптимизацией для конкретных архитектур: 16-разрядных PDP-11, 32-битных VAX и SPARC, 64-битных Alpha и прочих платформ.

Изначально буква R расшифровывалась как «radar», но когда сфера применения Coral 66 расширилась, обновлённая трактовка названия подчеркнула ориентированность языка на системы реального времени.

В семидесятых годах он стал применяться в сфере автоматизации компаниями из Великобритании и США, которые сталкивались с различными ограничениями со стороны Министерства обороны.

Поскольку «джинн уже был выпущен из бутылки», в 1976 году Королева Елизавета II «благословила» выход CORAL в свет. Она отправила первое электронное письмо, в котором сообщала, что Coral 66 отныне доступен всем в компьютерной сети ARPANET (предшественник интернета).

YOLO-World — это новая модель машинного обучения для систем компьютерного зрения. Она выполняет обнаружение любого количества объектов без предварительного создания словаря и в режиме реального времени.

Большинство детекторов могут обнаруживать объекты только в пределах фиксированного словаря, заранее определённого наборами обучающих данных. Например, можно научить нейросеть детектировать автомобили, пешеходов и дорожные знаки. При этом она не распознает трамвай или велосипедиста.

Чтобы добавить их в словарь как новые категории, придётся переобучить нейросеть и повысить требования к вычислительным ресурсам. Чем больше категорий мы добавляем, тем менее пригодной становится система для использования в реальных приложениях.

YOLO-World работает иначе. Она выполняет обнаружение объектов по модели с открытым словарём (OVD). Это новый подход, выходящий за рамки предопределенных категорий. Вы просто задаёте текстовый запрос (в виде промптов) перечисляя те объекты, которые хотите обнаружить.

В основе YOLO-World лежит кодер CLIP для кодирования входных текстов и новая перепараметризуемая сеть агрегирования зрительно-языковых путей (RepVL-PAN). Вместе они реализуют магию детектирования объектов без обучения.

Подробнее читайте в статье.

YOLO-World на GitHub

RPG — это не только игры! Рассказываем историю этого языка программирования.

Сегодня аббревиатура RPG прочно ассоциируется с компьютерным ролевыми играми. Между тем, это ещё и Report Program Generator — уникальный язык программирования, который появился в 1959 году и до сих пор сохраняет актуальность.

Изначально RPG был написан для IBM 1401 — одного из первых транзисторных компьютеров, созданного для решения бизнес-ориентированных задач. В 60-е годы XX века было выпущено свыше 10 тысяч мейнфреймов IBM 1401, которые могли арендовать даже малые предприятия.

Основное назначение языка — автоматическое формирование отчётов из файлов с данными в виде электронных таблиц. Это востребовано в бухгалтерии, складском учёте, обработке заказов и множестве других задач, которые принципиально не изменились с прошлого века.

RPG II и последующие версии языка адаптировали для самых разных платформ и ОС, включая Unix, IBM PC DOS и Windows (Visual RPG). В 2010 году IBM запустила проект RPG Open Access. Он позволяет программисту определять новые обработчики ввода-вывода, для которых RPG не обеспечивает встроенную поддержку.

IBM продолжает совершенствовать язык RPG. За последние годы в него добавили встроенные операторы SQL, поддержку Unicode и объектов Java, интеграцию с Eclipse и другие современные возможности. При этом сохраняется обратная совместимость. Первые программы на RPG можно запустить и сейчас практически без изменений.

Одни языки программирования способствуют появлению других. Мы уже писали про долгожителей FORTRAN и COBOL, а сегодня расскажем о связавшем их языке COMTRAN.

Его название представляет собой акроним от COMmercial TRANslator. Это один из первых бизнес-ориентированных языков программирования. Его разработали в IBM под руководством Роберта Бемера, больше известного как «отец ASCII». Первые спецификации COMTRAN опубликовали в 1957 году.

 Важная особенность коммерческих программ заключается в необходимости их длительной поддержке разными людьми. Из-за текучки кадров новым программистам приходится вникать в код их предшественников и дорабатывать его под меняющиеся нужды компании.

Поэтому для удобства чтения исходного кода в COMTRAN было введено разделение листинга на параграфы, причём каждому параграфу присваивалось своё имя. По этим именам можно было выполнять условные (IF… THEN) и безусловные (GO TO) переходы.

Также в COMTRAN впервые появился элемент picture clause  — побайтовое определение формата переменной. Он описывает общие характеристики и требования к редактированию элемента данных, который в COMTRAN может быть числовым или буквенно-цифровым.

В частности, picture clause использовался в программах для печати финансовых документов, на страницах которых перед каждой денежной суммой требовалось ставить знак $, а задолженность указывать со знаком «-».

В анализе видеопотока с помощью ИИ выделяют два подхода. Первый из них называется обработкой разреженного (sparse) видео. Он решает задачу предсказания одного результата по анализу видеофрагмента (массива кадров).

Второй подход решает задачу предсказания одного результата на кадр. Такую покадровую обработку называют анализом плотного (dense) видео. Модели ML для работы с плотным видео востребованы там, где требуется уловить кратковременные события и проанализировать быстрые изменения сцен.

❗️Существующие модели глубокого анализа видео (например, 3D CNNs) достигли впечатляющих результатов при обработке разреженного видео. Однако их адаптация к задачам плотного видео сопряжена с рядом проблем.

В частности, эти модели менее эффективны при работе с избыточными кадрами, с трудом улавливают временные корреляции на больших интервалах и неоправданно дороги в развёртывании.

Чтобы решить эти проблемы, коллектив исследователей из Белфаста (Ирландия) разработал TDViT — модель трансформера для обработки плотного видео с блоками временнóго расширения.

Эксперименты с наборами данных ImageNet VID и YouTube VIS показали, что TDViT эффективно извлекает пространственно-временны́е представления и ослабляет негативный эффект временнóй избыточности. Также иерархическая структура блоков позволяет моделировать динамику на больших временных интервалах.

Код TDViT открыт и доступен на GitHub

Эль-76 — язык программирования высокого уровня, с которым мы хотим вас сегодня познакомить.

«Эль-76» был написан коллективом ИТМиВТ под руководством Владимира Пентковского, позже работавшего в Intel над серией процессоров Pentium.

Вместе со специалистами в области высокопроизводительных вычислений Всеволодом Сергеевичем Бурцевым и Борисом Бабаяном он принимал участие в создании серии супер-ЭВМ «Эльбрус» и уникального языка для неё.

Изначально этот язык называли «автокодом», поскольку для «Эльбрусов» он был нативным, а все остальные программы транслировались в него. Но по своей структуре «Эль-76» — типичный язык высокого уровня, созданный в соответствии с парадигмой структурного программирования. Он поддерживал использование условных переходов, создание циклов, обработку исключений и встроенные типы данных.

Последнее было крайне важно. Явное определение типа переменных упростило поиск участков кода, где их обработка выполнялась некорректно. Проще говоря, компьютер больше не пытался внезапно разделить число на символ или логический ноль.

Написание программ на «Эль-76» облегчалось использованием русскоязычных команд: «начало», «если», «иначе», «конец» и другими. На «Эль-76» были написаны программы для самых ответственных задач, включая обеспечения работы Центра управления полётами.

Что такое нейропроцессор (NPU)? Это специализированный чип, выполняющий типичные для нейросетей вычисления быстрее, чем это делает процессор универсальной архитектуры. В основном это операции с векторами и матрицами. Другое название этих чипов — «ИИ-ускорители», или AI-сопроцессоры.

Одним из первых серийно выпускаемых NPU был Ni1000, разработанный Nestor совместно с Intel. Он появился на рынке в 1993 году и применялся для оптического распознавания символов (OCR).

В смартфонах NPU массово появились в 2015 году. Благодаря им стали возможны такие технологии, как разблокировка по лицу, автоматическое шумоподавление, замена фона во время видеозвонка, добавление масок и прочих AR-объектов на лету, поиск по картинке, мгновенный перевод надписей по наведению камеры, распознавание не только текста, но и любых объектов.

На уровне ЦОД нейропроцесоры выполняют фоновый анализ данных. Они выявляют фишинговые действия и нежелательный контент, создают автоматические субтитры, группируют сходные изображения и ускоряют многие рутинные операции.

Исходя из конкретных задач, ИИ-ускорители могут быть выполнены на базе программируемых вентильных матриц (FPGA), интегральных схем специального назначения (ASIC), или графических процессоров (GPU).

Популярны и гибридные схемы. Например, самый быстрый суперкомпьютер в мире Frontier использует для ускорения обработки задач искусственного интеллекта как наборы инструкций процессоров AMD Epyc, так и специализированные ускорители AMD Instinct MI250X.

РЕФАЛ — метаязык, опередивший своё время.

В 1966 году советский кибернетик Валентин Фёдорович Турчин занялся разработкой уникального метаязыка РЕФАЛ (рекурсивных функций алгоритмический). Изначально РЕФАЛ предназначался для различных символьных преобразований, семантического и синтаксического анализа текста.

Однако уже к моменту первой реализации в 1968 году РЕФАЛ превратился в функциональный язык программирования, во многом опередивший своё время.

Уже тогда с помощью РЕФАЛ можно было переводить тексты, генерировать стихи, анализировать числовые последовательности и переписывать программы с одного языка на другой.

РЕФАЛ был основан на нормальных алгоритмах Маркова — сочетании набора символов какого-либо языка (алфавита) и алгоритмических правил их подстановки.

Как писал В. Ф. Турчин: «РЕФАЛ соединяет в себе математическую простоту с практической ориентацией на написание больших и сложных программ».

Исполнение программы на РЕФАЛ происходит путём компилирования её исходного кода в промежуточную программу для абстрактной машины, которая затем интерпретируется.

Современный диалект РЕФАЛ+ появился в 1990 году. Он применяется главным образом для анализа текстов, оптимизации программ (суперкомпиляции) и решения задач в области искусственного интеллекта. На базе популярной платформы Eclipse создана интегрированная среда разработки для РЕФАЛ+.

spGEMM (Sparse GEneral Matrix-Matrix multiplication) — операция умножения над разреженными матрицами.

Для хранения разреженных матриц используются три основных формата:
— список координат (COO);
— сжатое хранение строкой (CSR);
— сжатое хранение столбцом (CSC).

Каждый из них имеет своим преимущества и недостатки, поэтому есть различные варианты spGEMM, использующие тот или иной формат. Например, они реализованы в библиотеках cuSPARSE, MKL и Kokkos. Во фреймворке PyTorch операции над разреженными матрицами находятся в стадии разработки.

В новой архитектуре Ampere появилась аппаратная поддержка операций с разреженными матрицами, имеющими специальную структуру (semi-structured sparse matrix). Для Ampere Nvidia разработала оптимизированный подход к использованию spGEMM и добавила поддержку редуцирования нейросетей в библиотеку APEX (A PyTorch Extension).

Новый подход Nvidia позволяет получать разреженные нейросети без существенной потери в качественных метриках. Он уменьшает объём обрабатываемых данных и способствует более эффективному балансу нагрузки в параллельных вычислениях.