Как стать автором
Обновить
79.88
Криптонит
Разрабатываем. Поддерживаем науку. Просвещаем
Сначала показывать

Ярый сторонник движения за свободное ПО лингвист и программист Ларри Уолл часто радует перлами. Один из них родился в 1987 году и остаётся популярным до сих пор. Речь о Perl — Practical Extraction and Report Language, языке для практического извлечения данных и обработки отчётов.

Ключевая идея Perl выражается наиболее известной фразой Ларри Уолла: «Простые вещи должны оставаться простыми, а сложные — становиться возможными».

Изначально язык предназначался для автоматизированной обработки текстовых файлов, но со временем его функциональность расширилась. Сегодня Perl используют в научных исследованиях, создании сайтов, приложений и пользовательских интерфейсов.

Ещё одна фраза Ларри иллюстрирует универсальность языка: «Есть несколько способов сделать что-либо». Связано это с тем, что Perl поддерживает как объектно-ориентированный подход, так и процедурную, и функциональную парадигмы.

Perl можно назвать Си-подобным, с заимствованиями из LISP, Бейсика, текстового редактора sed, языка сценариев AWK, командного интерпретатора UNIX и бог знает чего ещё. Это весьма необычный сплав структуры и синтаксиса совершенно разных программных продуктов.

При должном знании английского изучать Perl сравнительно легко из-за обилия бесплатной литературы, свободно распространяемых модулей и развитого сообщества, насчитывающего десятки тысяч программистов. На основе Perl создан язык Raku (ранее — Perl 6), который развивается как самостоятельный диалект.

Теги:
+1
Комментарии0

Что такое CuPy? Продолжаем знакомиться с терминами из мира нейросетей. Спасибо коллегам из лаборатории больших данных компании «Криптонит», что помогают нам делать эти посты.

CuPy — это совместимая с NumPy/SciPy библиотека для вычислений на графических процессорах (ГП) с помощью Python. CuPy позволяет использовать существующий код на NumPy/SciPy, запуская его на платформах Nvidia CUDA или AMD ROCm.

В среде AMD ROCm CuPy автоматически переводит все вызовы CUDA API в ROCm HIP, что позволяет запускать код на ГП Nvidia и AMD без каких-либо модификаций.

CuPy реализует стандартные API (DLPack, CUDA Array Interface), благодаря которым легко интегрируется с NumPy, PyTorch, TensorFlow, MPI4Py и другими библиотеками.

Кстати, одной из них является библиотека XNumPy, которую написал исследователь компании «Криптонит» Игорь Нетай. Она позволяет контролировать точность расчётов на каждом этапе вычислений.

CuPy может работать с несколькими GPU или кластерами через пакет распределённых вычислений (cupyx.distributed). В CuPy доступны низкоуровневые функции CUDA (профилировщик CUDA Profiler, прямой вызов библиотек CUDA, настройка выделенной памяти и другие).

Теги:
+3
Комментарии0

Сегодня рассказываем про язык с другой планеты — APL.

Так выглядит APL
Так выглядит APL

В фантастических фильмах иногда показывают компьютеры инопланетян с непонятными значками на экране и клавишах. У этого образа есть реальный прототип. Подобный язык программирования действительно существовал, как и специальная клавиатура для него.

В 1957 году канадский специалист по теории вычислительных систем Кеннет Айверсон публикует монографию «A Program Language». В ней он описывает необычный по стилю язык для обработки массивов данных и называет его APL (акроним от названия книги).

Сейчас бы мы сказали, что этот язык использует функциональную парадигму программирования и специальную нотацию, которая с шестидесятых годов стала использоваться не только в APL, но и в высшей математике в целом.

Тогда разработкой Айверсона заинтересовались в IBM, куда его и пригласили на работу. В 1965 году IBM выпускает первый интерпретатор APL, а ещё год спустя — клавиатуру с символами Айверсона и тремя дополнительными секциями управляющих знаков (см. фото).

Язык APL подкупал своей лаконичностью. Он использовался не только в мейнфреймах и терминалах, но также и в персональном компьютере IBM 5100, созданным за 6 лет до начала эпохи IBM PC.

Благодаря коллективу московского Научно-исследовательского центра электронной вычислительной техники (НИЦЭВТ) во многих советских ЭВМ 80-х и начала 90-х годов тоже использовался APL.

Сейчас APL теряет актуальность, хотя самые стойкие приверженцы продолжают развивать его как ряд независимых диалектов.

Теги:
+4
Комментарии3

Flower — фреймворк с открытым исходным кодом для построения систем федеративного обучения нейросетей, код которого доступен на GitHub.

Суть федеративного обучения сводится к обучению нейросетей на различных устройствах, без необходимости пересылать персональные данные, пересылаются лишь обновленные веса нейронной сети. Такой подход снизит количество утечек персональных данных и связанных с ними рисков.

Подробнее об этом читайте в колонке Forbes, которую написал Иван Чижов, заместитель руководителя по научной работе лаборатории криптографии в компании «Криптонит».

Инструменты для федеративного обучения стали появляться сравнительно недавно. Одним из них стал Flower, написанный в Оксфордском университете и впервые представленный в 2020 году.

Сегодня проект Flower отличает глубина проработки. В нём более 100 программистов и специалистов по машинному обучению, которые делятся своим практическим опытом.

На странице проекта в GitHub доступна подробная документация и Flower Baselines — коллекция проектов, воспроизводящих эксперименты из научных публикаций по федеративному обучению.

Проект быстро развивается. Через API Flower уже взаимодействует с TensorFlow, PyTorch, pandas, Hugging Face Transformers, Google JAX и другими инструментами машинного обучения.

Теги:
+4
Комментарии0

CORAL — язык программирования, который получил благословение королевы Елизаветы II. Что он из себя представлял, рассказываем дальше.

Один из стимулов разработки новых ЭВМ и языков программирования — необходимость в быстрой обработке сигналов радиолокационных станций. Чтобы решить эту задачу, требовались средства разработки программ, исполняемых в реальном времени.

В СССР для этого использовали преимущественно АЛГОЛ и его диалекты. По тому же пути пошёл и британский научно-исследовательский центр радиолокации. На базе ALGOL 60 и Fortran в нём разработали CORAL — Computer On-line Real-time Applications Language.

CORAL поддерживал ассемблерные вставки, что позволяло писать очень быстрый код с оптимизацией для конкретных архитектур: 16-разрядных PDP-11, 32-битных VAX и SPARC, 64-битных Alpha и прочих платформ.

Изначально буква R расшифровывалась как «radar», но когда сфера применения Coral 66 расширилась, обновлённая трактовка названия подчеркнула ориентированность языка на системы реального времени.

В семидесятых годах он стал применяться в сфере автоматизации компаниями из Великобритании и США, которые сталкивались с различными ограничениями со стороны Министерства обороны.

Поскольку «джинн уже был выпущен из бутылки», в 1976 году Королева Елизавета II «благословила» выход CORAL в свет. Она отправила первое электронное письмо, в котором сообщала, что Coral 66 отныне доступен всем в компьютерной сети ARPANET (предшественник интернета).

Теги:
+3
Комментарии0

YOLO-World — это новая модель машинного обучения для систем компьютерного зрения. Она выполняет обнаружение любого количества объектов без предварительного создания словаря и в режиме реального времени.

Большинство детекторов могут обнаруживать объекты только в пределах фиксированного словаря, заранее определённого наборами обучающих данных. Например, можно научить нейросеть детектировать автомобили, пешеходов и дорожные знаки. При этом она не распознает трамвай или велосипедиста.

Чтобы добавить их в словарь как новые категории, придётся переобучить нейросеть и повысить требования к вычислительным ресурсам. Чем больше категорий мы добавляем, тем менее пригодной становится система для использования в реальных приложениях.

YOLO-World работает иначе. Она выполняет обнаружение объектов по модели с открытым словарём (OVD). Это новый подход, выходящий за рамки предопределенных категорий. Вы просто задаёте текстовый запрос (в виде промптов) перечисляя те объекты, которые хотите обнаружить.

В основе YOLO-World лежит кодер CLIP для кодирования входных текстов и новая перепараметризуемая сеть агрегирования зрительно-языковых путей (RepVL-PAN). Вместе они реализуют магию детектирования объектов без обучения.

Подробнее читайте в статье.

YOLO-World на GitHub

Теги:
Всего голосов 3: ↑3 и ↓0+3
Комментарии0

RPG — это не только игры! Рассказываем историю этого языка программирования.

Сегодня аббревиатура RPG прочно ассоциируется с компьютерным ролевыми играми. Между тем, это ещё и Report Program Generator — уникальный язык программирования, который появился в 1959 году и до сих пор сохраняет актуальность.

Изначально RPG был написан для IBM 1401 — одного из первых транзисторных компьютеров, созданного для решения бизнес-ориентированных задач. В 60-е годы XX века было выпущено свыше 10 тысяч мейнфреймов IBM 1401, которые могли арендовать даже малые предприятия.

Основное назначение языка — автоматическое формирование отчётов из файлов с данными в виде электронных таблиц. Это востребовано в бухгалтерии, складском учёте, обработке заказов и множестве других задач, которые принципиально не изменились с прошлого века.

RPG II и последующие версии языка адаптировали для самых разных платформ и ОС, включая Unix, IBM PC DOS и Windows (Visual RPG). В 2010 году IBM запустила проект RPG Open Access. Он позволяет программисту определять новые обработчики ввода-вывода, для которых RPG не обеспечивает встроенную поддержку.

IBM продолжает совершенствовать язык RPG. За последние годы в него добавили встроенные операторы SQL, поддержку Unicode и объектов Java, интеграцию с Eclipse и другие современные возможности. При этом сохраняется обратная совместимость. Первые программы на RPG можно запустить и сейчас практически без изменений.

Теги:
Всего голосов 5: ↑5 и ↓0+8
Комментарии0

Наши коллеги-криптографы приняли участие в конференции CTCrypt2024. Вот, о чём были их доклады. 

Степан Давыдов, старший специалист-исследователь лаборатории криптографии, рассказал об инвариантных подпространствах матриц-циркулянтов.  

Один из перспективных методов криптоанализа изучение инвариантных подпространств матрицы линейного преобразования. 

В работе изучаются инвариантные подпространства линейных преобразований, заданных матрицами-циркулянтами. Они используются в шифрсистемах AES, SM4, а также хэш-функции Whirlpool.

Юрий Шкуратов, младший специалист-исследователь лаборатории криптографии, рассказал о самодуальности квазициклических алгеброгеометрических кодов, ассоциированных с эллиптической кривой.

В современной криптографии (особенно постквантовой) применяется теория помехоустойчивого кодирования. 

❗️С её помощью были разработаны криптографические системы, основанные на кодах. Они могут быть устойчивы к взлому классическими суперкомпьютерами и квантовыми.

📌Одним из перспективных направлений в разработке надёжных кодовых криптосистем являются модификации криптосистемы Мак-Элиса на квазициклических кодах Гоппы. Предложенный Валерием Гоппой класс алгеброгеометрических кодов позволяет оптимизировать затраты памяти на хранение секретного ключа и ускорить процесс шифрования. 

В этой работе изучается конкретный подкласс алгеброгеометрических кодов: для него рассматривается возможность одновременного наличия свойств квазицикличности и самодвойственности.

Теги:
Всего голосов 6: ↑6 и ↓0+10
Комментарии0

Рассказываем, что такое FastViT. Это новая модель для задач машинного зрения, дуэт трансформера и свёрточной нейросети (CNN), объединяющий сильные стороны двух архитектур.

Эта модель менее требовательна к вычислительным ресурсам, при этом она обеспечивает хороший компромисс между точностью и временем обработки изображений.

В тестах разработчиков FastVIT она оказалась в 1,9 раза быстрее, чем ConvNeXt и в 3,5 раза быстрее, чем CMT на наборе данных ImageNet при том же, или даже чуть меньшем проценте ошибок. FastVIT более устойчива к искажениям.

По сравнению с другими гибридными трансформерами на архитектуре Metaformer, FastViT применяет более эффективный оператор микширования RepMixer. Он построен таким образом, чтобы за счёт структурной репараметризации достигать существенного ускорения инференса.

Тесты авторов показали, что при разрешении 1024×1024 RepMixer уменьшает время обработки изображений почти вдвое — на 43,9%.

FastVIT использует и другие архитектурные улучшения. Подробнее о них читайте здесь.

Теги:
Всего голосов 3: ↑3 и ↓0+5
Комментарии0

Одни языки программирования способствуют появлению других. Мы уже писали про долгожителей FORTRAN и COBOL, а сегодня расскажем о связавшем их языке COMTRAN.

Его название представляет собой акроним от COMmercial TRANslator. Это один из первых бизнес-ориентированных языков программирования. Его разработали в IBM под руководством Роберта Бемера, больше известного как «отец ASCII». Первые спецификации COMTRAN опубликовали в 1957 году.

 Важная особенность коммерческих программ заключается в необходимости их длительной поддержке разными людьми. Из-за текучки кадров новым программистам приходится вникать в код их предшественников и дорабатывать его под меняющиеся нужды компании.

Поэтому для удобства чтения исходного кода в COMTRAN было введено разделение листинга на параграфы, причём каждому параграфу присваивалось своё имя. По этим именам можно было выполнять условные (IF… THEN) и безусловные (GO TO) переходы.

Также в COMTRAN впервые появился элемент picture clause  — побайтовое определение формата переменной. Он описывает общие характеристики и требования к редактированию элемента данных, который в COMTRAN может быть числовым или буквенно-цифровым.

В частности, picture clause использовался в программах для печати финансовых документов, на страницах которых перед каждой денежной суммой требовалось ставить знак $, а задолженность указывать со знаком «-».

Теги:
Всего голосов 2: ↑2 и ↓0+2
Комментарии0

Ну что, родители школьников, настало ваше счастливое время?? Приближаются (или уже даже начались) летние каникулы!

Но тут встаёт вопрос: а чем занять детей во время отдыха, чтобы они постоянно не сидели в телефоне и не смотрели YouTube?

У нас есть подборка материалов с идеями полезного досуга!

▪️ Чем заняться с детьми на праздниках, если ты айтишник. Часть 1. Наш коллега Андрей объясняет своей дочери понятие «гамма», шифр из рассказа «Пляшущие человечки» Конан Дойла и принцип работы решётки Кардано.

▪️ Что делать с детьми летом, если ты айтишник. Часть 2. В этой части Андрей доказывает, что пятилетний ребёнок и мультиметр с паяльником — это не гремучая смесь, а очень даже рабочая комбинация для совместного досуга (естественно, под бдительным присмотром и руководством родителя-айтишника).

Этот материал вошёл в шорт-лист номинации «Технотекст 2023» на Хабре — особенно советуем его прочитать.

▪️ Как вырастить из ребёнка айтишника долгими зимними вечерами? Часть 3. В продолжении сериала серии материалов наш коллега тестирует связанные с криптографией игры для детей: «Секретный код» и «Взломай код».

❗️ А на этой неделе у нас выходит новая статья из этой серии! Вы узнаете о разноцветном шифровании, «тетрисе» на бумаге, вспомните безопасные игры со спичками (или счётными палочками), выберитесь из числовых лабиринтов и познакомитесь с чудаковатыми родственниками кубика Рубика. Не пропустите!

Теги:
Всего голосов 4: ↑4 и ↓0+6
Комментарии0

В анализе видеопотока с помощью ИИ выделяют два подхода. Первый из них называется обработкой разреженного (sparse) видео. Он решает задачу предсказания одного результата по анализу видеофрагмента (массива кадров).

Второй подход решает задачу предсказания одного результата на кадр. Такую покадровую обработку называют анализом плотного (dense) видео. Модели ML для работы с плотным видео востребованы там, где требуется уловить кратковременные события и проанализировать быстрые изменения сцен.

❗️Существующие модели глубокого анализа видео (например, 3D CNNs) достигли впечатляющих результатов при обработке разреженного видео. Однако их адаптация к задачам плотного видео сопряжена с рядом проблем.

В частности, эти модели менее эффективны при работе с избыточными кадрами, с трудом улавливают временные корреляции на больших интервалах и неоправданно дороги в развёртывании.

Чтобы решить эти проблемы, коллектив исследователей из Белфаста (Ирландия) разработал TDViT — модель трансформера для обработки плотного видео с блоками временнóго расширения.

Эксперименты с наборами данных ImageNet VID и YouTube VIS показали, что TDViT эффективно извлекает пространственно-временны́е представления и ослабляет негативный эффект временнóй избыточности. Также иерархическая структура блоков позволяет моделировать динамику на больших временных интервалах.

Код TDViT открыт и доступен на GitHub

Теги:
Всего голосов 2: ↑2 и ↓0+4
Комментарии0

Всем привет! Я работаю в ИТ-компании «Криптонит», и наши тимлиды (думаю, как везде) часто дают технические задачи на собеседованиях.

Я долго их уговаривала приоткрыть завесу тайны и показать, какие именно. И наконец-то у меня получилось!

Мы сняли видео, где решаем задачи с собеседований во frontend-разработку «Криптонита». Помог это сделать Василий Беляев, руководитель группы разработки интерфейсов.

?Смотрите ролик на YouTube-канале «Криптонита» — https://youtu.be/EhNF3Et5aDk. Он будет полезен для джунов и мидлов.

В видео разбираемся, что делать с задачей «Палиндром», «Поворот матрицы» и «Подсчёт элементов в списке». А в конце — бонус-решение, которое не требует кода. Обязательно досмотрите до конца!

Теги:
Всего голосов 6: ↑4 и ↓2+5
Комментарии0

Эль-76 — язык программирования высокого уровня, с которым мы хотим вас сегодня познакомить.

«Эль-76» был написан коллективом ИТМиВТ под руководством Владимира Пентковского, позже работавшего в Intel над серией процессоров Pentium.

Вместе со специалистами в области высокопроизводительных вычислений Всеволодом Сергеевичем Бурцевым и Борисом Бабаяном он принимал участие в создании серии супер-ЭВМ «Эльбрус» и уникального языка для неё.

Изначально этот язык называли «автокодом», поскольку для «Эльбрусов» он был нативным, а все остальные программы транслировались в него. Но по своей структуре «Эль-76» — типичный язык высокого уровня, созданный в соответствии с парадигмой структурного программирования. Он поддерживал использование условных переходов, создание циклов, обработку исключений и встроенные типы данных.

Последнее было крайне важно. Явное определение типа переменных упростило поиск участков кода, где их обработка выполнялась некорректно. Проще говоря, компьютер больше не пытался внезапно разделить число на символ или логический ноль.

Написание программ на «Эль-76» облегчалось использованием русскоязычных команд: «начало», «если», «иначе», «конец» и другими. На «Эль-76» были написаны программы для самых ответственных задач, включая обеспечения работы Центра управления полётами.

Теги:
Всего голосов 3: ↑3 и ↓0+5
Комментарии1

Что такое нейропроцессор (NPU)? Это специализированный чип, выполняющий типичные для нейросетей вычисления быстрее, чем это делает процессор универсальной архитектуры. В основном это операции с векторами и матрицами. Другое название этих чипов — «ИИ-ускорители», или AI-сопроцессоры.

Одним из первых серийно выпускаемых NPU был Ni1000, разработанный Nestor совместно с Intel. Он появился на рынке в 1993 году и применялся для оптического распознавания символов (OCR).

В смартфонах NPU массово появились в 2015 году. Благодаря им стали возможны такие технологии, как разблокировка по лицу, автоматическое шумоподавление, замена фона во время видеозвонка, добавление масок и прочих AR-объектов на лету, поиск по картинке, мгновенный перевод надписей по наведению камеры, распознавание не только текста, но и любых объектов.

На уровне ЦОД нейропроцесоры выполняют фоновый анализ данных. Они выявляют фишинговые действия и нежелательный контент, создают автоматические субтитры, группируют сходные изображения и ускоряют многие рутинные операции.

Исходя из конкретных задач, ИИ-ускорители могут быть выполнены на базе программируемых вентильных матриц (FPGA), интегральных схем специального назначения (ASIC), или графических процессоров (GPU).

Популярны и гибридные схемы. Например, самый быстрый суперкомпьютер в мире Frontier использует для ускорения обработки задач искусственного интеллекта как наборы инструкций процессоров AMD Epyc, так и специализированные ускорители AMD Instinct MI250X.

Теги:
Всего голосов 2: ↑2 и ↓0+2
Комментарии2

РЕФАЛ — метаязык, опередивший своё время.

В 1966 году советский кибернетик Валентин Фёдорович Турчин занялся разработкой уникального метаязыка РЕФАЛ (рекурсивных функций алгоритмический). Изначально РЕФАЛ предназначался для различных символьных преобразований, семантического и синтаксического анализа текста.

Однако уже к моменту первой реализации в 1968 году РЕФАЛ превратился в функциональный язык программирования, во многом опередивший своё время.

Уже тогда с помощью РЕФАЛ можно было переводить тексты, генерировать стихи, анализировать числовые последовательности и переписывать программы с одного языка на другой.

РЕФАЛ был основан на нормальных алгоритмах Маркова — сочетании набора символов какого-либо языка (алфавита) и алгоритмических правил их подстановки.

Как писал В. Ф. Турчин: «РЕФАЛ соединяет в себе математическую простоту с практической ориентацией на написание больших и сложных программ».

Исполнение программы на РЕФАЛ происходит путём компилирования её исходного кода в промежуточную программу для абстрактной машины, которая затем интерпретируется.

Современный диалект РЕФАЛ+ появился в 1990 году. Он применяется главным образом для анализа текстов, оптимизации программ (суперкомпиляции) и решения задач в области искусственного интеллекта. На базе популярной платформы Eclipse создана интегрированная среда разработки для РЕФАЛ+.

Теги:
Всего голосов 6: ↑6 и ↓0+8
Комментарии0

spGEMM (Sparse GEneral Matrix-Matrix multiplication) — операция умножения над разреженными матрицами.

Для хранения разреженных матриц используются три основных формата:
— список координат (COO);
— сжатое хранение строкой (CSR);
— сжатое хранение столбцом (CSC).

Каждый из них имеет своим преимущества и недостатки, поэтому есть различные варианты spGEMM, использующие тот или иной формат. Например, они реализованы в библиотеках cuSPARSE, MKL и Kokkos. Во фреймворке PyTorch операции над разреженными матрицами находятся в стадии разработки.

В новой архитектуре Ampere появилась аппаратная поддержка операций с разреженными матрицами, имеющими специальную структуру (semi-structured sparse matrix). Для Ampere Nvidia разработала оптимизированный подход к использованию spGEMM и добавила поддержку редуцирования нейросетей в библиотеку APEX (A PyTorch Extension).

Новый подход Nvidia позволяет получать разреженные нейросети без существенной потери в качественных метриках. Он уменьшает объём обрабатываемых данных и способствует более эффективному балансу нагрузки в параллельных вычислениях.

Теги:
Всего голосов 4: ↑4 и ↓0+5
Комментарии0

В этом посте знакомимся сразу с тремя языками программирования XX века: Алгол, Алмир и Аналитик.

В 1958 году Международная федерация по обработке информации (IFIP) разработала процедурный язык программирования Алгол. В Европе он составил конкуренцию американскому Фортрану, а в СССР стал основой для написания собственного высокоуровневого языка.

Такой язык с кириллическими операторами («ЕСЛИ», «ТО») и указателями формата вывода («МАССИВ», «ГРАФИК») был создан к 1965-му году коллективом под руководством В. М. Глушкова — советского академика, спроектировавшего первую в СССР персональную ЭВМ «МИР-1».

Язык получил название «АЛМИР-65» и применялся для описания инженерно-технических расчётов, производимых на «МИР-1». Он был удобен тем, что позволял использовать русскоязычные слова и привычные обозначения математических функций: EXP(X), SIN(X), ARCCOS(X), LN(X) и др.

Для следующей ЭВМ «МИР-2» было разработано расширение языка АЛМИР-65 под названием «Аналитик». В нём появились аналитические преобразования (откуда и название), а также абстрактные типы данных и сложные арифметические выражения с условиями.

Интересно, что для ввода данных в «Аналитике» использовался объединённый алфавит из 31 кириллической и 14 латинских заглавных букв. Это позволило сделать сравнительно компактную клавиатуру, в которой буквы занимали всего 45 клавиш.

Теги:
Всего голосов 2: ↑2 и ↓0+2
Комментарии0

SALMONN — это новая мультимодальная модель машинного обучения с открытым исходным кодом, предназначенная для обработки аудиоданных любого типа: речи, музыки и различных звуков.

В основе SALMONN лежит интеграция большой языковой модели (LLM) с двумя энкодерами: Whisper для восприятия речи и BEATs для остальных звуков. Между собой аудиоэнкодеры и LLM объединяются через модуль преобразования данных Q-Former.

Благодаря такому сочетанию SALMONN может выполнять широкий спектр задач интеллектуальной обработки аудио, начиная с распознавания речи и заканчивая генерацией историй на основе услышанных звуков. Достаточно дать ей на вход аудиофрагмент и текстовое описание задачи.

В качестве LLM у SALMONN используется модель Vicuna, созданная на основе модели LLaMA с 13 миллиардами параметров и обученная на лучших диалогах с ChatGPT. Также авторы SALMONN выпустили версию своей модели на основе Vicuna с 7 миллиардами параметров. Первая требует для запуска видеокарту с 80 Гб памяти, а вторая — «всего» с 40 гигабайтами.

За счёт квантования модель можно ужать до 24 Гб, тогда получится запустить её даже на игровой видеокарте, а не только на профессиональном ускорителе.

Теги:
Всего голосов 4: ↑4 и ↓0+4
Комментарии0

РЕФАЛ — метаязык, опередивший своё время. Продолжаем рассказывать про языки программирования XX века.

В 1966 году советский кибернетик Валентин Фёдорович Турчин занялся разработкой уникального метаязыка РЕФАЛ (рекурсивных функций алгоритмический). Изначально РЕФАЛ предназначался для различных символьных преобразований, семантического и синтаксического анализа текста.

Однако уже к моменту первой реализации в 1968 году РЕФАЛ превратился в функциональный язык программирования, во многом опередивший своё время.

Уже тогда с помощью РЕФАЛ можно было переводить тексты, генерировать стихи, анализировать числовые последовательности и переписывать программы с одного языка на другой.

РЕФАЛ был основан на нормальных алгоритмах Маркова — сочетании набора символов какого-либо языка (алфавита) и алгоритмических правил их подстановки.

Как писал В. Ф. Турчин: «РЕФАЛ соединяет в себе математическую простоту с практической ориентацией на написание больших и сложных программ».

Исполнение программы на РЕФАЛ происходит путём компилирования её исходного кода в промежуточную программу для абстрактной машины, которая затем интерпретируется.

Современный диалект РЕФАЛ+ появился в 1990 году. Он применяется главным образом для анализа текстов, оптимизации программ (суперкомпиляции) и решения задач в области искусственного интеллекта. На базе популярной платформы Eclipse создана интегрированная среда разработки для РЕФАЛ+.

Теги:
Всего голосов 6: ↑5 и ↓1+4
Комментарии0

Информация

Сайт
kryptonite.ru
Дата регистрации
Дата основания
Численность
201–500 человек
Местоположение
Россия