Что такое автокодировщик?

Автокодировщик, автоматический ассоциатор или автоэнкодер (autoencoder) — это архитектура искусственной нейронной сети, состоящая из двух частей: энкодера и декодера.

Энкодер анализирует входные данные и сжимает их для представления в скрытом пространстве (latent space). При этом сохраняются связи между автоматически выделенными признаками входных данных.

Декодер выполняет реконструкцию данных из сжатого состояния, то есть производит обратную операцию. Такая обработка данных помогает выявлять в них скрытые зависимости и экономить аппаратные ресурсы. В сжатом состоянии данные могут занимать в сотни и даже в тысячи раз меньший объём памяти.

Для обучения автокодировщика не требуется предварительно размеченная обучающая выборка, поэтому он рассматривается как разновидность модели машинного обучения без учителя. Во время обучения обе части автокодировщика взаимодействуют друг с другом по типу обратной связи. Благодаря этому энкодер учится выделять ключевые параметры и отсеивать информационный шум, а декодер — точнее восстанавливать исходные данные из их сжатого отображения.

Автокодировщики хороши для обнаружения статистических аномалий, поэтому широко распространены в системах антифрода, поведенческого анализа и фильтрации сетевого трафика. Также они нашли применение в технологиях фильтрации шумов, генерации новых данных и других методах интеллект

Рассказываем про программирующую программу Ершова, которая оказала сильное влияние на школу информатики.

Работу над первым в мире самодостаточным транслятором ПП-1 Алексея Ляпунова продолжил его ученик Андрей Петрович Ершов.

В 1958 году Ершов написал монографию «Программирующая программа для быстродействующей электронной счётной машины». Она повлияла не только на отечественную, но и на западную школу информатики.

Будущий американский мэтр системного программирования Дональд Кнут изучал монографию Ершова на русском языке, когда сам был студентом.

Вскоре монография была издана за рубежом на разных языках. Её высоко оценили Джон Бэкус, Грейс Хоппер, Джон Маккарти и другие пионеры в области теоретического программирования. Фактически это был первый академический труд по автоматизации процесса создания программ и их переноса на разные архитектуры.

Монография описывала транслятор для БЭСМ и «Стрелы», в котором были реализованы новаторские подходы.

Ершов разработал принцип адресной кодировки объектов и описал «способ бесперебойного поиска информации по ключу с помощью функции расстановки». Сегодня мы чаще называем её функцией хеширования, применяя, в частности, для индексации массивов данных.

Андрей Петрович исследовал статистические свойства таких функций, а затем использовал их для оптимизации кода путём сокращения числа команд и экономии памяти. Позже под руководством Ершова были созданы целые системы оптимизации «АЛЬФА» и «БЕТА», предопределившие методологию оптимизирующей трансляции.

Что такое сшиваемые нейронные сети? Разбираемся вместе с коллегами из лаборатории больших данных компании «Криптонит».

На сегодня созданы целые семейства предварительно обученных моделей с различными архитектурами (таких как ResNet/DeiT), в каждом из которых есть версии разного масштаба (например, DeiT-Ti/S/B).

Но ни одна из готовых моделей не обладает способностью динамически адаптироваться к ограничениям вычислительных ресурсов, поскольку содержит фиксированный граф и не может быть переконфигурирована.

Устранить этот недостаток призвана концепция сшиваемых нейронных сетей (Stitchable Neural Networks), которая была реализована в виде фреймворка глубокого обучения SN-Net. Она позволяет сочетать множество архитектур нейросетей и достигать компромисса между смещением и дисперсией, одновременно задействуя различные типы предварительно обученных моделей, которые авторы называют «якорями».

SN-Net разделяет якоря на слои, а затем объединяет их с помощью дополнительных сшивающих слоёв, отображающих связи от одного якоря к другому. Во время работы SN-Net может мгновенно адаптироваться к изменяющимся ограничениям ресурсов путём переключения точек сшивки.

Эксперименты по классификации объектов на основе набора данных ImageNet демонстрируют, что SN-Net может достигать производительности на уровне или даже выше, чем индивидуально обученные модели, поддерживая при этом различные сценарии развёртывания.

Подробнее о SN-Net можно почитать здесь.

COBOL (COmmon Business Oriented Language) — один из первых языков программирования, инструкции которого записывались английскими словами (OPEN, SELECT, ASSIGN…) и были легко читаемы. Он был создан в 1959 году комитетом CODASYL по разработке универсального языка программирования для коммерческих систем.

Парадокс в том, что сейчас это умирающий язык, от которого, тем не менее, зависят ключевые бизнес-процессы современного общества.

Написанные на COBOL программы работают исключительно быстро. Уже в семидесятых годах они могли обрабатывать миллионы транзакций в час. Именно благодаря COBOL компьютеры стали популярны в бизнесе и государственном секторе.

В США, Канаде, Мексике и десятках стран поменьше на COBOL до сих пор работают многие высоконагруженные бэкенды. Это сотни миллиардов строк кода, который сегодня уже мало кто может поддерживать.

Ветераны COBOL давно ушли на пенсию, а новые кадры нанимать всё сложнее. Если на заре программирования COBOL привлекал простотой синтаксиса, то сейчас у него относительно высокий порог входа.

С 2020 года IBM разрабатывает помощник на основе искусственного интеллекта, который помог бы переписать код с COBOL на Java. Проблема в том, что даже с ним остаётся колоссальное количество ручной работы и требуются многочисленные проверки.

Код на COBOL «вылизывали» полвека, и его можно считать образцом стабильности. Как поведут себя переписанные программы в столь ответственных областях — трудно предугадать, а цена ошибки слишком велика.

В своих разработках «Криптонит» активно использует искусственные нейронные сети. Поэтому мы решили расшифровать связанные с этой сферой термины и их практический смысл. Все материалы из рубрики "Нейрословарь" подготовлены при помощи наших экспертов из лаборатории больших данных.

MPNet — это гибридная языковая модель, разработанная в 2020 году компанией Microsoft и китайским Университетом науки и технологий в Нанкине. Её название расшифровывается как Masked and Permuted Pre-training for Language Understanding (маскированное и перестановочное предварительное обучение для понимания языка).

Необходимость в разработке MPNet была продиктована тем, что в современных языковых моделях используются два основных подхода к обработке лексем: это масочное и пермутационное моделирование языка (MLM и PLM соответственно). PLM лучше учитывает зависимости между лексемами на выходе, а MLM эффективнее выполняет предварительное обучение и тонкую настройку согласованности.

MPNet объединяет сильные стороны MLM и PLM. Перестановки учитывают только локальный контекст (соседние слова) и ничего не знают о положении предсказываемого слова (или токена) в предложении, а при маскировании модель видит всё предложение целиком, кроме замаскированного слова. Она знает глобальный контекст предложения и положение слова, но плохо учитывает локальный контекст.

#нейрословарь

Знаете, какой язык высокого уровня был одним из первых и дошёл до наших дней? Fortran — про него новый выпуск истории языков программирования.

Название Fortran является акронимом от FORmula TRANslating System — система трансляции формул. Он был разработан сотрудником IBM Джоном Бэкусом в 1954-1957 годах.

Ключевая идея Бэкуса была в том, что последовательности вычислений нужно записывать не в машинных кодах, а как вызовы типовых подпрограмм. При этом сами подпрограммы появились только в FORTRAN II вместе с поддержкой процедурного программирования в 1958 году. Для этого Бэкус и трое его коллег из IBM разработали символическую систему записи математических расчётов, сделав акцент на циклические выражения.

Другие важные особенности Fortran — встроенная поддержка параллельных вычислений и векторных операций. Поэтому Fortran до сих пор актуален, особенно в сфере высокопроизводительных вычислений (HPC). В частности, тесты для рейтинга TOP 500 самых быстрых суперкомпьютеров мира написаны на Fortran.

Ещё одна причина сохраняющейся актуальности языка — простота операций над большими массивами и компиляция в эффективный двоичный код. На Fortran пишут библиотеки математических функций (см. IMSL Fortran Numerical Libraries), ПО для решения инженерных и научных задач, специфический софт для Big Data и бизнес-аналитики.

Актуальная сегодня версия Fortran стандартизирована в 2018 году. Следующий стандарт Fortran 202x находится в разработке.

Ансамблевое обучение (ensemble learning) — это объединение разных моделей машинного обучения для более эффективного решения задачи классификации или регрессии. Идея комбинировать простые алгоритмы для взаимного нивелирования их ошибок возникла в 90-е годы XX века.

К настоящему моменту разработан целый ряд методов ансамблевого обучения, такие как бэггинг (bagging), стэкинг (stacking), блендинг (blending) и бустинг (boosting).

У каждого из них свои особенности, но базовый принцип один и тот же: сочетание разных алгоритмов позволяет улучшить модель предсказания, уменьшив смещение и дисперсию, а значит — снизить количество ложных срабатываний.

Ensemble Learning широко применяется в таких современных областях, как компьютерное зрение, распознавание речи, финансовая аналитика, биоинформатика и информационная безопасность. Например, ансамбль из алгоритмов логистической регрессии, дерева решений и метода ближайших соседей точнее классифицирует фишинговые письма, чем любой из них по отдельности.

Что такое «программирующая программа»?

Сегодня исходники программ выглядят как текст на английском языке со специфическими конструкциями, но так было не всегда. Первые программы писали в машинных кодах, и это было невероятно сложно. Требовалось детально знать архитектуру конкретной ЭВМ и пошагово представлять исполнение команд.

Переход от машинных кодов к языкам высокого уровня стал возможен благодаря разработке методов структурного представления алгоритмов и автоматизации самого процесса написания программ.

Одним из основоположников отечественной кибернетики и теоретического программирования был математик Алексей Андреевич Ляпунов. Ещё в начале пятидесятых годов прошлого века он предложил операторный метод описания программ и разработал теорию синтаксических программных структур.

Под руководством Алексея Ляпунова в 1954 году в Институте математики АН СССР был написан первый советский транслятор — ПП-1, или «программирующая программа номер 1». Она вызвала большой интерес со стороны высшего руководства страны и получила статус приоритетной разработки.

Уже в 1956 году на её базе создали «ПП-2» — первый в мире транслятор с загрузчиком, отладчиком и библиотекой основных процедур. Он использовался на засекреченной ЭВМ «Стрела», установленной в Вычислительном центре Минобороны СССР.

Слышали про метод главных компонент? Его ещё называют PCA — principal component analysis. Он широко используется в машинном обучении. Чаще всего он применяется для предварительной обработки данных в задачах кластеризации, классификации и реконструкции.

Использование PCA перед применением алгоритмов кластеризации позволяет уменьшить размерность данных и обнаружить в них скрытую структуру. Снижение размерности данных сокращает время обучения моделей и улучшает их производительность.

По этим же соображениям оправдано применение PCA перед построением модели классификации (такой как логистическая регрессия или метод опорных векторов — SVM).

В реконструкции PCA используется главным образом для сжатия изображений без значимой потери характеристик, важных для их последующего анализа.

К преимуществам PCA можно отнести его универсальность и простоту реализации, а к недостаткам — линейность и чувствительность к масштабированию признаков . Если анализируемые признаки имеют различные масштабы, то результаты PCA могут быть искажены.

Знаете, что такое Планкалкюль (Plankalkül)? Это один из первых языков программирования: на нём работал первый компьютер в Европе Z4.

Ранние ЭВМ не имели единой архитектуры и программировались с помощью машинного кода. Это был язык самого низкого уровня, уникальный для каждого компьютера.

К сороковым годам XX века между ЭВМ стала наблюдаться преемственность. На базе ранних моделей появлялись подобные им усовершенствованные версии, обладавшие сходными чертами. Возникла необходимость переносить типовые вычисления с одних компьютеров на другие.

В 1944 г. в качестве смелой идеи из области прикладной математики немецкий инженер Конрад Эрнест Отто Цузе написал первый универсальный язык программирования — Планкалкюль (Plankalkül), что в переводе означает «планируемые вычисления».

Планкалкюль позволял создавать процедуры, в которых хранились фрагменты кода. Их можно было вызывать снова и снова для выполнения рутинных операций.

Первым устройством, на котором использовался Планкалкюль, был электромеханический компьютер Z4, наследовавший архитектуру своего предшественника — Z3.

Это первый пост из новой рубрики #ИЯП — история языков программирования.

Что такое Bias-Variance Tradeoff?

Компромисс между смещением и дисперсией (Bias-Variance Tradeoff) — одна из базовых концепций в машинном обучении. Она отражает поиск баланса между двумя источниками ошибок в модели предсказания: смещением (bias) оценки параметров и дисперсией (variance) ошибки прогноза. По сути это поиск компромисса между недо- и переобучением.

Смещение оценки модели возникает из-за ошибочных предположений о данных. Модель с большим смещением хуже выделяет взаимосвязь между признаками и предсказываемыми данными, то есть склонна недообучаться.

Причина дисперсии ошибок модели — искажения в обучающих данных. Высокая дисперсия ошибки модели может означать, что модель слишком восприимчива к малым отклонениям и пытается трактовать шумы в обучающей выборке. То есть происходит её переобучение: модель показывает хорошие результаты на обучающем наборе данных, но плохо справляется с анализом новых.

В идеале разработчику хочется получить модель с низким смещением оценки и низкой дисперсией ошибки, однако в реальности между ними приходится искать баланс. Для этого применяют кросс-валидацию, регуляризацию и другие методы.

Слышали про атбаш — один из самых древних шифров?

Атбаш появился приблизительно в середине первого тысячелетия до н. э. С помощью атбаша были зашифрованы, например, некоторые слова в Библии, а также в религиозных текстах Кумранских рукописей — общее название манускриптов, впервые обнаруженных в 1947 году в пещерах Кумрана и других местах Иудейской пустыни.

Слово «атбаш» составлено из первой, последней, второй и предпоследней букв еврейского алфавита — «алеф», «тав», «бет» и «шин» — и объясняет принцип шифрования. Чтобы зашифровать сообщение, нужно заменить первую букву открытого текста на последнюю букву в алфавите, вторую букву — на предпоследнюю и так далее. Чтобы расшифровать сообщение, нужно знать язык, на котором оно написано, и определить принцип шифрования. Так, например, слово «зима»‎ превращается в «чцтя». ‎Атбаш относится к моноалфавитным шифрам простой замены.

#история_шифров

Гиперпараметры модели

В разговорах про нейросети часто можно услышать термин "гиперпараметры". Мы попросили наших экспертов из лаборатории больших данных пояснить, что он означает.

Когда говорят про гиперпараметры модели, имеют в виду такие параметры модели машинного обучения, которые не подбираются автоматически в ходе тренировки. Они должны быть явно заданы перед началом обучения. Например, это количество скрытых слоёв нейросети и размер пакета данных для обработки за одну итерацию.

Процесс настройки гиперпараметров применяется для нахождения их комбинации, которая максимизирует производительность модели на конкретной задаче.

Обычно настройка выполняется методом проб и ошибок. Разработчики перебирают различные значения гиперпараметров и оценивают их влияние на метрики качества модели. Для определения оптимальных значений гиперпараметров могут использоваться такие методы, как поиск по сетке и случайный поиск.

Корректно подобранные гиперпараметры могут также улучшить способность модели к обобщению и оптимизировать её работу с учётом конкретной аппаратной платформы.

Ну что за тарабарщина? Это мы про русскую тайнопись прошлых веков.

Первые тайнописные тексты появились на Руси примерно в ХII веке. Большинство форм и способов тайнописи были взяты из Византии. В том числе и литорея — шифр простой замены, который стал основной системой шифрования на Руси в XIII—XVI веках.

Существовало две разновидности литореи: «простая» и «мудрая». В простой заменяли каждую из десяти согласных, идущих по порядку азбуки. Их прописывали в один ряд, а затем заменяли на буквы из второго ряда: он состоял из десяти других согласных, написанных в обратном порядке. Гласные и глухие оставались на своих местах, а сложные буквы исключались и заменялись созвучными. В мудрой литорее заменяли каждую букву, в том числе и гласную.

В XIX веке простую литорею стали называть тарабарщиной, тарабарским языком или тарабарской азбукой. Я фащыс, гко жокес панилакь! — на тарабарском это значит «Я забыл, что хотел написать!».

#история_шифров

Точность и полнота нейросетей

В своих разработках «Криптонит» использует искусственные нейронные сети. И мы продолжаем пояснять термины.

В машинном обучении precision (точность) и recall (полнота) являются двумя метриками, используемыми для оценки производительности алгоритмов классификации. Они численно показывают, насколько успешно классификатор отделяет объекты одного класса от другого.

Точность (P) измеряется как доля верно классифицированных объектов от общего числа положительных примеров (в которых классификатор счёл, что пример содержит объект данного класса).

Точность вычисляется по формуле P = TP / (TP + FP), где TP — количество истинно положительных примеров, а FP — количество ложноположительных примеров.

Полнота (R) показывает долю правильно классифицированных положительных примеров от общего числа истинно положительных примеров.

Формула для расчёта полноты: TP / (TP + FN), где FN — количество ложноотрицательных примеров.

При увеличении точности обычно уменьшается полнота и наоборот. Это связано с предсказаниями, которые классификатор делает при принятии решения о том, к какому классу отнести каждый пример. При выборе между точностью и полнотой необходимо учитывать конкретные требования задачи.

Если важно минимизировать ложные положительные прогнозы (неверно классифицированные негативные примеры), стоит ориентироваться на точность. Если важнее избегать пропуска положительных примеров (нужно минимизировать ложные отрицательные прогнозы), стоит ориентироваться на полноту.

Скитала — первое известное устройство для шифрования. Оно появилось предположительно в VIII-VII веках до н. э. в Древней Греции.

Скитала (или сцитала, от греческого σκυτάλη — жезл) — это античное устройство шифрования, состоящее из стержня определённой толщины и узкой полоски кожи, намотанной на него по спирали. Именно толщина стержня определяла количество букв на одном витке и служила ключом.

У историков есть два мнения, зачем использовали скиталу:

• Одни считают, что с ее помощью древнегреческие полководцы зашифровывали и передавали секретные указания во время военных действий.

• Другие, что это устройство использовали для удобства доставки или хранения обычных посланий.

Как зашифровать сообщение с помощью скиталы?

• Нужно подготовить две одинаковые палки по длине и диаметру: одна понадобится отправителю, а вторая — получателю.

• Вырезать длинную и узкую полоску кожи.

• Плотно, по спирали, обмотать палку лентой кожи, не оставляя промежутков.

• Написать сообщение вдоль оси скиталы.

• Снять ленту со скиталы и отправить ее адресату.

• Получатель, чтобы прочитать сообщение, должен намотать ленту на вторую палку.

• Если она будет отличаться по длине или диаметру, послание прочитать не выйдет.

Впервые о скитале говорит писатель и философ Плутарх в книге «Сравнительные жизнеописания». Это первое известное устройство для шифрования, описанное античными авторами.

#история_шифров

Что такое YandexGPT?

Рассказываем вместе с нашими экспертами из лаборатории больших данных.

YandexGPT или YaGPT — генеративная нейросеть на основе языковой модели YaLM (Yet another Language Model). Она применяется как режим общения в голосовом помощнике «Алиса» (включается по команде: «Алиса, давай придумаем!»), встроена в Яндекс Браузер и доступна через API в облачной платформе Yandex Cloud.

Главное отличие от ChatGPT состоит в том, что YaGPT изначально обучалась на русскоязычных текстах и поисковых запросах к Яндексу. Поэтому она точнее строит фразы на русском языке.

В ходе диалога YaGPT умеет задавать уточняющие вопросы и запоминает предыдущие, чтобы оставаться в контексте беседы. Однако если собеседник выдержал длинную паузу, следующая фраза может быть воспринята как начало нового диалога.

Как и любая генеративная сеть, YaGPT пишет ответы, подражает структуре уже известных ей текстов. Поэтому, при всей стройности изложения, сгенерированные тексты требуют проверки указанных в них фактов.

Недавно компания "Яндекс" представила обновлённую версию языковой модели — YandexGPT 2. Она лучше справляется с задачами генерации и обработки текста, но также не в курсе последних событий, так как для её обучения использовались наборы данных, собранных до марта 2023 года.

«Пляшущие человечки» — это один из рассказов про Шерлока Холмса. В нём детектив раскрывает загадочное убийство с помощью шифра, который выглядит как...пляшущие человечки!

Детектив использовал частотный криптоанализ. Это способ расшифрования сообщения на основе знания частоты появления символов в языке, на котором написан незашифрованный текст.

Например, в русском языке чаще всего встречаются буквы "о" (11%) и "е" (8,5%), а реже всего — буква "ф" (0,27%) и твёрдый знак (0,04%). Поэтому в переводе рассказа на русский в зашифрованных посланиях самые часто используемые фигуры человечков соответствуют буквам "о" и "е".

Чем больше объём накопленных шифрограмм, тем ближе в них частотное распределение к среднему. Зная это и перехватив несколько зашифрованных сообщений, можно подобрать отдельные слова (как в кроссворде или "Поле чудес"), а затем с их помощью выяснить, каким фигурам соответствуют другие буквы.

Постепенно так восстановится вся таблица шифрования, что позволит не только читать все новые шифрограммы (пассивная атака), но и создавать их самому (активная атака), вмешиваясь в зашифрованную переписку.

Частотный криптоанализ применим не ко всем шифрам. Так как в произведении использован шифр простой замены (каждая буква открытого текста заменяется на одну и ту же букву по таблице замены), то Шерлоку удалось дешифровать сообщение. Шифры простой замены уязвимы к частотному криптоанализу.

#история_шифров

Что такое XLNet?

XLNet, или eXtreme Language Model — это языковая модель, созданная компанией Microsoft в 2017 году. Она использует современную архитектуру Transformer с некоторыми улучшениями и модификациями.

Главное из них — использование функции Cross-Layer Attention, выполняющей обработку контекстуальных зависимостей. Она позволяет моделировать двунаправленные взаимодействия между различными слоями и обеспечивает комплексное представление входных данных.

В классической модели Transformer каждый слой самостоятельно обрабатывает данные. Функция Cross-Layer Attention отменяет это ограничение. Точнее, она позволяет учитывать зависимости между данными, находящимися как выше, так и ниже текущего слоя. Это даёт возможность лучше анализировать контекст, особенно в длинных запросах.

XLNet была обучена на англоязычных датасетах суммарным объёмом около 800 млрд символов, что до сих пор считается является одним из самых больших наборов данных для обучения.

Напишите в комментариях, какие ещё термины вам бы хотелось разобрать в рубрике #нейрословарь, которую мы ведём вместе с экспертами из лаборатории больших данных компании "Криптонит".

Решётка Кардано — это один из методов стеганографии*, в котором использовался трафарет с вырезанными ячейками для букв или целых слов. Такое шифрование помогало спрятать важные послания в повседневных письмах. Оно использовалось с XVI века.

*Стеганография — это технология сокрытия самого факта передачи секретного сообщения. Оно как бы растворяется в другом, несекретном сообщении, а не шифруется.

Как выглядела решётка Кардано?

Решётку Кардано вырезали из плотной бумаги, картона или даже металлической пластины. Трафарет мог быть квадратным, прямоугольным или произвольной формы — главное, чтобы в нём в случайном порядке были сделаны прорези.

Как работала решётка Кардано?

Шифровальщик брал решётку, клал её на бумагу и вписывал в прорези буквы или даже целые слова секретного сообщения, которое необходимо передать. Оно раскидывалось фрагментарно по всему пространству листа.

Затем решётку убирали, и пустые места на бумаге заполнялись посторонним текстом так, чтобы секретное сообщение стало его частью. Важно, чтобы общее послание было естественным, иначе это вызвало бы подозрение!

Как расшифровать сообщение?

Важно, чтобы у получателя была такая же решётка, вырезанная из первичного трафарета. Иначе расшифровать сообщение практически невозможно. Принцип построения и работы решётки впервые описал итальянский математик, инженер и философ Джероламо Кардано в трактате «О тонких материях» в 1550 году.

#история_шифров