Присутствие нейронных сетей в нашей жизни становится все более распространенным, от голосовых ассистентов до узкоспециальных САПР. Несмотря на то, что область применения нейросетей расширяется, их потенциал все еще сильно ограничен удручающей энергоэффективностью существующих хардверных решений. Специализированные AI-чипы выходят в производство, как горячие пирожки, а ожидаемый рост энергопотребления нагруженных AI датацентров уже скоро позволит им отобрать у атомных электростанций звание главного врага всех экоактивистов. Разумеется, над решением проблемы энергопотребления AI или, будем честны, над решением проблемы энергопотребления цифрового умножения работает огромное количество исследователей по всему миру, на всех возможных уровнях абстракции, от математиков-фундаментальщиков до разработчиков передовых литографов.

А дальше, как это регулярно случается, внезапно оказалось, что все новое — это хорошо забытое старое, и спасение может заключаться в том, чтобы откопать давно забытые за бесперпективностью аналоговые вычисления и посмотреть на них свежим вглядом в свете новых задач.

Мы уже писали о том, что предложили новую модель квантования нейронных сетей, позволяющую ускорить их на 40% на центральных процессорах, и теперь пришло время рассказать о ней подробнее.

ИТ-индустрия проявляет интерес к большим языковым моделям (LLM). Многие компании — в том числе стартапы и разработчики — предпочитают self-hosting открытых LLM работе с API проприетарных решений. Мы в beeline cloud решили обсудить плюсы и минусы такого подхода, в том числе с финансовой точки зрения.

Кванты пространства

Наше пространство определяется гравитационными полями. Если говорить  упрощенно,  материальные объекты и/или огромные энергии образуют  гравитационные поля, ту арену  на которой живут  Галактики, звезды, планеты и где начинают работать физические Законы нашего Мира.  И галактики и законы наблюдаются в макроскопических размерах, а для их описания мы используем  привычные  архимедовые метрики. На гравитационных полях  «живут» оставшиеся поля:  электромагнитными, слабые и сильные, со всей своей архитектурой. По сути дела «наш»  мир это гравитационное поле, а вся остальная материя и остальные взаимодействия это колебаний разных частей этого поля.

 В микромире, на “планковских” масштабах пространство начинает проявлять свою  квантовую сущность. Идея квантов пространства наиболее полно описывается теорией петлевой квантовой гравитации (ПКГ) успешно развиваемой К. Ровелли и К⁰[1]. Проводя аналогию между электромагнитным и гравитационным полем, он пишет «..ключевое различие между фотонами (квантами электромагнитного поля) и …квантами гравитации состоит в том, что фотоны существуют в пространстве, тогда как кванты гравитации представляют собой само пространство. Фотоны характеризуются местом, «где они находятся». Кванты пространства не имеют места, где они могут находиться, поскольку они сами являются местом ».

Сам Ровелли с осторожностью относится к кванту пространства,  например, в качестве кванта им приводится fuzzy-обьект без всякой деталировки (левая, нижняя часть рисунка 1). Вместо этого вводится  аналог силовых линий в виде спиновых сетей с узлами на квантах и определяя  квантовые операторы в гильбертовом пространстве от  площадей и объемов через переменные  Ашкетара [2], строится геометрия дискретного квантового пространства и его гравитационные искривления*.

Привет, Хабр! Меня зовут Александр Троицкий, я автор канала AI для чайников, и сегодня я расскажу про самую популярную у дата саентистов модель машинного обучения - градиентный бустинг.

Алгориитм Шора — квантовый алгоритм факторизации (разложения числа на простые множители), позволяющий разложить число M за время O((logM)^3) используя O(log M) логических кубитов.

Алгоритм Шора был разработан Питером Шором в 1994 году. Семь лет спустя, в 2001 году, его работоспособность была продемонстрирована группой специалистов IBM. Число 15 было разложено на множители 3 и 5 при помощи квантового компьютера с 7 кубитами.

Алгоритм Шора состоит из 2-х частей - квантовых и классических вычислений.

Квантовая часть алгоритма отвечает за определение периода функции с помощью квантовых вычислений.

Классические вычисления решают задачу как по найденному периоду степенной функции найти разложение на сомножители.

Практически, схема этого алгоритма полностью повторяет схему алгоритма Саймона, с отличием в последнем шаге - вместо применения оператора Адамара перед измерением входного регистра, используется оператор преобразования Фурье.

А какие есть ещё варианты определить период функции используя квантовые вычисления?

Когда-то ранее я писал статьи про способы сравнения (поиска фрагмента) изображений, поиска частоты сердечных сокращений с использованием операции вычисления скалярного произведения, которую я делал с помощью свёртки на основе БФП.

• Фурье-вычисления для сравнения изображений

• Определение частоты сердечных сокращений методом корреляции с использованием быстрых Фурье преобразований

а так же начал повторять эту технологию при квантовых вычислениях

• Изучаем Q#. Алгоритм Гровера. Не будите спящего Цезаря

Так почему бы не повторить успешный успех и, заодно, обобщить теорию вопроса?

Допустим, вы хотите отправить личное сообщение, провести тайное голосование или надёжно подписать документ. Если вы выполняете любую из этих задач на компьютере, то для обеспечения безопасности ваших данных вы полагаетесь на шифрование. Это шифрование должно выдерживать атаки взломщиков, работающих на своих собственных компьютерах, поэтому современные методы шифрования основаны на предположениях о том, какие математические задачи компьютерам сложно решать.

Но когда в 1980-х годах криптографы заложили математические основы этого подхода к информационной безопасности, несколько исследователей обнаружили, что вычислительная сложность — не единственный способ защитить секреты. Оказалось, что квантовая теория, изначально разработанная для понимания физики атомов, глубоко связана с информацией и криптографией. Исследователи нашли способ обеспечить безопасность нескольких конкретных криптографических задач непосредственно на основе законов физики. Но эти задачи были странными исключениями — для всех остальных, казалось, не существовало альтернативы классическому вычислительному подходу.

К концу тысячелетия исследователи квантовой криптографии думали, что на этом история закончилась. Но всего за несколько последних лет в этой области произошёл ещё один сейсмический сдвиг.

Это перевод популярного лонгрида Тима Детмерса "Выбор графического процессора для глубокого обучения: мой опыт и советы".

Глубокое обучение (Deep learning, DL) - область с высокими вычислительными требованиями, и выбор графического процессора будет в корне определять ваши возможности в этой сфере. Какие характеристики важны при выборе нового GPU? Оперативная память GPU, ядра, тензорные ядра, кэш? Как сделать экономически эффективный выбор? Мы рассмотрим эти вопросы, заодно разберемся с распространенными заблуждениями, разберемся в характеристиках GPU, дадим советы, которые помогут вам сделать правильный выбор.

Леопольд Ашенбреннер, бывший сотрудник OpenAI из команды Superalignment, опубликовал документ под названием «Осведомленность о ситуации: Предстоящее десятилетие», в котором он делится своим видением будущего ИИ. Основываясь на своих знаниях в этой области, Ашенбреннер предсказывает стремительное развитие искусственного интеллекта в ближайшее десятилетие.

Мы прочитали этот документ объемом в 165 страниц за вас. В этой статье расскажем о ключевых идеях Ашенбреннера и о его прогнозах на будущее искусственного интеллекта.

Прошло уже несколько месяцев с момента публикации первой части этой статьи. В комментариях я обещал продолжение, но случился некоторый форс-мажор с жёстким диском, и почти готовая статья, а вместе с ней и ряд других материалов, были безвозвратно утеряны. Конечно, кое-что удалось восстановить из бэкапов, однако эта ситуация на некоторое время несколько выбила меня из колеи. Несмотря на подобное достаточно неприятное событие, обещание нужно выполнять. Поэтому заново написал вторую часть и теперь предлагаю её вашему вниманию.

В прошлой статье я достаточно подробно рассказывал об истории этого математического артефакта и учёных, занимавшихся его исследованием на протяжении нескольких сотен лет. Напомню, что треугольник Паскаля представляет собой бесконечный треугольный массив биномиальных коэффициентов, в котором на вершине и по бокам находятся единицы, а каждое число из тела массива равно сумме двух расположенных над ним чисел.

Как я и ChatGPT писали текстовый генератор. Есть несколько изюминок

Модель нейросети больше, чем предложил чат-бот и она обучается нестандартным способом.

Вдогонку к сюжету про матрицы Паули, решил провести параллель с матрицами Дирака, которые состоят из матриц Паули.

Статья так же в рамках жанра кейс. В этот раз напишу кратко, просто наблюдаемые математические факты.

Так как рецептом в данном случае является принцип, а не формула, то в этот раз под кат убрать нечего. Так же не смогу привести подробно символьные вычисления, потому что промежуточные результаты не входят в страницу даже самым мелким шрифтом. Поэтому привожу только результаты, и поэтому тип статьи "сложно".

Теоретически, если развить данную идею, то можно будет в рамках геометрической алгебры построить любое количество измерений. Поэтому делюсь идеей для тех, кого это интересует.

Действительно ли конструкция ниже описывает девять измерений, нужно изучать, это пока предположение.

Искусственный интеллект продолжает свое развитие. И все чаще от разных компаний мы слышим про сильный ИИ. Но что это и стоит ли ждать его создания в ближайшее время?

Содержание
- Введение
- Ограничения на пути к сильному ИИ
- Резюме

Введение

Сильный или общий ИИ (AGI) – это ИИ, который может ориентироваться в меняющихся условиях, моделировать и прогнозировать развитие ситуации. Если ситуация выходит за стандартные алгоритмы, то он должен самостоятельно найти ее решение. Например, решить задачу «поступить в университет». Или изучить правила игры в шашки, и вместо шахмат начать играть в шашки.

Какими качествами должен обладать такой ИИ?

Мышление - использование таких методов как дедукция, индукция, ассоциация и т.д., которые направлены на выделение фактов из информации, их представление (сохранение). Это позволит точнее решать задачи в условиях неопределённости.

Память - использование различных типов памяти (кратковременная, долговременная). Может быть использована для решения задач опираясь на предыдущий опыт. Даже если Вы попробуете пообщаться с ChatGPT 4, то увидите, что алгоритм обладает небольшой краткосрочной памятью, и через 10-15 сообщений забывает, с чего все начиналось. Вообще, по моему мнению, вопрос памяти и «массивности» ИИ-моделей станет ключевым ограничением в развитии ИИ. Об этом чуть ниже.

Планирование - тактическое и стратегическое. Да, уже есть исследования, которые утверждают, что ИИ может планировать свои действия и даже обманывать человека для достижения своих целей. Но сейчас это все равно только в стадии зарождения. И чем глубже будет планирование, особенно в условиях неопределенности, тем больше нужно мощностей. Ведь одно дело планировать игру в шахматы на 3-6 шагов в глубину, где все правила четкие, а другое в ситуации неопределенности.

Этот текст логически состоит из трёх частей. Сначала кратко расскажу про геометрическую алгебру с точки зрения математики. Потом расскажу как можно взять одну конкретную алгебру и использовать её для описания вращения и перемещения тел. И вишенка на торте - покажу, как будут выражаться физические сущности типа силы и момента, импульса, момента инерции и уравнений движения тел.

В данной статье представляю читателям мой новый сайт и интерактивную веб-программу на нем.

Примерно полтора месяца тому назад я опубликовал на хабре статью. рассказывающую о расслоении Хопфа и его визуализации на экране компьютера. Напомню, что расслоение Хопфа позволяет, в некотором смысле, визуализировать трехмерную сферу при помощи обычных окружностей называемых "окружностями Хопфа".

Вскоре после публикации этой статьи я обнаружил в интернете материал, в котором вместо окружностей Хопфа использовались прямые линии. Весь этот материал представляет собой всего один рисунок (даже не скриншот программы), на котором можно увидеть двойственность между окружностями и прямыми. На сайте можно увидеть данный рисунок и ссылку на этот материал. Никаких других материалов, сайтов или визуализаций на эту тему найти больше не удалось.

Поэтому я решил дополнить свою программу визулизации расслоения Хопфа новыми возможностями связанными с заменой окружностей Хопфа на прямые линии (и не только). Сразу скажу, что при использовании прямых в этом расслоении получается не тор, а гиперболоид. Это само по себе, на мой взгляд, является весьма нетривиальным фактом.

Обращу внимание еще на один интересный момент. На всех сайтах и статьях, которые мне удалось найти, программа визуализации расслоения Хопфа создается хотя и с привлечением комплексного пространства и сферы Римана, но без явного использования элементов квантовой механики, понятия спина электрона и квантовых вращений. Обычно для этой визуализации используются кватернионы. Но кватернионы при их практическом применении требуют хороших соответствующих знаний и навыков.

Привет, Хабр! Меня зовут Миша Паутов, я аспирант Сколтеха и научный сотрудник группы Доверенные и безопасные интеллектуальные системы Института AIRI. Совсем недавно вместе коллегами мы предложили новый метод  создания цифровых водяных знаков для нейронных сетей. Такие объекты, по-другому называемые ватермарками, можно использовать для определения того, что вашу нейросеть кто-то скопировал и выдаёт за свою. Здесь я расскажу, в чем состоит идея предложенного метода, а более детально о нем можно почитать в препринте статьи, принятой на международную конференцию IJCAI. 

Простые числа удивительны!

С одной стороны, их легко объяснить: это просто числа, которые делятся только на единицу и на себя; с другой стороны, они содержат в себе бесконечную сложность. Они встречаются во множестве разных сфер, от математических концепций и гипотез до любопытных визуализаций и криптографии, лежат в основе многих Интернет-стандартов и протоколов безопасности, которые мы используем ежедневно.

Несмотря на моё восхищение простыми числами, я никогда не исследовал их подробно, поэтому решил бросить себе вызов. А есть ли лучший способ изучить простые числа, чем воспользоваться моей любовью к кодингу для их генерации?

Вызов

Но какие простые числа мне генерировать? Нахождение миллиардного числа — это слишком просто, а попадание в таблицу рекордов самых больших известных простых чисел — слишком амбициозная задача для первой попытки. Соединив простые числа и интерес к криптографии, я придумал такую задачу:

Генерировать простые числа, способные генерировать ключи для алгоритма RSA

На момент написания этой статьи хорошей длиной ключей RSA считаются 2048 битов. Ключи RSA генерируются перемножением двух простых чисел, так что для получения 2048-битного ключа нам нужны два числа длиной примерно 1024 бита. Это ограничивает рамки задачи генерацией 1024-битных простых чисел. Теперь вы знаете, откуда взялось число из заголовка поста.

— Сейчас мы начнём взлетать. Будет трясти. Пожалуйста, кричите тише.

На данную тему была написана не одна сотня статей, но во всех, что видел, для построения двоичного дерева поиска использовались структуры по типу приоритетной очереди, хотя достаточно отсортировать массив частот в порядке убывания и отбрасывать последние две буквы с самыми маленькими частотами из алфавита, объединяя их в новую "псевдо-букву", но можно даже обойтись без постройки бинарного дерева поиска, чтобы сжать данные. В этой статье хотел представить реализацию данного алгоритма на языке C++.