Как я получил Perplexity~26 на сверхмалой модели трансформерного типа собственной разработки (16M параметров, сверхмалый датасет) на тестовом корпусе и выжал Val Accuracy~0.982 на временных рядах (физических данных, EEG).

Введение: Кризис смысла в эпоху больших данных

Начну немножко издалека. Мы живем в парадоксальное время. Искусственный интеллект окружает нас повсюду: он пишет тексты, рисует картины, решает сложные задачи. Но за этим фасадом цифрового всемогущества скрывается фундаментальная, почти метафизическая проблема: наши самые продвинутые модели не понимают ровным счетом ничего. Те, кто сколько-либо погружен в сферу ML, это прекрасно знают. Представьте библиотеку, где каждый книга идеально описана, проиндексирована и взаимосвязана, но нет ни одного читателя, способного понять смысл написанного. Это - точная метафора современного ИИ. GPT-4, Gemini, Claude - это блестящие имитаторы, статистические попугаи, оперирующие символами без малейшего представления об их значении. Они могут рассуждать о физических явлениях, но не понимать их, анализировать метафоры, но не схватывают их суть, генерировать тексты о боли и радости, оставаясь абсолютно пустыми внутри.

Этот разрыв между формой и содержанием, между синтаксисом и семантикой, является последним крупным барьером на пути к настоящему искусственному интеллекту. Но, возможно, есть решение как это обойти. Что если вместо того, чтобы заставлять машины имитировать мышление, создать для них среду, где мышление возникает естественно - как возникают волны в океане или мысли в человеческом мозге?

SemantML: От статистики к семантической нейродинамике

Хочу вас познакомить с проектом под названием SemantML - радикально новый подход к созданию ИИ, который отказывается от парадигмы "обучения на текстах" в пользу "мышления в смыслах". Гипотеза проста и одновременно нова: сознание - это не алгоритм, а динамический процесс в семантическом пространстве, и чтобы создать искусственный разум, нужно сначала создать для него "дом" - среду, где могут рождаться и взаимодействовать смыслы.

Идея этого исследования, которое привело к формализации абсолютного конструктивного предела математики, возникла в процессе разработки гугологического фреймворка BeyondNumbers на Python — системы, предназначенной для формального описания и классификации чрезвычайно больших чисел и функций, растущих быстрее всех известных конструктивных процессов.
В ходе этой работы естественно возник вопрос: существует ли предельно большое конечное число (или ординал), которое можно получить, оставаясь в рамках конструктивной математики, например ZFC или аналогичных систем? Что-то вроде конструктивного аналога числа Rayo— но формализуемого в рамках доказуемых систем, например CZF.

На интуитивном уровне кажется, что ответ — нет. Какое бы большое конечное число мы ни зафиксировали, всегда можно прибавить 1, применить новую функцию, ввести новую иерархию. Однако строгое рассмотрение показывает, что это рассуждение применимо лишь к числам, но не к ординалам, описывающим скорость роста функций: для достаточно сложных конструкций операции вроде +1, умножения или возведения в степень перестают менять принципиальный порядок роста. Иными словами, мы можем говорить о предельной скорости роста — не отдельного числа, а конструктивного ординала, который задаёт границу всех конечных процедур в пределах данной теории.

Наверное, все слышали хотя быв общих чертах про число Лоадера, очень большого гугологического монстра. Но если нет, то вкратце Loader's number — это одно из самых больших чисел, когда‑либо появившихся в серьёзном математическом контексте, и оно знаменито именно в сообществе гугологов.Оно было получено в 2002 году программистом Ральфом Лоудером в результате работы его программы, которая выиграла соревнование по написанию самой эффективной программы для вывода в Лямбда‑исчислении. Почему оно так знаменито и так велико? Не просто «большое», а «максимально эффективное». Программа Лоудера была настолько оптимизирована, что, по мнению многих специалистов, она достигает практического предела мощности для вычислимой функции в рамках Лямбда‑исчисления. Она создает число, которое, вероятно, является самым большим вычислимым числом, когда‑либо явно описанным с помощью столь компактной программы. Основа — лямбда‑исчисление. Это не просто алгоритм, написанный на C++ или Python. Он работает в фундаментальной системе, которая является основой функционального программирования и самой теории вычислимости,что придает числу огромную «математическую плотность». Ну и как вишенка на торте — оно превосходит других гигантов: Число Лоудера невероятно больше, чем многие другие известные «большие числа», такие как распиаренное число Грэма или даже числа, сгенерированные быстрорастущей иерархией на низких уровнях. Его мощность находится на очень высоких ординалах.

Теория трансрекурсивного роста (TRT) впервые: строит математически строгий горизонт между вычислимыми и невычислимыми функциями; формализует непрерывный аналог Быстро-Растущей Иерархии (Fast-Growing Hierarchy); вводит метрику порядковой сложности чисел и функций; показывает, что экспоненты, итерации и порядковая рефлексия образуют единый принцип суперпозиционного роста; конструирует лимитирующий класс функций TRANSCEND как обладающий свойством максимально возможного темпа роста среди всех вычислимых функций, завершая поиск «самой быстрорастущей вычислимой иерархии» в современной гугологии. формирует новое представление о пределах конструктивной математики и «скорости света» в мире вычислимого.

Вы когда-нибудь задумывались, почему в нашей культуре, истории и цивилизации такую высокую роль отвели числу 7? 7 нот в музыке (классическом нотном стане), 7 дней в неделе, 7 цветов радуги и далее по списку. Почему это число еще с древности у человека на хорошем ходу? Седьмое небо, семь раз отмерь один отрежь, семь богатырей, семь чудес света, продолжите можете сами.... А знаете, что еще любопытнее? Я уверенно заявляю, что если мы когда-нибудь встретим разумных инопланетян и сумеем наладить с ними контакт, понять их культуру, то с удивлением обнаружим, что у них почти наверняка также будет 7 основных цветов в их «радуге», 7 дней в их «неделе» и 7 нот в их «музыке», чем бы ни являлись их музыка, неделя и радуга. Почему так? Сейчас поймете.

Вместо краткого введения. Активно использую в работе DeekSeek уже чуть больше двух недель, очень доволен им и в целом продуктивность и скорость работы выросли. Но рассказать хотелось бы не об этом, точнее, не совсем об этом.

Накануне, лежа поздним вечером на диване в попытке переключиться на другие, не связанные с рабочим контекстом материи, думая о разных абстракциях, стал рассматривать интересную аналогию. Если кратко, можно найти соответствие между базовыми арифметическими операциями и общеизвестными математическими понятиями, функциями и онтологическими, смысловыми категориями философского или физического мира. Например, сложение - это линейное увеличение масштаба сущности, соответственно, вычитание - линейное уменьшение. Умножение требует уже двух (как минимум) разных типов категорий и представляет собой их суперпозицию, нечто, обладающее эмерджентными свойствами, несводимыми к сумме свойств категорий по отдельности. Ну то есть, пример из физики. Длина пройденного пути есть произведение скорости движения тела на время движения (при условии равномерного движения без действия сил). Длина пути обязательно включает произведение, "пересечение" свойств скорости движения и времени пути, не может быть просто их суммой. Деление, соответственно, можно представить как вычленение свойств сущности числителя из свойств сущности в знаменателе, как бы отделение ядра первого от ядра второго. "0" - философское, физические и метаабстрактное ничто. И так далее. В общем, грубые наброски некой метаабстрактной смысловой, онтологической алгебры. В какой-то момент стало интересно, насколько все это бестолковые блуждания уставшего мозга программиста или же подобные аналогии как-то рассматриваются и применяются где-то, в направлении теории множеств, некой метаматематике или философской математике, к примеру. Я скормил несколько подобных идей DeekSeek и он ответил, что в моих рассуждениях что-то есть и на основе аналогий математических понятий и смысловых абстрактных понятий и философского и физического мира можно создать концепт для междисциплинарной науки.

Однажды, несколько лет назад, доводилось делать тестовое задание для трудоустройства на работу в одну компанию, где в качестве задания стояла задача разработать нестандартный алгоритм симметричного шифрования на высокоуровневом яп, идейно в чем-то непохожий на классику жанра — операцию xor исходного сообщения и секретного ключа. Задание было худо бедно сделано, но сама идея создания интересного нетривиального алгоритма засела в голове надолго.

И, на данный момент из нее получилось то, что я назвал GenCoder.