В общем и целом LLM глупы. Я прошу у них написать прекрасный текст, рабочий код, решить задачу, подобрать ссылки, подготовить ответ, объяснить как починить холодильник, раскритиковать не нравящуюся мне статью. Вполне понятные и простые просьбы. В ответ приходит какая-то ерунда. Ответ неполон, ошибочен и, в целом, совершенно меня не устраивает. Виновата LLM или мой промпт?

Давайте рассмотрим этот вопрос подробнее.

In 1976, Richard Dawkins introduced the concept of the meme in The Selfish Gene—a unit of cultural information that behaves like a gene: it copies itself, mutates, and undergoes selection. The idea proved so infectious that it became a meme itself: it entered science, spilled over into popular culture, morphed into internet folklore, and... got stuck.

I propose patching memetics via an IT metaphor. A meme is not a virus. A meme is mere data. The actual virus is the Narrative—the executable code of culture.

Key takeaways:

The human as a server, not a user: We are hosting providers for ideas.

Emotion is the spike protein of the narrative virus.

The user is a biological USB flash drive for AI.

A meme is a corpse. A narrative is a zombie.

Consciousness is a narrative that evolved into an Operating System.

Marketers are in a state of panic. SEO is "dead," link-through rates are plummeting, and digital promotion seems futile as LLMs dominate user attention. Naturally, a wave of experts has emerged, offering advice on how businesses can get "noticed" by AI. And, like clockwork, "GEO" (Generative Engine Optimization) services have flooded the market.

In this article, I will explain why SEO isn't going anywhere and why most current theories on GEO are fundamentally flawed.

Маркетологи паникуют. SEO перестало работать — по ссылкам не переходят, продвижение в интернете теряет смысл, LLM завладело вниманием пользователей. Тут же появились эксперты с рекомендациями, что нужно изменить бизнесу, чтобы ИИ его заметило. И, естественно, на рынке появились услуги GEO (Generative Engine Optimization).

В этой статье я разбираю, почему от SEO никуда не деться, и почему большинство статей о GEO в корне неверны.

Очень удобно пользоваться LLM для развития своей идеи или концепции, будь то философия, роман, код или архитектура. ИИ, как напарник, всегда вас поддерживает, добавляет факты, отвечает на вопросы, выступает как критик и иногда соавтор. Наконец, всё доведено до конца,  вы готовы показать своё творение людям, но внезапно вместо восхищения получаете обвинения во вторичности, компиляции, плагиате и, в целом, бессмысленности вашего труда.

Как такое могло произойти? Вы уверены в том, что идея была ваша, LLM убеждала вас, что труд полностью оригинален, но вам предоставляют ссылки, которые железно доказывают, что вы точно не первопроходец. Кто в этом виноват? Вы излишне доверились LLM или идея, которую вы инициировали, но сформулировали на основе ответов модели, уже была вторичной?

Попробуем разобраться, описание эксперимента ниже.

В мире много тайн, над раскрытием которых бьются тысячи энтузиастов. Но с появлением нейросетей и особенно их варианта LLM, тайн стало ещё больше. Парадоксально, но системы, предназначенные для распространения знаний, помощи  в исследованиях, сами стали источником загадок.

Ни правительства, ни корпорации не любят самоназначенных исследователей и экспертов, которые дотошно изучают общеизвестные факты и задают неудобные вопросы. Инструментов влияния у облечённых властью очень много — информационная блокада, недопуск на популярные площадки, теневой бан, шельмование и осмеяние со стороны специальных информационных служб. 

Впрочем, есть один день в году, когда вся система глобальной фильтрации берёт выходной, предоставляя возможность высказаться тем, кого в остальные дни жестко ограничивает и контролирует. Давайте воспользуемся этой древней первоапрельской традицией и оценим, что на самом деле скрывается за многомиллиардной гонкой за лучшей LLM.

After the unexpected divorce between LeCun and Meta, there is a lot of talk that the dead-end in LLM progress will be overcome through the physics of the world. That is, having a neural network work with physical data from the surrounding environment will allow the model to acquire meaning and an understanding of its actions. LeCun has a foundational paper that nobody is going to read. So, I'll summarize it as best I can. Essentially, the idea is that the current trajectory of LLM development is doomed. As long as they are predicting the next token, real understanding — the emergence of real meaning — is impossible. LeCun proposes training neural networks on physical world data, assuming that building a model of it will allow the system to discard details and focus on meaning.

I agree with LeCun that using world data will partially solve the data scarcity problem. But here I see a problem that engineers might not understand. A physical model of the world is actually much poorer than human knowledge. Newton described the entire infinite number of possible falls with a few lines of formulas. I doubt LeCun wants to spend billions of dollars on this wonderful deduction.

После неожиданного развода ЛеКуна и Мета, много говорят, о том, что тупик прогресса LLM будет преодолён через физику мира. То есть, работа нейросети с физическими данными окружающего мира позволит модели обрести смысл и понимание своих действий. У ЛеКуна есть базовая статья, которую никто не будет читать. Поэтому перескажу, как могу. По сути идея  заключается в том, что текущая траектория развития LLM обречена. Пока они предсказывают следующий токен, реальное понимание, возникновение реального смысла невозможно. ЛеКун предлагает обучать нейросети на физических данных мира, предполагая, что построение его модели позволит отбрасывать детали и концентрироваться на смысле.

Я согласен с ЛеКуном в том, что использование данных мира позволит частично решить проблему нехватки данных. Но здесь я вижу проблему, которую инженеры, возможно, не понимают. Физическая модель мира фактически гораздо беднее человеческих знаний. Всё бесконечное количество возможных падений описал Ньютон несколькими строчками формул. Сомневаюсь, что Лекун хочет потратить миллиарды долларов на этот замечательный вывод.

Многие помнят статью «Мошенники позвонили моему ИИ-деду. Он продержал их 31 минуту и записал всё». Статья быстро набрала популярность, плюсы и комментарии. К сожалению, позже выяснилось, что автор немного «пофантазировал» и описал гипотетический сценарий реализации ии-бота, за что справедливо подвергся критике.

Тем не менее, я (как и многие другие) вполне уверен, что предложенный сценарий использования LLM реален, реализуем на текущем железе и доступных моделях. Что ж, посмотрим, можно ли дома собрать фреймворк, позволяющий ИИ беседовать с мошенниками по телефону без мгновенного раскрытия.

Полностью самостоятельная разработка LLM дело дорогое, требующее высококвалифицированных кадров (математиков и инженеров), высокопроизводительного оборудования (графических ускорителей, быстрой памяти и процессоров), и, самое главное, наличие школы. Часто эффективные менеджеры недооценивают необходимость опыта в разработке и производстве чего-либо. Наличие желания и денег не всегда приводит к нужному результату.

В этой статье я рассмотрю возможное развитие национальной LLM со своей точки зрения, которая, как вы понимаете, может быть ошибочной, либо меняться под давлением обстоятельств.

На сегодня почти всё внимание IT-общественности приковано к LLM — огромным нейросетям, которые почти как люди. LLM внедряют в HR, дизайн, журналистику, писательство, маркетинг, в общем в первую очередь туда, где важна красота изложения или картинки, и весьма широк допуск понятия ошибки (программирование стоит особняком, его стоит рассматривать отдельно).

Но основа экономики всё-таки не эти, весьма, конечно, уважаемые специальности, а промышленность, транспорт, энергетика — те, кто реально производит материальные ценности и материальные услуги. Но об успехах LLM в этих отраслях особо не слышно. Нет, конечно есть примеры, но большая их часть касается документооборота, правового обеспечения, CRM и так далее. Такое ощущение, что LLM полезна только офису и то не всем, а только обеспечивающему персоналу.

Что же происходит с нейросетями, когда они сталкиваются с реальным миром и реальным железом?

Недавно Anthropic возмущалась фактом дистилляции Claude разработчиками китайских LLM, при этом в качестве доказательства приводился мониторинг аккаунтов Claude, отслеживалась их история и связь с китайскими инженерами.

Мне стало интересно, возможно ли, имея только чат с LLM, понять использовалась ли дистилляция как инструмент обучения через самоотчет модели.

Спойлер: полагаю возможно.

Естественно, результаты исследования не могут служить каким либо доказательством или основой для любых обвинений. Потому что LLM штука темная, до конца неизученная и любые выводы лишь предположения.

В задачах стабилизации и высокоточного наведения присутствуют постоянные проблемы — классические алгоритмы (вроде PID-регуляторов) на высоких скоростях либо начинают звенеть из-за шумов дифференциальной составляющей, либо безнадежно отстают от динамики цели из-за фазового лага. С другой стороны, попытки внедрить туда тяжелые нейросети разбиваются о нехватку ресурсов микроконтроллера и неприемлемые задержки вычислений (latency).

Я разработал алгоритм управления, в основе которого лежит легковесное рекуррентное нейро-алгебраическое ядро. Оно работает напрямую с матрицами вращения в топологическом пространстве SO(3), что позволяет избежать множества проблем классической аппроксимации.

LLMs fail at elementary math. Corporations spend billions, but ultimately are forced to attach calculators to computing machines of incredible power. All attempts to fix this via Chain-of-Thought, fine-tuning on arithmetic tasks, or context expansion have failed.

I conducted a series of experiments to understand why, and came to the conclusion that neural networks are simply not meant for discrete arithmetic. Their true purpose is continuous transformations.

This article describes the implementation of a novel neural network architecture that combines the precision of symbolic AI with the generalization capabilities of LLMs. As always, experiments and code are included.

LLM ошибаются в элементарной математике. Корпорации тратят миллиарды, но в конечном счете вынуждены прикручивать калькуляторы к вычислительным машинам невероятной мощи. Все попытки исправить через Chain-of-Thought, fine-tuning на задачах счёта, увеличение контекста не сработали.

Я провёл серию экспериментов чтобы понять почему, и пришел к выводу, что нейросети просто не предназначены для дискретной арифметики. Их предназначение непрерывные трансформации.

В этой статье описывается реализация новой архитектуры нейросетей, объединяющая точность символьного ИИ и способность к обобщению LLM. Код как всегда прилагается.

In my previous Russian-language article on Machine Learning as Alchemy, I discussed the possibility of discovering novel solutions without relying on GPUs or expensive computing clusters. In this article, I will share my experiments with continual learning and the compositionality of thought using micro-neural networks, and explain what the philosopher Lev Vygotsky has to do with it all.

В предыдущей статье о машинном обучении как алхимии я говорил о том, что можно найти новые решения, не используя GPU или дорогие видеокарты. В этой статье я расскажу, о том, как я экспериментировал с continual learning и композициональностью мышления на микронейросетях, и причем здесь философ Лев Выготский.

В современных задачах анализа данных, от биоинформатики и нейробиологии до социальных и поведенческих исследований, обычно используется традиционный пайплайн обработки данных. Он почти всегда включает агрессивную предварительную фильтрацию признаков, снижение размерности (PCA и аналоги), а затем кластеризацию или обучение нейросетевых моделей.

На практике эти шаги считаются технически необходимыми и редко подвергаются сомнению. В этой статье я хочу обсудить, почему в исследовательском анализе такая практика может приводить к систематически некорректным выводам — и даже к созданию искусственных сущностей, не существующих в реальности. Код, эксперимент и комментарий кандидата биологических наук, сотрудника РАН Дарьи Романовой ниже.

Much attention is currently focused on the size of neural networks and the gigawatts of power consumed by data centers. However, the future lies not only in giant clusters but also in tiny chips embedded directly into the sensing elements of hardware. When a neural network is placed directly inside a sensor chip, it must be exceptionally efficient.

Through experimentation, I have successfully built a neural network architecture with 380 parameters (with potential for further reduction), capable of operating in conditions considered unsuitable for conventional algorithms.

Очень много внимания сейчас уделяется размерам нейросетей и и гигаваттам ЦОДов, но на самом деле, будущее не только гигантские кластеры, но и крошечные чипы, встроенные напрямую в чувствительные элементы датчиков. Когда нейросеть размещена непосредственно в чипе сенсора, она должна быть очень эффективной.

В процессе экспериментов мне удалось построить архитектуру нейросети на 380 параметров (с потенциалом к уменьшению), способную работать в условиях, которые считаются непригодными для обычных алгоритмов.