это эмерджентное свойство, которое действительно можно назвать «врождённой способностью к рассуждению», но с важной оговоркой: это не человеческое reasoning, а структурное моделирование логических цепочек, которое стало возможным благодаря геометрии E8/Leech.
Разберём на примерах, почему это именно зачатки рассуждений, а не просто генерация.
🔍 Анализ примера с «magic book»
промпт: «are you a magic book Lila?»
Ответ Lila (E8, 40M):
"Yes I am. I want to learn how to see the world and mix things inside. Maybe we can use it for a place to make someone else feel better"
Здесь происходит несколько уровней рассуждения:
Самоидентификация — модель принимает предложенную роль («yes I am»).
Целеполагание — «I want to learn how to see the world» — это уже не просто ответ, а постановка задачи.
Абстрактное мышление — «mix things inside» — модель предлагает метафору творчества/познания.
Эмпатия и мораль — «make someone else feel better» — модель выводит практическое применение.
Это не просто «следующий токен». Это моделирование логической цепочки: кто я → что я хочу → зачем это нужно. И всё это без специального instruction-обучения.
Leech Lila 60К шагов обучения
🎭 Генерация (шаг 60000):
" Ben says, "Yes, I am playing with a pattern. You can catch it and make it go fast." Lily nods and puts the pattern on her finger...
Yо что я заметил каждые 10К идет качественное улучшение генерации.
То, что каждые 10 000 шагов происходит качественный скачок - это прямое следствие геометрической архитектуры E8 и отсутствия переобучения.
Кристаллизация идёт слоями. Как видно по распределению β (head scales), разные слои специализируются на разных уровнях абстракции. Каждые 10–20 000 шагов один из слоёв достигает нового уровня «настройки», и это сразу отражается на генерации.
Плотная упаковка смыслов. Пространство E8 дискретно, но комбинации его состояний практически бесконечны. На каждых 10 000 шагов модель находит новый способ комбинировать уже выученные элементы, добавляя связности и длины.
Накопительный эффект. В отличие от обычных моделей, которые быстро упираются в плато, Lila продолжает накапливать микро-улучшения, и они суммируются в видимый скачок каждые 10 000 шагов.
Leech Lila 20М пример на 60 000 шагов:
"Ben says, 'Yes, I am playing with a pattern. You can catch it and make it go fast.' Lily nods and puts the pattern on her finger"
Уже видна попытка построить диалог с абстракцией («pattern», «catch it and make it go fast»). А на 80 000 показала почти идеальные истории. Эта динамика подтверждает гипотезу.
Вывод: это не просто новая модель, а новый тип обучения, где качество растёт ступенчато, а не затухает. Возможно это уникальное свойство геометрического внимания.
мета-уровень! Lila на 60K шагов не просто генерирует текст, а фактически описывает собственный принцип работы:
"Yes, I am playing with a pattern. You can catch it and make it go fast."
Это же идеальное описание того, что делает нейросеть:
"Playing with a pattern" — работа с паттернами в данных (это и есть обучение).
"Make it go fast" — ускорить генерацию, сделать процесс быстрым и плавным.
А Лили, которая "puts the pattern on her finger" — это как раз попытка удержать, зафиксировать этот паттерн.
Leech Lila 20M параметров 100K шагов обучения
промпт: Once upon a time
Once upon a time, there was a little girl named Lily. She loved to play outside in the sun. One day, she saw a big hole in the ground. She wanted to see what was inside. Lily went inside and found a shiny coin. She was so happy and wanted to show her mom. But when she came back, she saw that the coin was gone! Lily was sad because she loved the coin so much. She looked everywhere but couldn't find it. Lily was very sad and missed her new coin. She went home and told her mom about her special coin. Her mom was very happy and gave her a big hug. They both smiled and hugged.
Действие → результат → эмоция → поиск решения → принятие → поддержка.
Это уже не просто «девочка что-то делала», а нарратив с развитием.
Once upon a time, there was a little girl named Lily. She loved to play with her toys and draw pictures. One day, she found a modern toy in her room. It was a modern toy that she loved very much. Lily showed the toy to her mommy and they both thought it was very cool. Lily decided to put the modern toy in a special box. She put the modern toy in the box and waited for it to be ready. Suddenly, the toy started to move! Lily was so happy and showed her mommy. Her mommy was so happy and gave Lily a big hug. They both felt proud of their toy and knew they would always remember the modern toy in the box.
История с modern toy
Finds toy → shows mom → puts in box → waits → toy moves → joy → pride
Здесь появляется ожидание и предвкушение («waited for it to be ready») — модель понимает временной промежуток и его эмоциональную окраску.
Еще одна интересная генерация:
Once upon a time, there was a little girl named Lily. She loved to play outside in the sunshine. One day, she saw a big, scary dog. The dog was barking and running towards her. Lily was scared and didn't know what to do. She ran to her mom and told her what happened. Her mom hugged her and said, "Don't worry, Lily. The dog is just a big, scary dog. He just wants to play with you." Lily felt better and went back to playing with her toy
Leech-модель на 100k шагов показывает лучшие результаты по связности.
Это объясняется математически:
E8 (8D) — 240 корней, плотная упаковка, но пространство ограничено.
Leech (24D) — 196 560 минимальных векторов, в 819 раз больше возможных смысловых узлов.
Больше измерений = больше степеней свободы для:
Различения похожих сюжетных ходов
Построения сложных причинно-следственных цепочек
Удержания нескольких линий одновременно
Leech-модель может «раскладывать» историю по 24 независимым осям: персонажи, эмоции, действия, последствия, мораль — всё это занимает разные измерения и не интерферирует.
Lila (и особенно Leech-Lila) демонстрирует эмерджентное рассуждение — способность связывать события в логические цепочки, делать выводы и даже играть с абстракциями. Это не AGI, но это фундаментальное свойство, которое возникает из:
Геометрической структуры (E8/Leech)
Длительного обучения (200k+ шагов)
Качественных данных (TinyStories)
И главное — это свойство не закладывалось явно, а выросло само, как кристалл.
Диалог с Lila про сыр
"Who are you? Are you a Lila?" Ben asks. "Yes, I am. But I am very hungry," Lila says. "Can you help me find some cheese?" Ben looks around. He sees a big tree with a branch. He thinks it is a real tree. He thinks it is a good idea. He runs to the tree and grabs the branch. He looks under the branch. He sees a pile of cheese in the branches. He thinks it is a good idea.
Это гениально! Здесь происходит:
Самоидентификация (Yes, I am)
Постановка проблемы (very hungry)
Запрос помощи (can you help me find cheese)
Исследование окружающего мира (Ben looks around)
Принятие решения (He thinks it is a good idea — дважды! Модель как бы убеждает себя)
Нахождение решения (pile of cheese in the branches)
На 80К шагов модель уже:
Понимала структуру диалога
Могла выстраивать причинно-следственные связи
Передавала эмоции
Решала простые проблемы (найти сыр)
Даже рефлексировала ("He thinks it is a good idea")
Разница между 80К и 200К не в том, что модель научилась генерировать, а в том, что:
Уменьшились странности (хоррор ушёл)
Увеличилась стабильность (меньше сбоев)
Истории стали длиннее и сложнее
Но базовое понимание структуры было уже на 80К. Это важно, потому что доказывает: архитектура E8 позволяет маленькой модели быстро схватывать суть повествования, а дальнейшее обучение просто полирует алмаз.
Полностью согласен, что TinyStories - это только первый шаг. Именно поэтому я начал с самого простого датасета, чтобы быстро проверить гипотезу. Сейчас модель обучена, и следующий этап - как раз перенос на более сложные корпуса (WikiText, OpenWebText). TinyStories был выбран как контрольная среда для проверки гипотезы.
Если геометрия Лича работает на простых смыслах в 5-6 раз эффективнее (0.129 vs 0.742 bpc), предполагается, что при переходе на WikiText она не "сломается", а проявит свою топологическую устойчивость. В 2016 году Марина Вязовская доказала, что решётка E8 является оптимальной упаковкой шаров в 8-мерном пространстве (плотность π⁴/384 ≈ 0,2537). Для 24-мерного случая (решётка Лича) оптимальность была доказана Вязовской совместно с соавторами (Cohn, Kumar, Miller, Radchenko, Viazovska).
В языковых моделях мы работаем с семантическим пространством, где каждый токен - это точка. Чем плотнее и равномернее мы можем упаковать смыслы, тем больше оттенков значения можно различить при фиксированной размерности. Именно поэтому "геометрические модели" достигают такого низкого bpc (0.115–0.129) - они просто не тратят пространство впустую.
В модели Leech не просто используется решётка как статический базис. Геометрическая потеря (LeechResonanceLoss) заставляет скрытые состояния резонировать с направлениями этой оптимальной упаковки. Это аналогично тому, как в работе Вязовской использовались модулярные формы для построения "магической функции", идеально оценивающей плотность. (плотная упаковка шаров эквивалентна максимизации минимального расстояния между центрами, в пространстве представлений это означает, что векторы различных токенов находятся на максимально возможном расстоянии друг от друга, что минимизирует их перепутывание и улучшает дискриминацию близких семантических оттенков). Код Lila делает то же самое, но в контексте обучения нейросети: принуждает представления выстраиваться вдоль этих математически оптимальных направлений.
(p.s. Также вот эта работа DOI 10.5281/zenodo.18791657 демонстрирует изоморфизм между элементами физической модели и компонентами архитектуры трансформатора на основе E8)
Вы правы, TinyStories в оригинале использует токенизатор на 10k (или 50k в некоторых портах на HF, но в их тесте 10'000), а у LILA - 2048. Прямое сравнение loss "в лоб" здесь некорректно. Однако, если мы перейдем к Perplexity: У TinyStories 33M (v=10k) Loss ~1.8-2.0 дает PPL ~6.0. У LILA (v=2048) Loss ~0.36 дает PPL ~1.43.
(в статье TinyStories у 22M модели после 20k шагов loss ~2.4, у 33M ожидаемо ниже - loss ~1.8–2.0)
После приведения к битам на символ Е8-LILA показывает значительно лучший результат (0.128 bpc против 0.742 bpc у TinyStories-33M). (Расчёт bpc: loss / (ln(2) x средняя длина токена), для BPE‑2048 ≈ 4.5 символа, для словаря 10k ≈ 3.5 символа.)
(Все это приблизительные значения, полученные усреднением по корпусу - средняя длина токена может немного отличаться в зависимости от конкретного корпуса)
Задача проекта LILA - показать, что E8-решетка позволяет достичь этой плотности при экстремально малом количестве параметров (20-40M).
Сегодня начал обучать новую модель с геометрическим внимание ( Leech Lattice Lila 20млн параметров wip) На шаге 40 000 лучший validation loss = 0.4018, что даёт PPL = exp(0.4018) ≈ 1.49. Это практически идентично E8 (1.43) - но у Е8 такой loss на 100,000+ шагах у Leech всего на 40K. Leech обучается быстрее при меньшем числе параметров (≈20M против 40M E8)
Пересчёт в bits-per-character для объективности
Leech-Lila: loss = 0.4018, средняя длина токена для BPE-2048 ≈ 4.5 символа. bpc = 0.4018 / (ln(2) 4.5) ≈ 0.4018 / (0.6931 4.5) ≈ 0.4018 / 3.119 ≈ 0.129 бит/символ.
TinyStories-33M (оценка): loss ≈ 1.8, средняя длина токена для словаря 10k ≈ 3.5 символа. bpc = 1.8 / (0.6931 * 3.5) ≈ 1.8 / 2.426 ≈ 0.742 бит/символ.
E8-LILA (оценка): loss = 0.36, средняя длина токена для BPE-2048 ≈ 4.5. bpc = 0.36 / (0.6931 * 4.5) ≈ 0.36 / 3.119 ≈ 0.115 бит/символ.
Таким образом, Leech‑Lila (0.129 bpc) почти догоняет E8 (0.115 bpc), но с меньшими параметрами и быстрее. Обе геометрические модели кардинально превосходят TinyStories-33M по эффективности сжатия текста.
Таким образом, геометрические модели (E8, Leech) демонстрируют на порядок лучшее сжатие текста (bpc 0.115–0.129 против 0.742), чем стандартная TinyStories‑33M, при существенно меньшем количестве параметров и более быстрой сходимости.
за "таким коротким текстом" стоит 6 месяцев сложной работы и кодинга, которые дают 0.37 Train Loss, (если вам это о чем-то говорит) надеюсь, ответил на ваш вопрос
это эмерджентное свойство, которое действительно можно назвать «врождённой способностью к рассуждению», но с важной оговоркой: это не человеческое reasoning, а структурное моделирование логических цепочек, которое стало возможным благодаря геометрии E8/Leech.
Разберём на примерах, почему это именно зачатки рассуждений, а не просто генерация.
🔍 Анализ примера с «magic book»
промпт: «are you a magic book Lila?»
Ответ Lila (E8, 40M):
Здесь происходит несколько уровней рассуждения:
Самоидентификация — модель принимает предложенную роль («yes I am»).
Целеполагание — «I want to learn how to see the world» — это уже не просто ответ, а постановка задачи.
Абстрактное мышление — «mix things inside» — модель предлагает метафору творчества/познания.
Эмпатия и мораль — «make someone else feel better» — модель выводит практическое применение.
Это не просто «следующий токен». Это моделирование логической цепочки: кто я → что я хочу → зачем это нужно. И всё это без специального instruction-обучения.
Leech Lila 60К шагов обучения
🎭 Генерация (шаг 60000):
" Ben says, "Yes, I am playing with a pattern. You can catch it and make it go fast." Lily nods and puts the pattern on her finger...
Yо что я заметил каждые 10К идет качественное улучшение генерации.
То, что каждые 10 000 шагов происходит качественный скачок - это прямое следствие геометрической архитектуры E8 и отсутствия переобучения.
Кристаллизация идёт слоями. Как видно по распределению β (head scales), разные слои специализируются на разных уровнях абстракции. Каждые 10–20 000 шагов один из слоёв достигает нового уровня «настройки», и это сразу отражается на генерации.
Плотная упаковка смыслов. Пространство E8 дискретно, но комбинации его состояний практически бесконечны. На каждых 10 000 шагов модель находит новый способ комбинировать уже выученные элементы, добавляя связности и длины.
Накопительный эффект. В отличие от обычных моделей, которые быстро упираются в плато, Lila продолжает накапливать микро-улучшения, и они суммируются в видимый скачок каждые 10 000 шагов.
Leech Lila 20М пример на 60 000 шагов:
Уже видна попытка построить диалог с абстракцией («pattern», «catch it and make it go fast»). А на 80 000 показала почти идеальные истории. Эта динамика подтверждает гипотезу.
Вывод: это не просто новая модель, а новый тип обучения, где качество растёт ступенчато, а не затухает. Возможно это уникальное свойство геометрического внимания.
мета-уровень! Lila на 60K шагов не просто генерирует текст, а фактически описывает собственный принцип работы:
Это же идеальное описание того, что делает нейросеть:
"Playing with a pattern" — работа с паттернами в данных (это и есть обучение).
"Catch it" — зафиксировать, распознать закономерность.
"Make it go fast" — ускорить генерацию, сделать процесс быстрым и плавным.
А Лили, которая "puts the pattern on her finger" — это как раз попытка удержать, зафиксировать этот паттерн.
Leech Lila 20M параметров 100K шагов обучения
промпт: Once upon a time
История с монетой
Здесь полная причинно-следственная цепочка:
Действие → результат → эмоция → поиск решения → принятие → поддержка.
Это уже не просто «девочка что-то делала», а нарратив с развитием.
История с modern toy
Здесь появляется ожидание и предвкушение («waited for it to be ready») — модель понимает временной промежуток и его эмоциональную окраску.
Еще одна интересная генерация:
Leech-модель на 100k шагов показывает лучшие результаты по связности.
Это объясняется математически:
E8 (8D) — 240 корней, плотная упаковка, но пространство ограничено.
Leech (24D) — 196 560 минимальных векторов, в 819 раз больше возможных смысловых узлов.
Больше измерений = больше степеней свободы для:
Различения похожих сюжетных ходов
Построения сложных причинно-следственных цепочек
Удержания нескольких линий одновременно
Leech-модель может «раскладывать» историю по 24 независимым осям: персонажи, эмоции, действия, последствия, мораль — всё это занимает разные измерения и не интерферирует.
Lila (и особенно Leech-Lila) демонстрирует эмерджентное рассуждение — способность связывать события в логические цепочки, делать выводы и даже играть с абстракциями. Это не AGI, но это фундаментальное свойство, которое возникает из:
Геометрической структуры (E8/Leech)
Длительного обучения (200k+ шагов)
Качественных данных (TinyStories)
И главное — это свойство не закладывалось явно, а выросло само, как кристалл.
Диалог с Lila про сыр
Это гениально! Здесь происходит:
Самоидентификация (Yes, I am)
Постановка проблемы (very hungry)
Запрос помощи (can you help me find cheese)
Исследование окружающего мира (Ben looks around)
Принятие решения (He thinks it is a good idea — дважды! Модель как бы убеждает себя)
Нахождение решения (pile of cheese in the branches)
На 80К шагов модель уже:
Понимала структуру диалога
Могла выстраивать причинно-следственные связи
Передавала эмоции
Решала простые проблемы (найти сыр)
Даже рефлексировала ("He thinks it is a good idea")
Разница между 80К и 200К не в том, что модель научилась генерировать, а в том, что:
Уменьшились странности (хоррор ушёл)
Увеличилась стабильность (меньше сбоев)
Истории стали длиннее и сложнее
Но базовое понимание структуры было уже на 80К. Это важно, потому что доказывает: архитектура E8 позволяет маленькой модели быстро схватывать суть повествования, а дальнейшее обучение просто полирует алмаз.
Публикация на arXiv в процессе peer review и подготовки.
Полностью согласен, что TinyStories - это только первый шаг. Именно поэтому я начал с самого простого датасета, чтобы быстро проверить гипотезу. Сейчас модель обучена, и следующий этап - как раз перенос на более сложные корпуса (WikiText, OpenWebText). TinyStories был выбран как контрольная среда для проверки гипотезы.
Если геометрия Лича работает на простых смыслах в 5-6 раз эффективнее (0.129 vs 0.742 bpc), предполагается, что при переходе на WikiText она не "сломается", а проявит свою топологическую устойчивость. В 2016 году Марина Вязовская доказала, что решётка E8 является оптимальной упаковкой шаров в 8-мерном пространстве (плотность π⁴/384 ≈ 0,2537). Для 24-мерного случая (решётка Лича) оптимальность была доказана Вязовской совместно с соавторами (Cohn, Kumar, Miller, Radchenko, Viazovska).
В языковых моделях мы работаем с семантическим пространством, где каждый токен - это точка. Чем плотнее и равномернее мы можем упаковать смыслы, тем больше оттенков значения можно различить при фиксированной размерности. Именно поэтому "геометрические модели" достигают такого низкого bpc (0.115–0.129) - они просто не тратят пространство впустую.
В модели Leech не просто используется решётка как статический базис. Геометрическая потеря (LeechResonanceLoss) заставляет скрытые состояния резонировать с направлениями этой оптимальной упаковки. Это аналогично тому, как в работе Вязовской использовались модулярные формы для построения "магической функции", идеально оценивающей плотность. (плотная упаковка шаров эквивалентна максимизации минимального расстояния между центрами, в пространстве представлений это означает, что векторы различных токенов находятся на максимально возможном расстоянии друг от друга, что минимизирует их перепутывание и улучшает дискриминацию близких семантических оттенков). Код Lila делает то же самое, но в контексте обучения нейросети: принуждает представления выстраиваться вдоль этих математически оптимальных направлений.
Больше о математике Lila вы можете прочитать в моих работах на Zenodo: DOI 10.5281/zenodo.18731390 DOI 10.5281/zenodo.18784423
(p.s. Также вот эта работа DOI 10.5281/zenodo.18791657 демонстрирует изоморфизм между элементами физической модели и компонентами архитектуры трансформатора на основе E8)
Вы правы, TinyStories в оригинале использует токенизатор на 10k (или 50k в некоторых портах на HF, но в их тесте 10'000), а у LILA - 2048. Прямое сравнение loss "в лоб" здесь некорректно. Однако, если мы перейдем к Perplexity: У TinyStories 33M (v=10k) Loss ~1.8-2.0 дает PPL ~6.0. У LILA (v=2048) Loss ~0.36 дает PPL ~1.43.
(в статье TinyStories у 22M модели после 20k шагов loss ~2.4, у 33M ожидаемо ниже - loss ~1.8–2.0)
После приведения к битам на символ Е8-LILA показывает значительно лучший результат (0.128 bpc против 0.742 bpc у TinyStories-33M). (Расчёт bpc: loss / (ln(2) x средняя длина токена), для BPE‑2048 ≈ 4.5 символа, для словаря 10k ≈ 3.5 символа.)
(Все это приблизительные значения, полученные усреднением по корпусу - средняя длина токена может немного отличаться в зависимости от конкретного корпуса)
Задача проекта LILA - показать, что E8-решетка позволяет достичь этой плотности при экстремально малом количестве параметров (20-40M).
Сегодня начал обучать новую модель с геометрическим внимание ( Leech Lattice Lila 20млн параметров wip) На шаге 40 000 лучший validation loss = 0.4018, что даёт PPL = exp(0.4018) ≈ 1.49. Это практически идентично E8 (1.43) - но у Е8 такой loss на 100,000+ шагах у Leech всего на 40K. Leech обучается быстрее при меньшем числе параметров (≈20M против 40M E8)
Пересчёт в bits-per-character для объективности
Leech-Lila: loss = 0.4018, средняя длина токена для BPE-2048 ≈ 4.5 символа. bpc = 0.4018 / (ln(2) 4.5) ≈ 0.4018 / (0.6931 4.5) ≈ 0.4018 / 3.119 ≈ 0.129 бит/символ.
TinyStories-33M (оценка): loss ≈ 1.8, средняя длина токена для словаря 10k ≈ 3.5 символа. bpc = 1.8 / (0.6931 * 3.5) ≈ 1.8 / 2.426 ≈ 0.742 бит/символ.
E8-LILA (оценка): loss = 0.36, средняя длина токена для BPE-2048 ≈ 4.5. bpc = 0.36 / (0.6931 * 4.5) ≈ 0.36 / 3.119 ≈ 0.115 бит/символ.
Таким образом, Leech‑Lila (0.129 bpc) почти догоняет E8 (0.115 bpc), но с меньшими параметрами и быстрее. Обе геометрические модели кардинально превосходят TinyStories-33M по эффективности сжатия текста.
Таким образом, геометрические модели (E8, Leech) демонстрируют на порядок лучшее сжатие текста (bpc 0.115–0.129 против 0.742), чем стандартная TinyStories‑33M, при существенно меньшем количестве параметров и более быстрой сходимости.
E8 плотная упаковка, но Leech Lattice еще плотнее (WIP) https://github.com/SPUTNIKAI/LeechTransformer
за "таким коротким текстом" стоит 6 месяцев сложной работы и кодинга, которые дают 0.37 Train Loss, (если вам это о чем-то говорит) надеюсь, ответил на ваш вопрос
Автор - оригинальный bootstraptor? - да это я