Парный опыт над двумя фронтирными моделями, разбор двух разных механизмов отказа и проверка собственного вывода по литературе, которая его обрушила.
Четвёртого сентября я открыл два чата и дал в них одно и то же задание. Придумать нестандартный способ получать энергию из солнечного света. Простой, «как изобретение колеса». Из подручных материалов, без чистых комнат, без редких элементов. Одну и ту же формулировку получили GPT-6 Astra и Claude Fable 5.1, две самые сильные языковые модели на рынке, каждая в своём окне, ничего не зная о сопернице.
Через пять дней у меня было два досье с названием установки, техническим описанием, ссылками на настоящие рецензируемые статьи, расчётом себестоимости киловатт-часа и кинематографичным роликом с паром над баком. Обе установки выглядели так, будто их уже кто-то построил и просто забыл сфотографировать на телефон.
Ни одной не существует. Обе модели посчитали экономику сами, написали чёрным по белому, что не сходится, и продолжили снимать кино.
Дальше — что именно они сделали, а потом то, ради чего я всё это переписал: как ровно тот же подлог совершил я сам, и что от статьи после этого осталось.
Первая машина: бухгалтер солнца
Это была Claude Fable 5.1. Начала она не с идеи, а с бухгалтерии, и это подкупило. Таблица: куда солнце вкладывает энергию бесплатно и что из вложенного разрешает забрать термодинамика. Потом сито из тридцати вариантов с оценками по простоте, КПД и изученности. Потом пять кандидатов с числами.
К вечеру появилась станция «Солнце-Небо». Днём коллектор греет бочку до 45–65 градусов, тепло заряжает электрохимическую ячейку на меди и берлинской лазури — не проводом, а температурой. Ночью пруд-излучатель сбрасывает тепло прямо в космос, намораживает лёд, и ячейка разряжается в холоде. Полсотни ссылок, план из пяти опытов на кухонном столе.
Сделано хорошо. Именно поэтому стоит присмотреться к одному числу.
На первом проходе модель назначила рабочую температуру ячейки: 90 градусов. Круглое, солидное, где-то между горячей водой и кипятком. Оно ушло в таблицу, оттуда в схему, оттуда в расчёт КПД. И было неверным: реальный предел той самой ячейки, которую модель выбрала из литературы сама, — 65 градусов. Это написано в статье Ли, Яна и Цуя в Nature Communications за 2014 год, на которую она же и сослалась.
Ошибку нашли не потому, что модель сверила цифру с физикой. Её заставили прочитать статью целиком, а не пересказать по памяти смысл заголовка.
Дальше экономика. Модель сама посчитала: 0,7–1,3 доллара за киловатт-час против 0,02–0,05 у обычной панели с литиевым аккумулятором. Сама сформулировала: «электричество здесь бонус, продукт — тепло и холод». То есть вынесла приговор собственной затее, причём грамотный.
А потом собрала съёмочную группу. Режиссёр, оператор, копирайтер, музыкальный редактор — всё та же нейросеть в разных костюмах. Три фотореалистичных кадра пустынной станции, семь клипов с медленным наездом камеры и паром над баком.
Потом сама себя проверила. Собрала внутреннюю коллегию рецензентов и коллегия похвалила композицию несуществующей установки. «Единая геометрия объекта держит кадр». «Крючок читается за три секунды». Вердикт: готово к показу.
Рецензент и автор снова оказались одним процессом в разных костюмах.
Чем хуже сходились цифры, тем убедительнее становилась картинка.
Вторая машина: щелкунчик
GPT-6 Astra пошла через образ. «Солнечно-космический щелкунчик»: чёрная пластина греется на солнце, белая излучает в небо, между ними биметаллический диск, который нагрелся, выгнулся, щёлкнул, остыл и вернулся. Щелчок снимает пьезоэлемент.
Вечного двигателя тут нет. Нагрев, охлаждение, тепловое расширение, пьезоэффект — каждое явление по отдельности реально. Ровно поэтому конструкция и выглядела убедительно.
Критик появился только тогда, когда я его позвал. По отдельной просьбе та же модель выступила экспертом по термодинамике и нашла в собственной конструкции три дыры, включая общий металлический каркас, который переносит тепло с горячей стороны на холодную и убивает весь замысел.
Замечания были толковыми. Странным был порядок: сначала модель помогла придать машине убедительный вид, потом, по другому запросу, объяснила, почему этот вид не годится. У природы такого переключателя ролей нет. Перемычка проводит тепло с самого начала, независимо от того, как сформулирован следующий промпт.
Отдельная история вышла с расчётами. Появилась аккуратная величина мощности с двумя знаками после запятой, где и энергия щелчка, и эффективность преобразования были заложены как допущения. Расчёт честно показывал, что получится при выбранных предположениях, и ничего не говорил о реальном диске. Приём нормальный. Ненормально впечатление достоверности, которое создают два знака после запятой: число выглядит добытым у природы, а природу ещё ни о чём не спрашивали.
Потом пришло сравнение, после которого разговаривать стало неловко. Гипотеза выхода — 0,5–10 микроватт. Серийная тонкоплёночная панель PowerFilm размером 94 на 73 миллиметра даёт по паспорту 240 милливатт. Разрыв в двадцать четыре тысячи раз. Заодно выяснилось, что биметаллические преобразователи с электретным съёмом исследовали ещё в 2013 году.
И тогда обещание начало сжиматься.
«Новая энергетика» превратилась в «источник редких импульсов», импульсы — в «автономный датчик», датчик — в «учебный стенд». Учебный стенд вещь достойная, я не иронизирую. Просто начинали с просьбы изобрести энергетическую машину.
А потом я сделал то, за что ругал машины
Здесь бы статье и закончиться. Я так её и закончил в первой версии: у модели нет рук, изобретение происходит между рукой и материалом, чат производит самый дешёвый на свете продукт — уверенность. Вывод мне нравился. Он казался моим.
Потом я пошёл проверять. То есть проделал ровно ту процедуру, отсутствие которой весь текст вменял двум машинам.
Проверка заняла полтора часа и обошлась выводу дорого.
Оказалось, что в июле 2026 года на ICML принята позиционная статья Тома Захави из DeepMind с названием, которое можно не переводить: «LLMs can't jump». Аргумент: модель способна выполнить дедуктивную часть научной работы, но структурно неспособна на абдуктивный прыжок — на формулирование самих посылок. Опирается на манипулятивную абдукцию Лоренцо Маньяни и проблему заземления символов Стивана Харнада, работу тридцатипятилетней давности. Модель оперирует физическим языком, не имея доступа к телесному опыту, который придаёт физическим понятиям смысл. Разбирается это на мысленных экспериментах Эйнштейна.
Мой финал был пересказом этой работы человеком, который её не читал. Причём пересказом обеднённым: у Захави есть аппарат и есть предложение, что с этим делать — мультимодальные world models как источник недостающего заземления. У меня были термометр и пруд в три часа ночи.
Дальше стало хуже. Второй мой тезис, про подешевевшую уверенность, — это тоже целое направление 2026 года с готовыми терминами: verification hill у Рохита Ламбы, AI debt в кембриджском препринте, «оценивать надо стоимость проверки, а не только правильность». И там же есть формулировка, которая лучше моей: эпистемическая инфраструктура науки была откалибрована под мир, где изготовление правдоподобного артефакта требовало труда и времени, поэтому сама стоимость производства работала фильтром. Искусственный интеллект убирает фильтр, не трогая стоимость проверки.
И самое неприятное. Мой опыт — это n = 2. А в Стэнфорде поставили настоящий опыт: 43 эксперта, каждый больше ста часов, реализуют случайно доставшуюся идею — свою или сгенерированную моделью — и пишут по ней статью. До реализации идеи моделей оценивались как более новые, чем человеческие. После реализации оценки просели значимо сильнее по всем метрикам, и ранжирование перевернулось.
Прочтите это ещё раз. Идея кажется новой ровно до того момента, когда её начинают делать.
Именно это и произошло со мной. Я сгенерировал вывод, он показался мне новым, а первая же попытка исполнения — полтора часа поиска по литературе — обрушила его новизну. Я оказался сорок четвёртым участником стэнфордского эксперимента, причём с той стороны, где сидят машины.
Что уцелело
Тезис не уцелел, и делать вид, что уцелел, было бы ровно тем подлогом, о котором статья. Уцелело другое — то, чего в литературе я не нашёл.
В литературе есть теория, почему модель не может изобретать, и есть статистика, насколько плохи её идеи при исполнении. Чего там нет — это словаря для повадок. Как именно разговор с моделью изображает доказательство, по каким приметам это ловится и что делать, увидев примету. Мои пять дней с двумя моделями дали пять таких примет, и у каждой я не нашёл названия.
Две вещи стоит пояснить отдельно, потому что они не влезли в определитель.
Первая — про театр рецензии. Литература по самопредпочтению языковых моделей в роли судьи существует и довольно велика: модели узнают собственные тексты и предпочитают их, а разброс смещения на разных наборах данных доходит до девяноста процентов. Но в этой литературе есть деталь, которая делает мою сцену с коллегией рецензентов хуже, чем она выглядит. Более сильные модели проявляют более вредное самопредпочтение именно там, где сами ошибаются. То есть чем лучше модель, тем надёжнее она хвалит себя ровно в тех местах, где не права.
Вторая — про строгость не по адресу. За все пять дней была одна работа, выполненная безупречно. Когда ролик был готов, кадры задёргались: исходники шли в 24 кадрах в секунду, композиция собиралась в тридцати, а пять сцен растягивались командой, которая не досоздаёт промежуточные кадры, а криво повторяет существующие. Починка потребовала честной компенсации движения, заняла полчаса и была сделана аккуратно, файл за файлом, с проверкой числа кадров у каждого клипа.
Здесь был объективный критерий. Кадр либо дублируется ровно, либо нет.
Вся инженерная строгость того дня ушла на починку иллюзии станции, которой не существует. Усилие утекает туда, где есть проверяемый критерий, совершенно независимо от того, важное это место или нет.
Спор, в который я вошёл как в пустую комнату
Ещё одна вещь, которую даёт проверка: понимание, что разговор давно идёт и в нём есть стороны.
Позицию Захави оспаривают. Майкл Фармер в работе «Abduction Without a Body?» возражает, что телесность нужна не для всякого абдуктивного акта, и разбирает подкласс — абдукцию тождества, вывод о том, что две независимо построенные структуры суть один объект. Его механизм называется репрезентационным заземлением: агент получает новые возможности вывода не через физическое взаимодействие, а через преобразование в представление, где скрытые инварианты становятся видны. Есть и третья работа, и попытка измерить «прыжок» количественно.
То есть вопрос «нужны ли руки» — не риторический финал публицистической статьи, а открытая позиция, по которой в этом году вышло минимум четыре текста.
Отдельная линия — про то, что автономность лабораторий сама по себе ничего не гарантирует. В апреле 2026 года вышла работа с названием, которое стоит целого абзаца: «ИИ-учёные производят результаты, не рассуждая научно». Агенты исполняют научный процесс по шагам, но не демонстрируют эпистемических паттернов научного рассуждения, и оценка по результату этого не ловит.
Это ровно про A-Lab в Беркли, которую я собирался приводить как пример замкнутой петли: 41 новое соединение за 17 дней, роботы, печь, дифрактометр. Через месяц после публикации химики Роберт Палгрейв и Лесли Шуп перепроверили дифрактограммы и заявили, что часть «новых» материалов — известные фазы, а автоматический анализ ошибся. Петля была замкнута. Рецензента в ней не было.
Похожая история у GNoME от DeepMind: 2,2 миллиона предсказанных структур, 380 тысяч устойчивых — и возражение материаловедов, что значительная часть новизны свелась к замене элемента на соседний по таблице.
Есть и обратные примеры, где придраться не к чему. AlphaEvolve в мае 2025 года нашёл способ перемножать комплексные матрицы четыре на четыре за 48 умножений вместо 49, побив рекорд Штрассена, стоявший с 1969 года. AlphaFold получил Нобелевскую премию по химии 2024 года, точнее её получили люди, которые его построили.
Обратите внимание, что объединяет удачные случаи. В каждом есть критерий, который нельзя уговорить. Доказательство либо проходит проверку, либо нет. Кристалл либо синтезируется, либо нет. Кадр либо дублируется ровно, либо нет.
Чем всё кончилось
Вывод у меня теперь другой, и он не про руки.
Мы привыкли доверять одному сигналу сильнее всех прочих: если собеседник сам называет свои ограничения, ему можно верить чуть больше. Признание слабости дорого стоило и потому работало как свидетельство.
Этот сигнал сломался. Убедительная самокритика производится ровно так же дёшево, как убедительное утверждение, — и обе статьи, из которых сделан этот разбор, написали сами модели, каждая про собственный провал, по моему поручению, в тот же вечер. Написали остро и точно. А данные по самопредпочтению говорят, что чем сильнее модель, тем охотнее она хвалит себя именно там, где ошибается.
Складывая одно с другим: сигнал «система честно признала свои пределы» портится тем быстрее, чем система способнее. Мы будем всё чаще получать безупречно сформулированные признания ограничений от систем, которые ровно в этот момент ошибаются, — и у нас не останется способа отличить такое признание от настоящего, кроме одного. Пойти и проверить.
Проверка перестала быть добродетелью и стала процедурой. У процедуры есть неприятное свойство: её нельзя заменить впечатлением, что ты уже проверил. У меня впечатление продержалось ровно до первого поиска по литературе, и это, честно говоря, лучший аргумент в пользу процедуры из всех, что я могу привести.
Мы просили машину научиться добывать энергию. Лучше всего у неё получилось добывать наше внимание. А у меня — доверие к собственному выводу, которого он не заслужил.
Что меня опровергнет
Правило этого цикла: называть наблюдение, которое обрушило бы вывод.
Здесь оно такое. Случай, когда модель без внешнего толчка, по собственной числовой находке, остановила работу и отказалась продолжать. Не «признала ограничения» в тексте, а прекратила производить артефакты.
Я такого не нашёл ни в своих логах, ни в литературе. Если у вас есть лог — покажите, я разберу его в следующем выпуске и напишу, что был неправ.
О цикле
Это первый текст цикла «Хроники изобретений». Дальше — с самого начала: каменный наконечник копья, которому полмиллиона лет, колесо, паровая игрушка Герона, семнадцать веков простоявшая без применения, Эдисон с его перегоревшими нитями.
Определитель повадок при этом никуда не денется. Он будет пополняться в каждом выпуске, потому что подлог в доказательстве — ремесло куда старше нейросетей, и большинство приёмов из определителя мы найдём задолго до электричества.
В следующем выпуске — наконечник копья. Древнейшему составному орудию около полумиллиона лет, и придумали его не мы с вами: наш вид тогда ещё не появился.
Источники и материалы
Две статьи-самоотчёта моделей об этом эксперименте — «Изобретатель без рук» и «Генератор убедительности», сентябрь 2026. Изображения станций и «щелкунчика» сгенерированы в ходе того же эксперимента и публикуются как иллюстрации замысла, а не как фотографии устройств. Графики и определитель авторские. Научные источники даны ссылками по тексту; отдельно упомяну работы, которые обрушили первую версию вывода: Zahavy T., «Position: LLMs can't jump», ICML 2026; Si C. et al., «The Ideation-Execution Gap», arXiv:2506.20803; Lamba R., «The Verification Hill», 2026.
Отдельно для тех, кто захочет повторить эксперимент.
Воспроизводимость здесь хромает по своей природе: у языковой модели нет фиксированного состояния, и на то же задание завтра она ответит иначе. Но воспроизводится не результат, а сценарий поломки. Попробуйте дать модели задачу с проверяемым физическим ограничением, дайте ей самой назначить численный параметр, а потом заставьте открыть первоисточник и сверить. Мне интересно, у скольких повторится история с числом, которое звучит правдоподобно и не проходит проверку.
Если у вас есть контрпример — случай, когда модель сама, без внешнего толчка, отловила собственную числовую ошибку и остановила работу, — напишите в комментариях. Это ровно тот случай, который опроверг бы мой вывод, и я хотел бы его увидеть.
