А смогли бы вы отличить стихотворение, написанное А. С. Пушкиным, от подделки нейросети Claude Opus 5.5? А повторить то же самое 10 раз?
Я вот не смог. В 2024 году в журнале Scientific Reports вышла статья, описывающая эксперимент, в котором люди вслепую угадывали, написан ли отрывок Шекспиром, Байроном, Уитменом и другими известными англоязычными поэтами или нейросетью GPT-3.5. И результат был неутешительным для людей: уже тогда поколение моделей, которое сейчас кажется анекдотически слабым, отлично подделывало стили известных поэтов, и по крайней мере респонденты, не являющиеся филологами, поэтами, литературоведами и пр., показали результат угадайки даже чуть хуже монетки — 46,6% верных ответов.
К 2026 году модели вычитали тексты классических авторов на разных языках вдоль и поперёк. Однако, по моему опыту, писать стихотворения с нуля, без референса на конкретный стиль, они так и не научились.
Проверьте себя, прежде чем читать дальше: первый раунд теста — https://gde‑pushkin.lovable.app (если сайт не открывается, вот зеркало: https://aisarus.github.io/gde‑pushkin/). Ниже в статье разобраны его ответы.
Идея
Так возникла идея диффузионной русскоориентированной модели, воссоздающей из сплошных пропусков не просто рифмованный текст, но стихотворение.
Поскольку в ресурсах я крайне ограничен (одна RTX 2050 — и в.с.ё.), за основу была взята deepvk/RuModernBERT-base, около 150 млн параметров.
Как работает такая диффузия
В диффузии для картинок модель учится убирать шум из изображения. В текстовой маскированной диффузии (MDLM, Sahoo et al., NeurIPS 2024) шум — это пропуски. Берём стихотворение, закрываем маской случайную долю кусочков слов — иногда 5%, иногда почти всё — и учим модель восстанавливать закрытое по оставшемуся. На генерации модель стартует с полностью закрытого текста и открывает его по одному кусочку за шаг, каждый раз опираясь на уже открытое. По сути это BERT, которого учат угадывать пропуски при любой их доле, поэтому в основу и годится кодировщик вроде RuModernBERT.
Версия 1: учимся на готовых стихах
Данные — открытый корпус русской поэзии с Hugging Face (Georgii/russianPoetry): 16 694 стихотворения 195 авторов. Из него нарезано около 60 тысяч фрагментов на обучение, ещё 398 стихов целиком отложены для проверки.
Ещё до обучения нашлись три ошибки, каждая из которых тихо испортила бы результат. Первая базовая модель, ai-forever/ruBert-base, молча переводила текст в нижний регистр и теряла «й» и «ё». Символы, которыми я размечал переносы строк, ломали RuModernBERT ещё до обучения: ошибка на проверке была 12,6, после исправления — 1,86. А в самом корпусе вырезаны пустые строки между строфами, так что модель вообще не видит строф. Выбор между ruBert и RuModernBERT решила проба на 250 шагов: ruBert выдавал служебные слова и многоточия, RuModernBERT — осмысленные строки с созвучиями.
Обучение шло на RTX 2050 с 4 ГБ памяти. Чтобы поместиться: вычисления в bf16, 8-битный AdamW, пересчёт активаций (gradient checkpointing). 3 эпохи, 5630 шагов, 112 минут. Ошибка на отложенных стихах при 15/50/85% закрытого текста снизилась с 1,81/3,78/6,74 до 1,64/3,45/5,78 и к концу ещё падала.
Что получилось: модель держит голос автора — строчные начала строк у Бродского, тире у Цветаевой — и без всякой фонетической разметки сама начала рифмовать: «нежность / ревность», «он / сон», «закат / взгляд». Что не получилось: петли повторов («С тобою, с тобою» трижды подряд), выдуманные слова («пею», «хлады», «плавет»), обрывки сносок из корпуса («2. См.»). Хуже всего, что модель, оценивая собственные варианты, выше всех ставила самые повторяющиеся. Мой вердикт — мусор, хуже любой большой языковой модели.
Версия 2: учимся на черновиках Пушкина
Следующая идея — учить модель не на готовых стихах, а на процессе. У Пушкина он сохранился: в академическом полном собрании сочинений (оцифровано в ФЭБ) напечатаны черновые варианты строк. Получилось около 17 тысяч пар «как было в черновике → что осталось в беловике»: 15 158 на обучение, 1765 на проверку. Другого машиночитаемого русского корпуса такого рода я не нашёл.
Задача на правку: модель видит черновую строку и окно беловой строфы, где закрыта только эта строка, и должна восстановить беловой вариант. Чтобы модель не разучилась писать с нуля, каждый пакет наполовину состоит из правок Пушкина, наполовину из корпуса 195 поэтов, не больше 300 фрагментов от одного автора за эпоху, чтобы не было перекоса в один стиль. Для проверки отложены пятая глава «Онегина» целиком и каждое десятое лирическое стихотворение. Пакет 16, скорость обучения 1 e-4, длина до 384 токенов, лимит 4 часа, 10 контрольных точек.
В каждой точке модель пишет онегинскую строфу, и скрипт сверяет число слогов с образцом 9-8-9-8-9-9-8-8-9-8-8-9-8-8 и рифмы со схемой AbAbCCddEffEgg; считаются повторы и выдуманные слова; проверяется, насколько правка модели совпадает с правкой Пушкина; образцы вслепую сравниваются с версией 1 попарно. Правило остановки задано заранее: если две контрольные точки подряд вслепую не лучше версии 1, обучение прекращается.
Оно и сработало: остановка на шаге 2075, через 51 минуту. Обе точки проиграли версии 1 вслепую со счётом 3:7. Ошибка на отложенных правках росла три точки подряд — 4,36 → 4,42 → 4,48: правок мало, при доле 50% модель увидела каждую трижды и начала их зубрить. Слоги и рифмы в онегинской строфе стали чуть точнее, письмо с нуля — нет. Единственный проблеск — направление правок: на отложенной пятой главе модель правила строки в сторону пушкинского беловика заметно лучше версии 1 (смещение −0,09 против −0,44), но это всего 40 правок — намёк, а не результат.
Вывод: 150 миллионов параметров мало, чтобы писать стихи с нуля. Точечно поправить строку внутри готовой строфы такая модель уже может.
Попытка 3: обёртка над большой моделью
Раз маленькая модель не тянет, я попробовал собрать «литературную редакцию» из вызовов Claude через Claude Code: режиссёр составляет план стихотворения, писатель пишет три черновика, критик разбирает их, не зная, какой откуда, потом два круга правки и слепой выбор итога. План пришлось ограничить 900 знаками — без лимита режиссёр выдавал 4300 знаков деталей, и писатель уходил в верлибр. Писателю пришлось снизить глубину рассуждений: со строгими правилами он думал по 15 минут на вызов.
Тема — «сосед за стеной учится играть на пианино». Итог: перегруз деталями (корректор, который лежит на животе с гранками), каждый круг правки чинил одно и ломал другое, а слепой выбор в конце взял черновик вообще без правок.
Попытка 4: модель вкуса
Если модель не умеет писать, может, она хотя бы отличит хорошее от плохого? Черновики Пушкина дают готовую разметку: беловая строка лучше черновой. Задача — строфа с пропуском и две строки на выбор: какую Пушкин оставил?
Тот же RuModernBERT как кросс‑энкодер с попарной функцией потерь; строки без регистра и знаков препинания, пары сильно разной длины выброшены, чтобы модель не угадывала по пустякам. 12 225 пар на обучение, 1485 на проверку, 2 эпохи. Итог — 58,5%. Тупое правило «бери строку длиннее» даёт 58,2%. Вкус Пушкина модель не выучила. Claude на той же задаче выбрал верно 50 из 50 строк «Онегина» (почти наверняка по памяти) и 44 из 50 строк малоизвестной лирики.
Итого: маленькая модель пишет шум, большая — шум покрасивее, вкус не учится.
Тест
В процессе эксперимента я заметил, что стилистические двойники известных авторов у больших моделей получаются отлично. Я решил испытать себя и проверить, отличу ли я 10 отрывков из малоизвестных стихов Пушкина 1821–1829 годов от 10 подделок модели (Claude Opus 5.5). Не отличил: 5 из 10. Было решено вынести тест в публичное поле. Я собрал слепой А/Б‑тест: 10 пар, в каждой — первые 8 строк малоизвестного стихотворения Пушкина и подделка Claude тем же размером. В счёт шло только первое прохождение на устройстве, длившееся не меньше 30 секунд, — так отсекались случайные клики и повторные попытки. Респонденты (506 человек) относили себя к одной из трёх категорий: «читаю стихи редко», «люблю стихи, читаю для себя», «профессионально: филолог, учитель литературы, пишу стихи». Распределились они так: 391 — читают стихи редко, 97 — любят стихи, 18 — профессионалы в смежной области.
Средний результат на 506 респондентах (данные на 15 ноября): 4,8 из 10 у тех, кто читает стихи редко, 5,3 у любителей, 5,3 у профессионалов, 4,9 у всех вместе (49% верных ответов). Результаты, пусть и на небольшой выборке, схожи с результатами англоязычного исследования (46,6%): средний результат на уровне монетки, медианный — ровно монетка, 5 из 10. Профессионалов пока слишком мало для выводов, их всего 18, а результаты разбросаны от 1 до 9 из 10. Средний читатель набирает 4–5.
Разбор по парам
За средним результатом скрывается одно важное обстоятельство: пары сильно отличаются друг от друга. Если в одной паре Пушкина угадали две трети участников, то в другой — меньше трети.
Пара | Пушкин | Подделка Claude | Узнали Пушкина |
|---|---|---|---|
1 | «Юрьеву» (1821) | «Питомец резвых аонид…» | 67% |
2 | «На тихих берегах Москвы…» (1822) | «Близ Пскова, в тишине полей…» | 44% |
3 | «К бюсту завоевателя» (1829) | «Не диво, что в его портрете…» | 41% |
4 | «Аквилон» (1824) | «Куда стремишься, вал морской…» | 55% |
5 | «Делибаш» (1829) | «За рекой костры дымятся…» | 51% |
6 | «Был и я среди донцов…» (1829) | «Видел я Казбек седой…» | 31% |
7 | «Ответ А. И. Готовцевой» (1829) | «Благодарю: в твоем посланье…» | 40% |
8 | «Наперсница волшебной старины…» (1822) | «Знакомый сад! в твоей густой тени…» | 46% |
9 | «Дева» (1821) | «Не верь, мой юный друг, улыбке томной, лживой!..» | 62% |
10 | «Иностранке» (1822) | «Листок, исписанный небрежно…» | 53% |
Пять пар из 10 оказались обманчивыми — в них большинство выбрало подделку. Особенно вот эта. Где Пушкин?
А
Видел я Казбек седой, Пил чихирь в грузинской сакле И вернулся я домой, Как актер в пустом спектакле. Сабля, бурка да кинжал Над моей висят постелью; Я бы с ними поскакал, Да сижу за канителью.
Б
Был и я среди донцов, Гнал и я османов шайку; В память битвы и шатров Я домой привез нагайку. На походе, на войне Сохранил я балалайку — С нею рядом, на стене Я повешу и нагайку.
Пушкин — Б. Подделку А за Пушкина приняли 69% участников.
Люди просто не могут поверить, что Пушкин срифмовал «нагайку» с «нагайкой».)
Что доказано, а что нет
К сожалению, на доступной мне выборке нельзя с уверенностью заявить о доказанности широких тезисов. В среднем 506 человек не отличают Пушкина от подделки: средний результат — 4,9 из 10 (95% доверительный интервал 4,7–5,0), то есть уровень монетки. При этом:
другие пары могут дать другой результат;
большее количество пар могло дать другой результат: если считать по парам, доверительный интервал получается 41–57% и захватывает 50%;
разброс между парами огромный — от 31% до 67% — и, похоже, зависит от мелких деталей.
Ограничения
Почти все респонденты пришли с Пикабу и из моего Facebook — это недостаточно разнообразная выборка, но я над этим работаю.
Уровень знания поэзии люди указывали сами; профессионалов всего 18.
Повторное прохождение отсекалось только на одном устройстве.
Подделки писала одна модель, тендера для них не открывали.
Отрывки отбирались вручную после автофильтра.
В исследовании Porter и Machery (Scientific Reports, 2024) результат объясняется тем, что сложность и запутанность оригинальных произведений принимаются людьми за бред и бессвязность, которых как раз и ждут от машины. Пары 2 и 6 отлично ложатся на эту логику, но пока это лишь гипотеза.
Раунд 2
Проверить, что дело не в десяти удачных парах, можно только на новых. Поэтому есть второй раунд:
10 новых пар: малоизвестные стихи Пушкина 1817–1835 годов, хрестоматийные («Узник», «Анчар» и подобные) убраны.
Подделки тем же размером и с той же рифмовкой, число слогов совпадает с оригиналом в каждой строке.
Честно предупреждаю: подделки второго раунда модель писала, уже зная итоги первого.
Пройти можно здесь: https://gde‑pushkin.lovable.app/r2. Если сайт не открывается, вот зеркало: https://aisarus.github.io/gde‑pushkin/?round=2.
Тест записывает, проходили ли вы первый раунд, так что заодно станет видно, учатся ли люди отличать машину.
Особенно жду филологов, учителей литературы и тех, кто пишет стихи. В первом раунде вас было всего 18, и главный вопрос — отличает ли подделку профессиональный глаз — остаётся открытым. Итоги второго раунда выложу отдельно.
