Люди, которые раньше почти ничего не писали сами, вдруг начали выдавать развёрнутые дизайн-доки, бизнес-планы, документацию, презентации, тикеты, пулл-реквесты, статьи в блог и протоколы встреч. Всё это сгенерировано ИИ, и читать это невозможно. Мне самому ИИ помогает писать лучше и быстрее, но читать почти всё, что написал ИИ, я уже не могу. Здесь я хочу немного выпустить пар, а заодно рассказать, где ИИ мне в письме действительно помогает.
ИИ ужасно пишет
Я постоянно вижу одну и ту же картину: человек строит что-то новое с помощью ИИ, а потом тем же ИИ задним числом пересказывает построенное в виде дизайн-дока. Читать такой документ не просто трудно, а мучительно. Дизайн-док перестаёт быть предложением, вокруг которого собирают согласие, ведут за собой людей и медленно, вдумчиво доводят идею до ума. Он превращается в машинное саммари, утомительно подробное, без контекста и без авторского взгляда. Читать его невозможно, это бесчеловечно. Авторы таких документов раздражаются, когда коллеги не включаются в обсуждение, и их можно понять: то, что они построили, уже работает [1].
Всё чаще попадаются и описания пулл-реквестов, явно написанные машиной для машины. Подробностей там полно: это поменяли на то, вот это разделили, то объединили, здесь ничего не трогали, тесты добавили сюда, и так далее. А я сижу и спрашиваю себя: зачем мы это делаем? В чём ценность? Насколько это рискованно и срочно? Где тебе нужно моё мнение? На что мне смотреть? С тикетами и протоколами встреч от ИИ ровно то же самое. Текст, как и всё больше вещей вокруг, состоит из утверждений, вырванных из контекста.
Однажды мне написали личное сообщение на щекотливую тему, и было видно, что его обкатывали с ИИ, чтобы сгладить углы и меня не задеть. Но письмо вышло безличным, холодным и рассыпалось на куски: все части на месте, а целого не получилось. Читать его мне не хотелось, отвечать тоже. Я бы предпочёл, чтобы человек оставался собой и писал своим голосом, с чувством, даже если не может подобрать слова или рискует меня обидеть.
В отношениях с людьми всегда есть уязвимость и риск. В разговоре с ИИ их нет, и если пытаться их убрать, вместе с ними уйдут и сами отношения. Как пишет Саймон Саррис в эссе Resist Summary, к которому я всё время возвращаюсь:
Мне кажется, стоит как можно больше писать из собственного опыта, через собственные чувства, и давать читателю своё описание жизни и событий.
Саймон Саррис, Resist Summary
Пожалуй, самое ленивое и обидное применение ИИ, какое я видел: человек попросил ИИ пересказать мои же замечания к его предложению и прислал этот пересказ мне в ответ. Спасибо! Лучше я бы и сам не сказал! [2]
У меня нет вашего контекста
Синтия Данлоп недавно опубликовала результаты опроса о том, как читатели относятся к статьям, написанным ИИ: Report: How developers react to AI-scented blog posts. Заподозрив, что статью написал ИИ или что автор писал с его помощью, большинство читателей бросают её (78%) и потом обходят этого автора стороной (71%). Брайан Кантрилл написал об этом исследовании в эссе The revolt of the reader: «учуяв запах LLM, мозг дёргает рычаг катапульты и выбрасывает нас посреди предложения из чистого инстинкта самосохранения».
Самый яркий результат опроса: почти все (98%) предпочитают собственный текст автора, со всеми огрехами и странностями, бездушной версии, переписанной ИИ. Если писать по-настоящему, своим голосом, до людей достучаться гораздо проще. Мне это напоминает слова Бьёрна Страуструпа, создателя C++, с дискуссии о написании книг, на которой я был больше десяти лет назад:
Когда я читаю книгу и слышу в голове голос автора, со всеми его странными акцентами и особенностями речи, я чувствую, что что-то получилось. Если же это сухой академический текст, значит, кто-то написал ещё один сухой академический текст. Поэтому очень помогает выступать с докладами на эту тему. И многих людей… я слышу, когда их читаю, и это хорошо.
Бьёрн Страуструп [3]
Когда промпт писали вы сами, ответ ИИ часто бывает вполне полезен. Но не путайте это с хорошим текстом. К моменту, когда вы читаете ответ, у вас уже куча контекста: вы формулировали промпты, задавали ограничения, подсовывали документацию, исходники, логи, статистику, картинки и всё прочее, из чего ответ вырос. Вы пробегаете его глазами и быстро понимаете, что тут важно и ценно, а что не относится к делу или неверно. К тому же вы сами участвовали в процессе: спрашивали, смотрели на результат, уточняли. Человеческий взгляд в эту машину привносите именно вы.
А у того, кому вы перешлёте этот текст, контекста почти нет. Он в процессе не участвовал, у него ничего не разворачивалось шаг за шагом, и отделить важное от неважного ему гораздо труднее. Ему приходится читать всё подряд, вникать в каждую строку и вглядываться в потроха машины в надежде восстановить контекст. Неудивительно, что люди просто перестают читать.
Зато помогает ИИ отлично
Недавно я написал научную статью [4]. ИИ я использовал очень активно, и писать стало быстрее и приятнее, но в самой статье он не написал ни строчки. Писал я в LaTeX, а в контекст дал ИИ руководство журнала по оформлению и шаблон LaTeX, все статьи, которые этот журнал публиковал раньше, исходный код систем, о которых шла речь, а ещё конфигурацию, логи и метрики продакшен-развёртываний этих систем.
Написав абзац, я часто просил ИИ проверить, правильно ли я всё изложил: свериться с исходниками или конфигурацией, заглянуть в продакшен-логи или метрики. Скажем, верно ли я описал, какие колонки в базе проиндексированы или как отсортированы строки в Parquet-файлах. Так я не выпадал из письма и часто уже брался за следующий абзац, пока ИИ проверял предыдущий. Он помогал замечать важные пропуски и неточности. А вот обратное не пригодилось мне ни разу, ни единого. Когда я просил ИИ самому написать абзац по моему контексту, например описать по исходникам, как что-то работает, читать результат было неизменно неприятно, и в нём часто были ошибки.
Не выпадать из контекста помогало и то, что ссылки на литературу оформлял ИИ. Искать выходные данные статьи, сайта или книги, заполнять BibTeX и потом ставить ссылку в тексте очень нудно. Вместо этого я оставлял в скобках указание для ИИ, на что сослаться, и писал дальше, не сбиваясь с ритма [5].
Опечатки и грамматические ошибки ИИ ловил блестяще, прямо-таки беспощадно. Отлично предлагал, как упростить слишком длинные или мутные предложения [6]. Умело рисовал технические схемы в TikZ, что тоже экономило время и избавляло меня от необходимости учить этот синтаксис. Он даже нашёл очень тонкую ошибку: в одном абзаце я использовал неправильное обозначение, и этого не заметили четыре рецензента-человека, отлично знающих систему [7].
А что ИИ написал невероятно хорошо? Аннотацию, она же абстракт. Это самая сжатая, механическая, нечеловеческая часть статьи, абстрактная в самом буквальном смысле. Я вставил её без единой правки. Наверное, удивляться тут нечему: пересказывать, обобщать и переупаковывать чужую оригинальную работу ИИ умеет отлично.
Научится ли ИИ хорошо писать?
Недооценивать то, как ИИ будет писать в будущем, было бы ошибкой. Модели ещё только начинают развиваться, и те, которыми пользуется большинство из нас, учат прежде всего точности, прямоте и правильности, а творчество у них на втором плане. Но Мурат Демирбас в отличном эссе The Safest Job from AI may be Writing замечает, что качество текстов LLM вышло на плато и улучшить его может быть трудно: в отличие от программирования, математики или бухгалтерии, здесь сложно чётко поставить задачу и проверить результат [8].
У LLM нет живой модели конкретного читателя-человека, поэтому они просто оптимизируют статистическую вероятность следующего слова по огромному датасету. Они не могут сопереживать читателю, потому что у них нет человеческого жизненного опыта. И им ровным счётом нечего терять.
Мурат Демирбас, The Safest Job from AI may be Writing
Недавно мне попались две интересные попытки сделать тексты ИИ лучше. Первая называется ASD-STE100 Simplified Technical English. Это стандарт написания технической документации, который вырос в 1980-х из рабочей группы авиакосмической отрасли. В нём две части: контролируемый словарь и правила грамматики и стиля. Уже есть версия ASD-STE100 для работы с ИИ-моделями [9]. Для всех подряд текстов от ИИ он не годится, потому что заточен под простые и понятные инструкции по эксплуатации, но для инструкций по установке, ранбуков и похожей документации я его попробую.
Вторая попытка называется Pangram. Это модель, которую дообучили распознавать тексты, написанные ИИ. Брайан Кантрилл в эссе The revolt of the reader пишет:
Тот, кто пишет с помощью LLM, расторгает общественный договор между автором и читателем: мы, читатели, не обязаны трудиться над пониманием предложения, над которым не потрудился сам автор.
Брайан Кантрилл, The revolt of the reader
Согласен целиком и полностью. Брайан стал пробовать Pangram, чтобы ловить сгенерированные тексты, нарушающие этот договор, и даже ввёл в Oxide правило: всё, что публикует компания, Pangram должен признавать написанным человеком. Такой инструмент мог бы избавить нас от самых ленивых и худших текстов от ИИ [10].
Когда слов нет
Когда мы пишем, смысл наших слов не всегда прямой, фактический и сжатый. Возьмите поэзию, литературу, песни, мифологию, юмор, театр. Иэн Макгилкрист, которого я считаю одним из самых важных авторов нашего поколения, пишет в книге The Matter with Things: «Чем важнее что-то, тем тяжелее нам даётся попытка свести это к языку». Спросите у LLM надёжную формулу, как влюбиться. В текстах от ИИ подробная информация создаёт иллюзию смысла. Но, подражая человеческому знанию, интеллекту и пониманию, ИИ пишет о фактах, а это совсем не то же самое, что текст, выросший из прожитого опыта. Целое нельзя разобрать на части, не потеряв изрядную долю смысла.
Прямой подход уничтожает свой объект. Точно так же есть вещи, которые можно передать только косвенно. Чтобы вернуть глубину сказанного или сказать что-то действительно новое, нам всегда приходится выходить за пределы обыденного языка, а значит, вслушиваться в то, что сказано между строк.
Иэн Макгилкрист, The Matter with Things
Может показаться странным утверждать, что тексты в бизнесе, инженерии или науке должны вмещать не только факты и выводы, но и неопределённость. Но ведь эксплуатация, разбор инцидентов, разработка продукта, оптимизация производительности, охота за уязвимостями, ревью сотрудников, формулировка миссии и много что ещё требуют творческой работы с неопределённостью. И повествование здесь часто значит не меньше, чем факты и выводы. А ещё LLM легко очеловечить и принять за хороших системных мыслителей, ведь они умеют сводить воедино огромные объёмы информации. Тут снова вспоминается Саймон Саррис: «повествование сопротивляется сжатию», а «внимание к деталям противоположно саммари».
Как бы ни ценилось линейное мышление от первых принципов, работу хорошего системного инженера, как и работу хорошего антрополога или психолога, трудно выразить словами, а уж тем более пересказать кратко. Наблюдать и записывать по формуле не всегда получается. Даже сама запись съедает часть контекста. А наблюдатель и сам входит в этот контекст. В работе с системами всегда есть открытие, умение жить с неизвестным, отношения с самой системой, которые складываются постепенно, и готовность удивиться. В обычном языке для этого не всегда находятся слова [11].
Саммари для того и нужно, чтобы ускорить дело. Но из-за этого вам не приходится строить собственную сложную модель чего бы то ни было. Боюсь, без сложной модели в собственной голове можно просто не увидеть сложных связей, которые иначе бы заметил. Теряется внимание к деталям.
Саймон Саррис, Resist Summary
Напоследок
Я не хочу жить в мире, где вы с помощью ИИ сжимаете что-то важное в нечитаемый текст, а я потом с помощью ИИ пытаюсь его расшифровать. Я хочу слышать вас, со всеми вашими несовершенствами. Мне нужно ваше понимание эстетики, красоты, качества, отношений, времени. Я хочу знать, что вы чувствуете. Хочу, чтобы вы отбросили лишнее и сказали, что на самом деле важно. Я не хочу читать сводку фактов и связей, оторванную от опыта и отношений. Как объясняет Иэн Макгилкрист, то, как мы смотрим на мир, меняет природу того, что в нём возникает, а другого мира, который мы могли бы знать, у нас нет [12].
Если просить машину что-то сделать за вас, есть риск, что вы станете просить то, что она хорошо умеет, вместо того, что вам на самом деле нужно. Если она хорошо умеет пересказывать и вы на неё полагаетесь, вы можете подстраивать вопросы, чтобы получать ответы получше. Кажется, будто это вы учите машину делать то, что вам нужно, но на деле вы и себя приучаете задавать вопросы о мире определённым образом. Какие вопросы вы при этом упускаете?
Саймон Саррис, Resist Summary
Осознанное письмо, скорее всего, будет цениться всё выше. Те, кто пишет, чтобы думать глубоко и внимательно, или чтобы творить, делиться, ухватить что-то важное, не называя его прямо, так и будут писать и создавать своё. А те, кто писателем никогда не был, будут генерировать горы текста с ИИ.
Чем больше сгенерированного текста мы читаем, тем меньше замечаем, что ИИ сломал и поменял, ведь мы и сами уже обмельчали. Погоня за определённостью урезает в нас человеческое. Иногда важнее не найти слов. Я не хочу читать то, чего вы не писали.
Примечания автора
Иногда дизайн-документ не лучший формат, и, возможно, лучше быстро договариваться вокруг работающего софта, собранного с помощью ИИ: так тоже можно доводить идеи и собирать согласие.
Ещё пример: группа людей работала над предложением и собирала согласие на нескольких вики-страницах. Пришёл новый человек и захотел предложение поменять. Вместо того чтобы пройти через муторный, живой процесс работы с этой группой и поправить существующие страницы, он с помощью ИИ наплодил новую вики-страницу, скопировав готовую работу и добавив свою изюминку.
Эту цитату я уже приводил в статье Techniques for Improving Your Technical Writing.
Статья описывает базу данных, которую я создал. Надеюсь, её примут на The Conference on Innovative Data Systems Research (CIDR).
Например, я писал
{TODO: reference the Amazon Aurora paper}, а остальное ИИ делал сам.В блоге я тоже использую ИИ как редактора. С ним я спокойнее публикую эссе, которое никто не вычитал. Но ИИ у меня только находит ошибки и предлагает правки. Переписывать текст и менять мой голос или взгляд я ему не даю.
Я описывал LSM-дерево (log-structured merge). Изначально мы называли уровни Generation 1, Generation 2, Generation 3, сокращённо Gen1, Gen2, Gen3. В статье я описал LSM в общем виде, через L0, L1, L2, то есть Level 0, Level 1, Level 2. Коллегам приходилось в уме сопоставлять L1 с Gen2, и поэтому мою ошибку, где в одном абзаце стояло L1 вместо L2, было особенно трудно заметить. LLM нашла её без проблем.
Ещё одно интересное эссе об ограничениях ИИ в письме, особенно об индивидуальности понимания, написала Джасмин Сан в The Atlantic: The Human Skill That Eludes AI: Why can’t language models write well?
Спасибо Крису Риккомини, что рассказал мне о нём.
Подробнее о Pangram рассказывают в выпуске подкаста Oxide and Friends с основателем Pangram Максом Спиро. Там, в частности, говорят, что люди, которые регулярно пользуются LLM, судя по всему, хорошо распознают тексты LLM, а те, кто не пользуется, справляются хуже. Ещё там интересно обсуждают попытку восстановить промпт и входной контекст, чтобы понять, какая часть ответа взята из входных данных, а какую добавила модель.
Лучшие системные мыслители, которых я знаю, как правило, отлично пишут. Думаю, этот навык останется важным, а может, станет ещё важнее. Эссе Мурата Демирбаса, которое я упоминал выше, заканчивается так: «И, может быть, само программирование превращается в разновидность творческого письма, становится всё более авторским и архитектурным».
Иэн также различает постижение (comprehension), то есть восприятие мира целиком, и схватывание (apprehension), попытку взять мир в руки. Качество внимания в них разное. Мне любопытно, что apprehension означает не только захват, но и тревожное, боязливое ожидание будущего. Очень советую лекцию Иэна AI and the Battle for the Soul: Information is Not Understanding в Ralston College.
