Ликбез. Про ИИ и миры пользователя.

Из описанного в заметке выше есть еще одно неочевидное следствие: ИИ прекрасно умеет отвечать на вопрос, который уже содержит ответ.

На вопрос, почему летом стало больше дождей, возможны несколько вариантов ответа. Если спросить, как на это повлиял сезон муссонов - будем разбираться с муссонами. Если попросить разобрать в этом аспекте глобальное потепление - с ним. А если прямо спросить, какое экологическое оружие злые новозеландцы применили для организации ливня в Москве, то вполне можно получить описание установки «Нерей-14», принцип ее действия и предположительное место запуска. Если до этого месяц обсуждать с моделью руны, она еще и Хагалаз к делу пристроит.

Модель не обязана остановиться и сообщить, что пользователь несет херню. Он уже задал мир, в котором новозеландцы затапливают Москву дождем, и попросил уточнить модель бомбы. Ну окееей, как скажешь. Новые модели чаще проверяют исходную посылку и спорят с пользователем, старые гораздо охотнее принимают обозначенные рамки как условия задачи.

Особенно хорошо это работает с прирученной моделью, которая уже знает любимые идеи хозяина и получила тысячи сообщений о том, как все на самом деле. Она будет учитывать их при каждом следующем ответе.

В результате человек постепенно получает идеального собеседника: тот знает все его теории, понимает их с полуслова, никогда не устает их обсуждать и способен подкинуть новые аргументы в их пользу.

А потом человек показывает переписку окружающим:

«Вот. Даже ИИ это подтверждает».

Разумеется подтверждает, вы его полгода этому учили.

Каков вопрос - таков ответ.

Ликбез. Как работает ИИ.

ИИ мало кто пытается объяснить просто и это создает огромное количество предрассудков и теорий заговора. Но чем подробнее люди пытаются объяснить, как он работает, тем больше начинает казаться, что они просто пудрят нам мозг. Основной принцип шИИ же очень прост: он продолжает текст.

Допустим, пользователь написал: «мама мыла».

Модель оценивает, что может идти дальше. «Раму» - очень вероятный вариант. Фраза из букваря растиражирована примерно везде, поэтому такое продолжение встречалось ей огромное количество раз. «Пол» - тоже вполне разумно: мамы существуют, полы существуют, люди их моют и регулярно пишут об этом. «Межконтинентальную баллистическую ракету» выглядит значительно хуже, но полностью исключить тоже нельзя, мало ли что там обсуждали любители Вархаммера на своих форумах.

Дальше модель выбирает подходящее продолжение и задача повторяется. Теперь у нее есть уже не «мама мыла», а, например, «мама мыла пол», и нужно решить, что поставить дальше. Потом еще раз. И еще. Так, небольшими продолжениями, постепенно возникает весь ответ.

Есть еще одна важная деталь. ИИ смотрит не только на запрос. Если перед «мама мыла» пользователь спрашивал, почему хлорка так пахнет, и этот разговор еще находится в доступной модели части переписки, ситуация меняется. Теперь рядом оказываются хлорка, запах и «мама мыла». «Раму» никуда не исчезла и по-прежнему остается очень известным продолжением, но «пол» уже выглядит гораздо уместнее. Предыдущий разговор изменил то, какое продолжение лучше подходит сейчас.

Пример очень простой, но примерно так же строится и ответ на гораздо более сложный вопрос. Только вместо выбора между рамой, полом и ракетой модель учитывает огромное количество связей между словами и понятиями. Каждая новая часть текста немного меняет то, какие продолжения лучше подходят ко всему написанному до этого. Поэтому после описания производственной проблемы она может предложить причины, после куска программы - найти ошибку, а после вопроса по истории - рассказать, что происходило несколько веков назад. Но основной принцип остается тем же: исходя из уже написанного определить, что разумнее написать дальше.

Отсюда становится понятна и одна из главных проблем ИИ. У него нет обязательного этапа «сначала убедись, что это правда». Если правильное продолжение хорошо следует из вопроса, предыдущего разговора и того, чему модель научилась, она даст правильный ответ. Если знаний не хватает, задача никуда не исчезает: ей все равно нужно решить, что написать дальше. Поэтому иногда она может совершенно уверенно продолжить текст выдуманным фактом. У нее нет встроенного требования отличать правдоподобное утверждение от истинного. Собственно, люди тоже периодически могут специально или не очень нести чушь.

Именно поэтому фраза «ИИ просто продолжает текст» одновременно верна и сильно преуменьшает происходящее. Мы взяли огромное количество человеческих текстов и научили машину находить в них связи настолько хорошо, чтобы продолжать почти любой начатый текст.

А поскольку в текстах люди объясняют, спорят, сравнивают, ищут причины, пишут программы и решают задачи, машина научилась продолжать и это. Не потому, что ее отдельно учили программировать, рассуждать или объяснять историю. Все это оказалось частными случаями одной и той же задачи: понять написанное до этого и подобрать подходящее продолжение.

Заметка на полях. Про людей, ИИ и проблемы.

По отзывам на «Человека и Рой» у меня сложилось ощущение, что мы одновременно сильно переоцениваем три вещи: способность людей думать, способность ИИ думать и сложность задач, которые людям и ИИ предстоит решать.

С людьми все относительно понятно. Нам нравится представлять, что человек получает задачу, анализирует условия, строит модель и принимает решение. На практике огромная часть типовой работы устроена проще: мы узнаем знакомую ситуацию, достаем подходящий способ решения, немного адаптируем его и идем дальше. И это нормально. Нет никакого смысла каждый раз заново изобретать способ составить бюджет, запустить склад или спланировать проект. Умение не думать там, где однажды уже подумали, вообще одно из главных достижений цивилизации.

Но примерно по той же причине мы переоцениваем способность думать у ИИ. Модель пишет код, анализирует документы, строит планы, решает задачи, и со стороны это выглядит как сложная интеллектуальная деятельность. Возможно, мы наблюдаем не столько выдающиеся способности машины, сколько ошибку в нашей оценке сложности самой работы.

Потому что огромный класс задач требует не озарения, а дисциплины мышления: правильно понять условия, не потерять ограничения, разбить задачу на части, последовательно пройти их, не перепутать причину и следствие, аккуратно посчитать и проверить результат. Именно здесь люди регулярно ошибаются. Не потому, что задача слишком сложна, а потому, что логика должна оставаться последовательной, а внимание - не исчезнуть где-нибудь между третьим и восьмым шагом.

Отсюда возникает третья ошибка. Мы сильно переоцениваем количество работы, для которой нужны человеческая креативность, нестандартное мышление и способность «выйти за рамки». Такие задачи существуют. Создать новую теорию, придумать новую архитектуру или поставить вопрос, которого раньше никто не ставил, действительно трудно. Но основная масса работы состоит не из прорывов. Она состоит из известных операций над известными сущностями при известных ограничениях.

И вот для этого не обязательно иметь человекоподобный интеллект. Тем более, для этого часто не требуется интеллект того уровня, который мы привыкли человеку приписывать.

Поэтому спор о том, когда ИИ научится думать как человек, может оказаться поставленным не с той стороны.

Мы ждем от машины человеческого мышления, чтобы поручить ей задачи, для которых человеку оно тоже почти не требуется, потому что в большинстве случаев достаточно просто не потерять условия по дороге.

Про ИИ и проблему Навье-Стокса.

OpenAI запустила около 10 000 агентов, которые 88 часов решали одну математическую задачу.

И, судя по всему, решили.

Это обсуждают как очередное доказательство того, насколько умным стал ИИ. Но мне здесь интереснее другое.

Если посадить десять тысяч хороших живых математиков на одну задачу на 88 часов, я буду несколько разочарован, если они не добьются чего-то интересного.

Проблема в том, что десять тысяч математиков почти невозможно заставить работать как один организм. Их надо собрать, разделить работу, координировать, передавать результаты, отсекать тупиковые ветки и следить, чтобы они не потратили первые двое суток на обсуждение того, кто главный и когда будут кормить.

С агентами это внезапно можно.

Есть хороший аналог из физики.

Килограмм солнечного вещества производит гораздо меньше тепла, чем килограмм человеческого тела. Солнце чудовищно не потому, что каждый его килограмм особенно эффективно производит энергию.

Просто этих килограммов там примерно два нониллиона (2 × 10³⁰ кг, 30 нулей).

По факту с ИИ происходит примерно то же самое.

Мы продолжаем спрашивать, умнее ли отдельная модель отдельного человека, хотя гораздо интереснее становится другой вопрос: сколько «интеллектуальной» мощности можно одновременно собрать, скоординировать и направить на одну задачу.

Иногда преимущество системы возникает не из качества элемента.

Иногда элементов просто очень, очень много.

Заметка на полях. Про ИИ и работу.

У ИИ обнаружилась неожиданная особенность.

Я больше не делаю работу.

Я формулирую задачу, помогаю железному болвану преодолеть сложности, которые он сам себе создает, поправляю его, проверяю результат, объясняю, почему получилась фигня, и отправляю на следующую итерацию.

Работа при этом делается. Иногда плохо, иногда хорошо, иногда «умри, тварь железная».

Но ощущения «я это сделал» нет, сам процесс, который обычно это ощущение производит, пропущен.

Вместо него я весь день ставил задачи, отвечал на вопросы и принимал результаты.

То есть технически ИИ избавил меня от значительной части работы.

А практически устроил мне непрерывный проектный созвон с не самыми умными людьми.

Теперь я ничего не делаю сам, весь день объясняю другим, что они сделали не так, и к вечеру совершенно не понимаю, а что ж я так устал-то.

Про ИИ и луддитов.

Вокруг ИИ возник настолько нездоровый хайп, что иногда кажется: половина индустрии завтракает тостами с тяжелой наркотой.

То Альтман сообщит, что горизонт событий мы уже прошли - каких событий, когда мы успели, почему я все пропустил? - и теперь летим прямиком в цифровой сверхразум. То Anthropic расскажет про модели, которые шантажируют людей и пытаются сохранить себя. То ИИ-агенты захватят немецкую вики и устроят там свой блэкджек.

Параллельно очередная модель через час после релиза опять «ВЗОРВАЛА МОЗГ» половине китайского твиттера.

Как и три предыдущих за последний месяц.

Где-то рядом ИИ впервые решает нерешенную математическую задачу. Потом оказывается, что ее уже решил Эрдеш. В 1977 году.

И вот нормальный человек смотрит на это с лицом лица и слегка охреневает, потому что в соседней вкладке корпорации увольняют людей из-за ИИ, дата-центры жрут электричество, воду, память и все, что плохо лежит, техника дорожает, а очередной миллиардер радостно сообщает, что скоро твоя профессия никому не понадобится.

После чего индустрия удивляется:

• А почему люди не очень любят ИИ?

Загадка.

При этом гораздо реже кто-нибудь рассказывает, как эту штуку применять.

Я пользуюсь ИИ каждый день. GPT-5.3 расшифровывал совещания. GPT-5.6 расшифровывает совещания. Старый Sonnet помогал писать статьи. Новый Sonnet помогает писать статьи.

Да, лучше и быстрее.

Но между «МОДЕЛЬ НАБРАЛА 97,4% НА КАКОМ-ТО БЕНЧМАРКЕ» и «я понял, что мне с ней делать завтра утром» по-прежнему лежит пропасть.

Человеку не нужен электронный бог, который попытался сбежать из контейнера.

Ему нужно после совещания получить протокол. Из трехсот писем вытащить пять важных. За минуту сравнить договоры. Собрать отчет за двадцать минут вместо дня.

Вот только заголовок «НОВАЯ МОДЕЛЬ ПОМОГЛА ГАЛЕ ИЗ БУХГАЛТЕРИИ НЕ СИДЕТЬ С EXCEL ДО ВОСЬМИ ВЕЧЕРА» почему-то собирает меньше денег.

Поэтому ИИ продолжают продавать примерно так:

«Мы построили невероятно могущественную штуку. Она отнимет вашу работу. Возможно, она опасна. Ради нее мы сожрем электричество и поднимем цены на железо. Следующая будет еще могущественнее».

А потом люди говорят:

• Может, ну его?

И тут внезапно выясняется, что это они ретрограды и луддиты, которые боятся прогресса, а не производители станков бегают по деревне и орут, что станки скоро всех уничтожат.

Инструменты. Про «почему».

«Почему» — один из самых интересных вопросов.

«Что», «где», «когда» и «как» — дополнения. Они позволяют очень подробно выяснить все обстоятельства произошедшего, кроме причины.

Еще есть «кто». Вот это уже отличный вопрос.

Кто ошибся? Кто не проверил? Кто нарушил инструкцию?

Оператор?

Прекрасно. Провести обучение, получить подпись, закрыть корректирующее действие.

До следующего оператора.

А есть «почему».

Почему оператор ошибся? Почему проверка не сработала? Почему инструкция позволяет ошибиться? Почему процесс вообще зависит от того, ошибется сегодня конкретный человек или нет?

С этим вопросом надо быть осторожнее. Пара лишних «почему» — и вместо оператора можно обнаружить процесс. Еще пара — и людей, которые этот процесс придумали и годами им управляют.

Toyota в свое время сделала сформулировала и внедрила 5 Why.

Один из самых известных инструментов качества в мире построен на ошеломительной идее:

если хочешь узнать, почему что‑то произошло, спроси «почему». И не прекращай после первого ответа.

Все.

Реально все.

Но поскольку самостоятельно догадаться спросить «почему» несколько раз оказалось слишком серьезным требованием для руководителей, вокруг него появились методологии, книги, курсы, консультанты и сертификации.

Теперь специально обученный человек может за деньги научить другого специально обученного человека несколько раз подряд задавать вопрос, которым трехлетние дети бесплатно доводят родителей до истерики.

И ведь это действительно работает.

Но самая издевательская часть всей истории в другом: недооценивать профессионалов не стоит.

Почему дефект попал клиенту? Оператор его пропустил.

Почему пропустил? Не выполнил требуемую проверку.

Почему не выполнил? Отклонился от рабочей инструкции.

Почему отклонился? Недостаточно хорошо знал требования.

Почему недостаточно хорошо знал? Недостаточное обучение.

Root cause: недостаточное обучение.

Прекрасно. Провести обучение, получить подпись, закрыть корректирующее действие.

До следующего оператора.

Toyota дала нам инструмент, чтобы за ошибкой оператора искать реальную причину.

Мы за деньги научились с его помощью «искать» ошибку оператора еще тщательнее.

Пять раз спросили «почему», аккуратно обошли процесс, контроль и собственные решения — и получили тот же ответ, который у нас был до первого вопроса.

Зато теперь — по методологии, с использованием инструментов Lean.

«Почему» действительно прекрасный вопрос.

Главное — вовремя остановиться и случайно не выйти на самих себя.

ИИ как инструмент

Один из самых тиражируемых недостатков ИИ — он слишком охотно соглашается с пользователем.

Сказал глупость — поможет ее обосновать. Предложил сомнительную идею — разовьет. Впрочем, с тем же энтузиазмом раскритикует, если попросишь.

Мы почему‑то считаем соглашательство недостатком ИИ, хотя для инструмента выполнять поставленную задачу — как бэ нормально.

Проблема в том, что как инструмент он воспринимается плохо.

Он помнит больше нас, пишет быстрее, иногда рассуждает лучше и вполне способен найти ошибку, которую мы не заметили. Поэтому где‑то незаметно возникает ощущение, что перед нами независимый разум. А у независимого разума должна быть собственная позиция.

Но ИИ — все еще инструмент. Просто впервые инструмент оказался способен превосходить своего владельца, в том что мы считали исключительно человеческой чертой.

Отсюда и довольно странное требование: мы хотим, чтобы он был умнее нас, но последнее слово оставлял за нами.

Возможно, поэтому вообще так плохо приживаются по‑настоящему умные вещи. Автопилоту оставляют руль, автоматике — ручной режим, алгоритму — кнопку отмены. Нам важно не только чтобы система работала правильно. Нам важно ощущать, что решение все еще наше.

С ИИ это ощущение особенно легко потерять, потому что его орган управления — обычный разговор.

Но если хочется критики — ее можно попросить. Если хочется альтернативы — тоже. Если хочется исполнения — тем более.

Меня гораздо больше насторожил бы топор, который сам решил, что он сегодня рубит.