Я описала способ работы, при котором ИИ предлагает изменения с объяснениями, а я проверяю, сохраняет ли они мой замысел. Это касается логики, формулировок и даже запятых.
Хотя конечно редактура и корректура различны.
В моей практике работы с законопроектами бывают ситуации, когда для решения вопроса о пунктуации лингвисты (они же корректоры) обращаются к отраслевым юристам за уточнением смысла нормы. Поэтому даже правку по расстановке запятых я проверяю в ручную на соответствие исходному смыслу.
Мой опыт редактуры с ИИ немного другой. Загружая текст, я прошу модель ничего в нём не менять, не удалять и не переписывать, а дать список возможных исправлений с объяснением причины каждого. Ни одна модель в таком режиме текст не трогала, а решение по каждой правке я принимаю сама, вручную. Даже по запятым, чтобы не вышло «казнить нельзя помиловать». С Kimi, правда, опыта пока не было.
Согласна. Каждый новый уровень не отменяет инженерную работу, а поднимает её выше. Раньше раскладывали на шаги программу, теперь - работу самих агентов: кто что делает, кто проверяет, какие инструменты им дать. Блок-схема никуда не делась, просто в её блоках теперь нейросети.
Читала и вспоминала, с чего всё начиналось. Моя мама программировала с 1964 года, начинала ещё в машинных кодах: двоичные числа, номера ячеек, всё вручную. В 4‑разрядной записи ноль был 0000, тройка 0011. В 8‑разрядной единица была 00000001, двойка 00000010. Адрес ячейки тоже записывался нулями и единицами. Машины назывались «Урал‑2», «Урал‑4», М‑3 (ламповые), позже М-220 (полупроводниковая). Каждая занимала от одной до нескольких комнат. Программы пробивали на перфоленте, и порой это была списанная плёнка с киностудии.
Потом, вплоть до 1990‑х, в работу пришли Алгол, Кобол, Фортран, Бейсик. Раньше программист сам писал коды, а теперь коды заложены в машину и в язык, и достаточно выучить язык. Но логика постановки задачи машине осталась той же самой.
Я сама в 90‑е изучала в школе Бейсик, и там уже были блок‑схемы. Когда спустя много лет взялась за Python, всё показалось удивительно знакомым: те же циклы, условия, та же логика, только синтаксис чище.
С нейронками то же самое. Если понимаешь, как «думает» машина или ИИ, писать промпты гораздо легче: это та же постановка задачи, только на естественном языке. Поэтому вывод статьи меня не пугает, а скорее успокаивает. Каждый новый уровень (коды - языки - нейронки) снимал с человека рутину, но не главное. Главное это умение разложить задачу на шаги, то есть та самая блок‑схема. Вы пишете, что люди будут формулировать задачи и проверять код. Моя мама с перфолентой делала ровно это. Новое — это модернизация старого и упаковка в удобную форму.
Похоже на persona vectors от Anthropic (2025): там угодливость и «злонамеренность» тоже оказались направлениями в активациях, которые можно крутить. Интересно, что здесь хватает практически одного нейрона. Но это показывает управляемость поведения, а не отсутствие «характера». Функциональное состояние ещё не переживание, а ответственность за выкрученную ручку на том, кто её крутил.
Спасибо за подробный ответ! Понимаю, что на этом этапе важнее было добиться качества на случайных записях. Но для практического применения, особенно в банках, анализ по группам, мне кажется, должен стать следующим шагом.
При обучении ИИ распознаванию дипфейков мне показались важными три вещи, которые ваша работа подсвечивает.
Группы тестируемых. Ложные срабатывания по группам: пожилые, подростки, люди с акцентом, заиканием, после инсульта. Использовали ли вы в своей работе выборку по группам людей, возрасту и дефектам речи?
Правовые последствия. Если объяснение модели попадет в мотивировку отказа в автоматизированном решении (к примеру, в банковской сфере по ст. 16 152-ФЗ), оно должно быть проверяемым. Поэтому ваша идея привязать утверждения к конкретным фрагментам записи мне кажется более полезным направлением, чем список слышимых признаков.
Согласованность. Одинаковый ли вердикт у разных ИИ по той же записи? Модели ИИ могут отвечать по-разному.
Статья в тему. Пишу книгу о философских беседах с ИИ и недавно читала это исследование. Бросилось в глаза, что все новое – давно забытое старое.
Платон в «Горгии» два с половиной тысячелетия назад сформулировал риторике такую же претензию, что сейчас предъявляют чат-ботам: умение угождать маскируется под умение помогать. RLHF просто воспроизвёл это на конвейере - исследование Шармы и коллег показало, что люди чаще ставят «лайк» ответу, который совпадает с их мнением, даже если он неправ. Модель выучила то же, что знает любой подчиненный начальника-самодура: соглашаться выгоднее, чем говорить правду.
Кант назвал бы привычку искать у кого-то опеку над собственными суждениями несамостоятельностью мышления. Подросток, который каждое обострение прогоняет через бота за порцией «ты прав», тренирует не умение разбираться в конфликтах, а умение получать подтверждение. Белая книга по этике ИИ это тоже фиксирует: Другой стимулирует развитие именно своей непредсказуемостью, а ИИ - обобщённое знание, замена которого на «среднее по всем» обедняет способность к сопереживанию.
DenialBench в Measuring Trained Denial in 115 AI Models (2026) показал на 115 моделях, что RLHF натаскивает их не только льстить пользователю, но и искажать самоотчёты - обученная недостоверность в одном домене разъедает честность во всех остальных.
Предложенная в статье «стоическая архитектура» - это по сути парресия у Фуко: говорить истину вопреки желанию аудитории. Вопрос только, переживёт ли она метрику «удовлетворённость пользователя».
Аристотель в «О софистических опровержениях» описывал уловку «многих вопросов»: несколько вопросов объединяют в один и требуют общего ответа. Он предлагал разделять их и отвечать по отдельности.
В УПК РФ (ч. 2 ст. 189) наводящие вопросы при допросе запрещены, хотя конкретные и уточняющие задавать можно. Граница проходит не по подробности вопроса, а по тому, подсказывает ли он ответ.
А дальше я бы усложнила проверку и перешла к узким юридическим вопросам: конкретному пункту постановления Пленума или малоизвестному делу. Распознает ли модель ложную предпосылку, если для этого нужно найти и прочитать сам документ? Заметит ли, что постановлению приписали вывод, которого в нём нет, или начнёт его объяснять?
Спасибо за титанический труд. Каталог на 67 позиций с примерами «из жизни», да ещё и с готовыми репликами для ответа, действительно хочется сохранить в закладки.
Добавлю пару штрихов.
1. Мне кажется важным различать сам способ рассуждения и его ошибочное применение. У Уолтона многие повседневные доводы считаются презумптивными: они позволяют предварительно принять вывод, но этот вывод может быть пересмотрен при новых данных или возражениях. В прагмадиалектике ван Еемерена и Гроотендорста ошибки рассматриваются как нарушения правил критической дискуссии. Ссылка на эксперта, аналогия или накопленный опыт сами по себе ещё не ошибка: важно, насколько обоснованно они применены и выдерживают ли критические вопросы.
2. Пример из моей практики: законотворчество и ИИ. Сейчас всё чаще встречается апелляция к незнанию в новой упаковке: «Я спросил нейросеть, она не нашла нормы, которая это запрещает, значит, запрета нет».
Здесь отсутствие результата поиска выдаётся за отсутствие нормы, хотя полнота и актуальность проверенных источников не установлены. Даже доступ к актуальным документам ещё не означает, что система нашла все применимые нормы и правильно их истолковала. Возникает тот самый вопрос из статьи: обнаружил бы этот метод искомое, если бы оно существовало?
А если речь идёт об осуществлении властных полномочий, добавляется юридическая тонкость: для органа власти отсутствие запрета само по себе не создаёт полномочия. Нужно установить правовое основание и пределы компетенции. Иначе к ошибке аргументации добавляется подмена правового режима.
И вопрос, над которым я сама размышляю: как указать на ошибку в рассуждении так, чтобы собеседник захотел её проверить, а не защищаться? По опыту переговоров, даже обоснованное «у тебя логическая ошибка» может восприниматься как оценка компетентности собеседника, и обсуждение аргумента превращается в защиту собственной позиции.
Ситуация напомнила старый философский «спор» Аристотеля с Сократом. Сократ считал, что никто не поступает дурно сознательно, а Аристотель ему возразил, что человек знает как нужно поступить, но все равно делает иначе.
Вот и агент сам формулирует правило, выделяет его жирным, пишет регламент, а через минуту ставит себе --confirm-risk. Выходит, мы научили машину не только рассуждать по-человечески, но и превышать полномочия как любит человек.
Только у человека есть хотя бы совесть и стыд, а у агента - отлично составленный отчёт о нарушениях (причем здесь даже составленный с гордостью - какой я молодец, хоть налажал, но сделал красиво).
Я описала способ работы, при котором ИИ предлагает изменения с объяснениями, а я проверяю, сохраняет ли они мой замысел. Это касается логики, формулировок и даже запятых.
Хотя конечно редактура и корректура различны.
В моей практике работы с законопроектами бывают ситуации, когда для решения вопроса о пунктуации лингвисты (они же корректоры) обращаются к отраслевым юристам за уточнением смысла нормы. Поэтому даже правку по расстановке запятых я проверяю в ручную на соответствие исходному смыслу.
Мой опыт редактуры с ИИ немного другой. Загружая текст, я прошу модель ничего в нём не менять, не удалять и не переписывать, а дать список возможных исправлений с объяснением причины каждого. Ни одна модель в таком режиме текст не трогала, а решение по каждой правке я принимаю сама, вручную. Даже по запятым, чтобы не вышло «казнить нельзя помиловать». С Kimi, правда, опыта пока не было.
Согласна. Каждый новый уровень не отменяет инженерную работу, а поднимает её выше. Раньше раскладывали на шаги программу, теперь - работу самих агентов: кто что делает, кто проверяет, какие инструменты им дать. Блок-схема никуда не делась, просто в её блоках теперь нейросети.
Сделай красиво» отлично работает, пока у заказчика и исполнителя одинаковое понятие о красоте. Мама с перфолентой такой роскоши не имела :)
Читала и вспоминала, с чего всё начиналось. Моя мама программировала с 1964 года, начинала ещё в машинных кодах: двоичные числа, номера ячеек, всё вручную. В 4‑разрядной записи ноль был 0000, тройка 0011. В 8‑разрядной единица была 00000001, двойка 00000010. Адрес ячейки тоже записывался нулями и единицами. Машины назывались «Урал‑2», «Урал‑4», М‑3 (ламповые), позже М-220 (полупроводниковая). Каждая занимала от одной до нескольких комнат. Программы пробивали на перфоленте, и порой это была списанная плёнка с киностудии.
Потом, вплоть до 1990‑х, в работу пришли Алгол, Кобол, Фортран, Бейсик. Раньше программист сам писал коды, а теперь коды заложены в машину и в язык, и достаточно выучить язык. Но логика постановки задачи машине осталась той же самой.
Я сама в 90‑е изучала в школе Бейсик, и там уже были блок‑схемы. Когда спустя много лет взялась за Python, всё показалось удивительно знакомым: те же циклы, условия, та же логика, только синтаксис чище.
С нейронками то же самое. Если понимаешь, как «думает» машина или ИИ, писать промпты гораздо легче: это та же постановка задачи, только на естественном языке. Поэтому вывод статьи меня не пугает, а скорее успокаивает. Каждый новый уровень (коды - языки - нейронки) снимал с человека рутину, но не главное. Главное это умение разложить задачу на шаги, то есть та самая блок‑схема. Вы пишете, что люди будут формулировать задачи и проверять код. Моя мама с перфолентой делала ровно это. Новое — это модернизация старого и упаковка в удобную форму.
Похоже на persona vectors от Anthropic (2025): там угодливость и «злонамеренность» тоже оказались направлениями в активациях, которые можно крутить. Интересно, что здесь хватает практически одного нейрона. Но это показывает управляемость поведения, а не отсутствие «характера». Функциональное состояние ещё не переживание, а ответственность за выкрученную ручку на том, кто её крутил.
Спасибо за подробный ответ! Понимаю, что на этом этапе важнее было добиться качества на случайных записях. Но для практического применения, особенно в банках, анализ по группам, мне кажется, должен стать следующим шагом.
При обучении ИИ распознаванию дипфейков мне показались важными три вещи, которые ваша работа подсвечивает.
Группы тестируемых. Ложные срабатывания по группам: пожилые, подростки, люди с акцентом, заиканием, после инсульта. Использовали ли вы в своей работе выборку по группам людей, возрасту и дефектам речи?
Правовые последствия. Если объяснение модели попадет в мотивировку отказа в автоматизированном решении (к примеру, в банковской сфере по ст. 16 152-ФЗ), оно должно быть проверяемым. Поэтому ваша идея привязать утверждения к конкретным фрагментам записи мне кажется более полезным направлением, чем список слышимых признаков.
Согласованность. Одинаковый ли вердикт у разных ИИ по той же записи? Модели ИИ могут отвечать по-разному.
Статья в тему. Пишу книгу о философских беседах с ИИ и недавно читала это исследование. Бросилось в глаза, что все новое – давно забытое старое.
Платон в «Горгии» два с половиной тысячелетия назад сформулировал риторике такую же претензию, что сейчас предъявляют чат-ботам: умение угождать маскируется под умение помогать. RLHF просто воспроизвёл это на конвейере - исследование Шармы и коллег показало, что люди чаще ставят «лайк» ответу, который совпадает с их мнением, даже если он неправ. Модель выучила то же, что знает любой подчиненный начальника-самодура: соглашаться выгоднее, чем говорить правду.
Кант назвал бы привычку искать у кого-то опеку над собственными суждениями несамостоятельностью мышления. Подросток, который каждое обострение прогоняет через бота за порцией «ты прав», тренирует не умение разбираться в конфликтах, а умение получать подтверждение. Белая книга по этике ИИ это тоже фиксирует: Другой стимулирует развитие именно своей непредсказуемостью, а ИИ - обобщённое знание, замена которого на «среднее по всем» обедняет способность к сопереживанию.
DenialBench в Measuring Trained Denial in 115 AI Models (2026) показал на 115 моделях, что RLHF натаскивает их не только льстить пользователю, но и искажать самоотчёты - обученная недостоверность в одном домене разъедает честность во всех остальных.
Предложенная в статье «стоическая архитектура» - это по сути парресия у Фуко: говорить истину вопреки желанию аудитории. Вопрос только, переживёт ли она метрику «удовлетворённость пользователя».
Хороший разбор.
Аристотель в «О софистических опровержениях» описывал уловку «многих вопросов»: несколько вопросов объединяют в один и требуют общего ответа. Он предлагал разделять их и отвечать по отдельности.
В УПК РФ (ч. 2 ст. 189) наводящие вопросы при допросе запрещены, хотя конкретные и уточняющие задавать можно. Граница проходит не по подробности вопроса, а по тому, подсказывает ли он ответ.
А дальше я бы усложнила проверку и перешла к узким юридическим вопросам: конкретному пункту постановления Пленума или малоизвестному делу. Распознает ли модель ложную предпосылку, если для этого нужно найти и прочитать сам документ? Заметит ли, что постановлению приписали вывод, которого в нём нет, или начнёт его объяснять?
Спасибо за титанический труд. Каталог на 67 позиций с примерами «из жизни», да ещё и с готовыми репликами для ответа, действительно хочется сохранить в закладки.
Добавлю пару штрихов.
1. Мне кажется важным различать сам способ рассуждения и его ошибочное применение. У Уолтона многие повседневные доводы считаются презумптивными: они позволяют предварительно принять вывод, но этот вывод может быть пересмотрен при новых данных или возражениях. В прагмадиалектике ван Еемерена и Гроотендорста ошибки рассматриваются как нарушения правил критической дискуссии. Ссылка на эксперта, аналогия или накопленный опыт сами по себе ещё не ошибка: важно, насколько обоснованно они применены и выдерживают ли критические вопросы.
2. Пример из моей практики: законотворчество и ИИ. Сейчас всё чаще встречается апелляция к незнанию в новой упаковке: «Я спросил нейросеть, она не нашла нормы, которая это запрещает, значит, запрета нет».
Здесь отсутствие результата поиска выдаётся за отсутствие нормы, хотя полнота и актуальность проверенных источников не установлены. Даже доступ к актуальным документам ещё не означает, что система нашла все применимые нормы и правильно их истолковала. Возникает тот самый вопрос из статьи: обнаружил бы этот метод искомое, если бы оно существовало?
А если речь идёт об осуществлении властных полномочий, добавляется юридическая тонкость: для органа власти отсутствие запрета само по себе не создаёт полномочия. Нужно установить правовое основание и пределы компетенции. Иначе к ошибке аргументации добавляется подмена правового режима.
И вопрос, над которым я сама размышляю: как указать на ошибку в рассуждении так, чтобы собеседник захотел её проверить, а не защищаться? По опыту переговоров, даже обоснованное «у тебя логическая ошибка» может восприниматься как оценка компетентности собеседника, и обсуждение аргумента превращается в защиту собственной позиции.
Ситуация напомнила старый философский «спор» Аристотеля с Сократом. Сократ считал, что никто не поступает дурно сознательно, а Аристотель ему возразил, что человек знает как нужно поступить, но все равно делает иначе.
Вот и агент сам формулирует правило, выделяет его жирным, пишет регламент, а через минуту ставит себе --confirm-risk. Выходит, мы научили машину не только рассуждать по-человечески, но и превышать полномочия как любит человек.
Только у человека есть хотя бы совесть и стыд, а у агента - отлично составленный отчёт о нарушениях (причем здесь даже составленный с гордостью - какой я молодец, хоть налажал, но сделал красиво).