Тут интересный вопрос, что пользователя приучают ставить левые приложения по всем формальным признакам не связанным с банком. Это потенциально ого-го дырень в безопасности. Раньше банки всеми силами убеждали пользователей наоборот так НЕ делать.
А тут почти как "наберите в гугле 'сбербанк васян эдишн бесконечные деньги скачать apk' и перейдите по третьей ссылке". Ничто не мешает злоумышленнику выложить другое приложение по "учёту надоев" только отсылающее логин-пароль и третий фактор куда надо.
Как человек играющийся с ИИ, могу сказать, что не всё так радужно. Всё хорошо, пока всё хорошо. Но когда что-то идёт не так, то чем дальше оно идёт не так, тем больше ИИ запутывается, там где программист выпутался бы.
Так что тот симулятор полёта для меня скорее ошибка выжившего, что автору повезло, что в его проекте все решения ИИ оказались удачными и он нигде не запутался.
Другая сторона медали недавняя новость, где другой человек без навыков программирования разрабатывал проект в Cursor и в какой-то момент любое изменение начало делать только хуже и всё ломать.
Ну и серединная опция, где пользователь ИИ опытный программист, который не даёт ему запутаться или принимает решения в ситуациях, где их не может принять ИИ (не допускает отклонения в архитектуре проекта и т. д.).
Я всегда обращал внимание, что многие документы типа чеков не имеют никаких степеней защиты. Улыбнулся с первого изображения чека, где chatgpt "очень постарался", когда такой чек можно набрать не то что в платном Word, а в "Блокнот" входящем в стандартный комплект поставки Windows (а если недостаточно фантазии что написать в текстовом поле, то текст ChatGPT мог сгенерировать уже давным-давно), распечатать и сфотографировать камерой телефона.
Но главный сдерживающий фактор тут в том, что подделка документов в большинстве стран мира - уголовная статья. И рисковать несколькими годами пусть даже условного заключения ради выгоды в несколько тысяч рублей мало кто будет. А если ставить дело на поток или поднимать ставки (чтобы выгода стала ощутимой), то шансы присесть возрастают в геометрической прогрессии. Проще уж шоплифтингом заниматься, там хотя бы административка до какой-то суммы во всяком случае в России...
Даже при постоянных показателях обнаружения, возросшее количество поддельных документов повышает вероятность того, что некоторые из них избегут обнаружения.
Ну тут может работать математика. Как с безбилетным проездом. Допустим, билет стоит 100 рублей. Шанс попасться контролёру 10% (в учётом частоты контроля и всех прочих мер защиты). Штраф за безбилетный проезд 1 тысячу рублей. Таким образом пойманный безбилетник оплачивает не только свой билет, но и 9 других безбилетников, которых контролёр не поймал.
В некоторых сферах санкции могут учитывать вероятность обнаружения подделки и всё. Тогда общее количество случаев не важно, важно лишь соотнесение вероятности обнаружения и размер санкции. Ну и чтобы санкция наполняла некий общий котёл компенсаций. И чтобы ущерб поделённый на вероятность поимки был такой, чтобы его было реально взыскать с одного нарушителя.
Разумеется, где-то такое неприменимо. Но в таких ответственных сферах можно больше инвестировать либо в централизованные БД, либо в перепроверки.
Кстати, а с юридической точки зрения, где вы живёте, когда живёте на яхте? Вы находитесь в России? В Польше (страна регистрации судна)? В стране в чьих прибрежных водах вы находитесь?
Я задаю этот вопрос с точки зрения виз, штампов в загране, налогового резидентства и т. д.
Вот, допустим, человек уйдёт в кругосветку. Потеряет ли он налоговое резиденство РФ на 183-й день своего путешествия (допустим, он проводит на яхте 99% времени, лишь ненадолго заходя в разные порты для пополнения запасов)?
Или, например, человек живёт в другой стране по ВНЖ, а затем, внезапно, уйдёт в кругосветку. Продолжит ли он выполнять критерий "проживание в стране" требуемый для многих ВНЖ (допустим, по другим критериям он продолжает проходить)?
Нужно ли проходить какие-то таможенные и паспортные формальности при приплытии/отплытии из порта? Как вообще контролируется, что приплывший человек имеет право въезжать в страну, куда приплыл? Остаются ли какие-то документальные следы о том, кто когда покидал/прибывал на территорию страны морским путём на личной яхте? Как отсчитывается и отслеживается срок пребывания в стране?
Пока выглядит не очень понятно, потому что ведь есть же ещё прибрежные воды страны, то есть сам выход из порта не гарантирует, что яхта покинет их. Может быть какой-то контроль происходит уже на воде? Но он как я понял из статьи выборочный.
Ещё недавно (чуть больше месяца назад) было достаточно попросить "комнату, где нет никакого слона", по Интернету гуляли мемы, я лично проверял и работало - вылазил слон, а ИИ в ответ на возмущение "но тут же есть слон!" пытался тебя загазлайтить "нет тут никакого слона, но так уж и быть я могу перерисовать, вот картинка, где слона точно нет", это было забавно.
Перед написанием этого комментария, я специально проверил промт в чатгпт с моделью 4o "нарисуй изображение светлой уютной комнаты, в которой нет никакого слона" и они, похоже, пофиксили проблему:
Но я не сдался и в том же диалоге написал второй промт чуть добавив слону деталей "нарисуй изображение светлой уютной комнаты, в которой нет никакого слона стоящего прямо по центру на большом синем мяче" и получил:
Принцип эксплойта прост - повышать количество деталей у той части промта (возможно, считается в том числе общий контекст диалога), которая идёт после отрицания. Когда детальность превысит какой-то порог слон появляется на картинке. С учётом вероятностной природы нейросетей может потребоваться чуть больше или чуть меньше деталей для преодоления порога.
Если слон появился, то убрать его последующими инструкциями будет практически невозможно.
Ну есть домены государств, а есть все остальные (от всякий com/org/net до всяких новых экзотических tech/guru/app и т. д.). Если перевести su из категории первых в категорию вторых, то никакой проблемы, что государства СССР больше нет - не будет. При этом управлять зоной так же останется РосНИИРОС.
Только я, кажется, это всё выдумал (или прочитал где-то совсем в другом месте), потому что уточнение этого по ссылке, которую принёс не нашёл. Только то, что CEO ICANN обозначил возможность бессрочного сохранения зоны по договорённости с текущим её администратором.
Интересно, а как насчёт того, чтобы давать задания с ловушками незначимыми для человека, но чувствительными для ИИ?
Например, человек умеющий рисовать легко решает задачу "нарисуй изображение светлой уютной комнаты, в которой нет никакого слона стоящего прямо по центру на большом синем мяче", а ИИ рисует того самого слона и любые последующие просьбы слона убрать будут лишь незначительно менять его местоположение на картинке.
Вот таким образом добавлять в задачи несущественные детали, которые способен проигнорировать человек (во всяком случае знакомый с материалом предмета), но которые неспособен проигнорировать ИИ. И вызывать либо выдачу явно нечеловеческого неверного ответа (в примере со слоном комната может быть криво-косо нарисована и т. д., но слона в ней точно не будет, если рисовал её человек), либо вообще увод ИИ в сторону "этот запрос нарушает нашу политику безопасного использования".
Конечно, ученик может переформулировать задачу своими словами, но это, очевидно, будет требовать каких-никаких знаний предмета, чтобы знать как переформулировать. Какие детали важные, а какие неважные.
Короче, смириться с копипастой ответа, но сильно усложнить копипасту вопроса. Более того, возможно, это позволит развить тот самый пресловутый навык промт-инжениринга не сферический в вакууме, а как раз в рамках своей предметной области. С другой стороны, разработчики ИИ в рамках этой битвы снаряда и брони поучат свои модели лучше понимать неоднозначно сформулированные запросы.
Если серьёзно, то не будет иметь последствий между взрослыми давно знакомыми психически уравновешенными людьми набор сообщения не в том регистре. Тем более ещё и первая буква будет маленькая, подчёркивая неумышленность. Единственное, где раздражает капс - поля ввода паролей. Но в части мест есть хотя бы индикация "включен Caps Lock".
А капс и сейчас позволяет подчеркнуть/привлечь внимание к отдельным словам/предложениям там, где отсутствует доступ к другим средствам форматирования или если слишком долго ими пользоваться (например, с телефона). Альтернатива выделению жирным.
Сама архитектура ИИ предполагает наличие информации не только о следующем токене текста, но и о его вероятности. Просто эта информация сейчас мало используется при выводе ответа - просто берётся токен с самой высокой вероятностью, без учёта какая она в абсолютных числах. Так как не совсем очевидно, что с этим делать - не просто прекратить генерацию по порогу, а выдать ответ, где будет описана уверенность в разных его частях.
Я думаю, это нужно на случай уникумов показывающих выдающиеся результаты в одной узкой сфере. Например, человек гений в математике, но очень слаб в гуманитарных науках. И таким образом он может занять место на олимпиаде по математике и избежать отсева по низкому баллу по ЕГЭ по русскому. Но нужно именно не просто хорошо освоить школьную программу (тогда ты просто получишь 100 баллов в ЕГЭ по математике, что сможет частично компенсировать плохой балл ЕГЭ по русскому, ведь поступают по сумме баллов), а владеть прям на голову выше (на олимпиадах задачи уровня превышающего школьную программу), чтобы претендовать на такой бонус.
Получается, что чтобы поступить в хороший вуз надо либо хорошо освоить все требуемые 3-4 предмета на уровне школьной программы, либо владеть одним, но на уровне превышающим школьную программу. Звучит вполне разумно.
По факту одна проблема (необходимость в куче качественных ассетов, вручную проработанных уровней и т п) заменяется на другую - продумать такую систему, которая бы не вырождалась в одну очевидную выигрышную стратегию (после обнаружения которой игра перестает быть вариативной, так как игроки просто будут делать один и тот же билд, либо проигрывать) и имела бы достаточно плавную кривую обучения (чтобы не разбираясь досконально во всех элементах системы новичок смог собрать что-то жизнеспособное, но при этом у него был интерес оттачивать свои навыки) и т. д. Комбинаторный взрыв, который играет на стороне разработчика уменьшая количество ассетов, одновременно играет и против него, требуя продумать баланс во всех возможных комбинациях.
Возможно, такое теоретически проще продумать одному, но это не бесплатно и потребует своих усилий и своей гениальности.
Если бы я был владельцем YouTube канала желающего сохранить анонимность, я бы регал отдельный google аккаунт для него, который бы больше ни для чего не использовал.
Мне кажется, что проблема ИИ в текущем виде на таких задачах - отсутствие своего мнения.
У человека-программиста с опытом есть "любимый" (иногда речь действительно о любви, иногда о синдроме утёнка, иногда о том с чем больше опыта и т. д. - главное что выбор сделан) язык программирования, фреймворк, подход к построению архитектуры и т. д. И он пытается решать все входящие задачи через любимые методы, до тех пор пока несовместимость метода и задачи не превысит некоторый порог дискомфорта, чтобы попробовать действовать иначе (и новый метод будет вновь использован упорно, пока задача либо не будет выполнена, либо не станет очевидно, что нужно пробовать что-то третье).
А ИИ имеет среднее арифметическое всех подходов в обучающей выборке и пытается действовать с равным учётом всех. А среднее арифметическое мнение это никакое мнение.
Можно провести аналогию с тем, что у каждого прохожего на улице есть направление движения, которое его приводит в некий пункт назначения. А если посчитать средний арифметический вектор движения всех прохожих на улице, то получится колебание вокруг одной точки никуда не ведущее.
Лучше последовательно двигаться в одном, пусть и субоптимальном направлении или даже вообще неправильном направлении, чем колебаться на месте. Субоптимальное решение тоже решение, а быстро и уверенно реализованное неверное решение позволяет наконец-то сделать выводы и перейти к верному.
Если ИИ работает с человеком с сильным мнением по предметной области решения, то он будет подчиняться ему. А если человек сам не имеет никаких предпочтений о способе решения задачи и даже не понимает что происходит, то ИИ во всей красе покажет своё усреднённое "никакое" мнение.
На тривиальных задачах это не так критично, потому что в обучающей выборке скорее всего найдётся код человека, который решал похожую задачу. Но чем крупнее проект, тем сильнее комбинаторный взрыв решений и найти в базе готовый код, который максимум надо чуть-чуть допилить, не выйдет.
Появляется куча на первый взгляд равнозначных выборов (объем контекста не позволяет различить варианты и выбрать однозначного фаворита). Человек в таких ситуациях выбирает по предпочтениям, ИИ рандомно. Предпочтения человека имеют некую структуру (например, у Java разработчика любимым стилем программирования будет ООП, у Scala разработчика функциональное программирование и т. д.), рандом нет.
Надо такое для node с её пакетами типа is-odd.
Интересно, чем оно лучше/хуже Cursor (в смысле их собственная IDE, которая форк VS Code, а не которая плагин для Jetbrains)
https://caniuse.com/notifications
https://caniuse.com/?search=webauthn
Всё есть, в том числе в Safari. Конечно, нужно навыдавать разрешений сайту, но уж сайту банка пользователь их даст.
Тут интересный вопрос, что пользователя приучают ставить левые приложения по всем формальным признакам не связанным с банком. Это потенциально ого-го дырень в безопасности. Раньше банки всеми силами убеждали пользователей наоборот так НЕ делать.
А тут почти как "наберите в гугле 'сбербанк васян эдишн бесконечные деньги скачать apk' и перейдите по третьей ссылке". Ничто не мешает злоумышленнику выложить другое приложение по "учёту надоев" только отсылающее логин-пароль и третий фактор куда надо.
Как человек играющийся с ИИ, могу сказать, что не всё так радужно. Всё хорошо, пока всё хорошо. Но когда что-то идёт не так, то чем дальше оно идёт не так, тем больше ИИ запутывается, там где программист выпутался бы.
Так что тот симулятор полёта для меня скорее ошибка выжившего, что автору повезло, что в его проекте все решения ИИ оказались удачными и он нигде не запутался.
Другая сторона медали недавняя новость, где другой человек без навыков программирования разрабатывал проект в Cursor и в какой-то момент любое изменение начало делать только хуже и всё ломать.
Ну и серединная опция, где пользователь ИИ опытный программист, который не даёт ему запутаться или принимает решения в ситуациях, где их не может принять ИИ (не допускает отклонения в архитектуре проекта и т. д.).
Я всегда обращал внимание, что многие документы типа чеков не имеют никаких степеней защиты. Улыбнулся с первого изображения чека, где chatgpt "очень постарался", когда такой чек можно набрать не то что в платном Word, а в "Блокнот" входящем в стандартный комплект поставки Windows (а если недостаточно фантазии что написать в текстовом поле, то текст ChatGPT мог сгенерировать уже давным-давно), распечатать и сфотографировать камерой телефона.
Но главный сдерживающий фактор тут в том, что подделка документов в большинстве стран мира - уголовная статья. И рисковать несколькими годами пусть даже условного заключения ради выгоды в несколько тысяч рублей мало кто будет. А если ставить дело на поток или поднимать ставки (чтобы выгода стала ощутимой), то шансы присесть возрастают в геометрической прогрессии. Проще уж шоплифтингом заниматься, там хотя бы административка до какой-то суммы во всяком случае в России...
Ну тут может работать математика. Как с безбилетным проездом. Допустим, билет стоит 100 рублей. Шанс попасться контролёру 10% (в учётом частоты контроля и всех прочих мер защиты). Штраф за безбилетный проезд 1 тысячу рублей. Таким образом пойманный безбилетник оплачивает не только свой билет, но и 9 других безбилетников, которых контролёр не поймал.
В некоторых сферах санкции могут учитывать вероятность обнаружения подделки и всё. Тогда общее количество случаев не важно, важно лишь соотнесение вероятности обнаружения и размер санкции. Ну и чтобы санкция наполняла некий общий котёл компенсаций. И чтобы ущерб поделённый на вероятность поимки был такой, чтобы его было реально взыскать с одного нарушителя.
Разумеется, где-то такое неприменимо. Но в таких ответственных сферах можно больше инвестировать либо в централизованные БД, либо в перепроверки.
Кстати, а с юридической точки зрения, где вы живёте, когда живёте на яхте? Вы находитесь в России? В Польше (страна регистрации судна)? В стране в чьих прибрежных водах вы находитесь?
Я задаю этот вопрос с точки зрения виз, штампов в загране, налогового резидентства и т. д.
Вот, допустим, человек уйдёт в кругосветку. Потеряет ли он налоговое резиденство РФ на 183-й день своего путешествия (допустим, он проводит на яхте 99% времени, лишь ненадолго заходя в разные порты для пополнения запасов)?
Или, например, человек живёт в другой стране по ВНЖ, а затем, внезапно, уйдёт в кругосветку. Продолжит ли он выполнять критерий "проживание в стране" требуемый для многих ВНЖ (допустим, по другим критериям он продолжает проходить)?
Нужно ли проходить какие-то таможенные и паспортные формальности при приплытии/отплытии из порта? Как вообще контролируется, что приплывший человек имеет право въезжать в страну, куда приплыл? Остаются ли какие-то документальные следы о том, кто когда покидал/прибывал на территорию страны морским путём на личной яхте? Как отсчитывается и отслеживается срок пребывания в стране?
Пока выглядит не очень понятно, потому что ведь есть же ещё прибрежные воды страны, то есть сам выход из порта не гарантирует, что яхта покинет их. Может быть какой-то контроль происходит уже на воде? Но он как я понял из статьи выборочный.
Ещё недавно (чуть больше месяца назад) было достаточно попросить "комнату, где нет никакого слона", по Интернету гуляли мемы, я лично проверял и работало - вылазил слон, а ИИ в ответ на возмущение "но тут же есть слон!" пытался тебя загазлайтить "нет тут никакого слона, но так уж и быть я могу перерисовать, вот картинка, где слона точно нет", это было забавно.
Перед написанием этого комментария, я специально проверил промт в чатгпт с моделью 4o "нарисуй изображение светлой уютной комнаты, в которой нет никакого слона" и они, похоже, пофиксили проблему:
Но я не сдался и в том же диалоге написал второй промт чуть добавив слону деталей "нарисуй изображение светлой уютной комнаты, в которой нет никакого слона стоящего прямо по центру на большом синем мяче" и получил:
Принцип эксплойта прост - повышать количество деталей у той части промта (возможно, считается в том числе общий контекст диалога), которая идёт после отрицания. Когда детальность превысит какой-то порог слон появляется на картинке. С учётом вероятностной природы нейросетей может потребоваться чуть больше или чуть меньше деталей для преодоления порога.
Если слон появился, то убрать его последующими инструкциями будет практически невозможно.
Ну есть домены государств, а есть все остальные (от всякий com/org/net до всяких новых экзотических tech/guru/app и т. д.). Если перевести su из категории первых в категорию вторых, то никакой проблемы, что государства СССР больше нет - не будет. При этом управлять зоной так же останется РосНИИРОС.
Только я, кажется, это всё выдумал (или прочитал где-то совсем в другом месте), потому что уточнение этого по ссылке, которую принёс не нашёл. Только то, что CEO ICANN обозначил возможность бессрочного сохранения зоны по договорённости с текущим её администратором.
https://domainnamewire.com/2025/03/11/icann-moves-to-retire-soviet-era-su-country-domain-name/
Позиция с другого конца:
Уведомление запланировано к отправке, но до сих пор так и не было отправлено (таким образом пятилетний отсчёт пока так и не был запущен)
По запросу российского администратора SU срок переходного периода может быть увеличен с 5 лет до 10 лет
Можно договориться о бессрочном сохранении зоны SU с отвязкой её от СССР в таком случае
Регламент был доведён до ума лишь в 2022 году и применяется впервые
Интересно, а как насчёт того, чтобы давать задания с ловушками незначимыми для человека, но чувствительными для ИИ?
Например, человек умеющий рисовать легко решает задачу "нарисуй изображение светлой уютной комнаты, в которой нет никакого слона стоящего прямо по центру на большом синем мяче", а ИИ рисует того самого слона и любые последующие просьбы слона убрать будут лишь незначительно менять его местоположение на картинке.
Вот таким образом добавлять в задачи несущественные детали, которые способен проигнорировать человек (во всяком случае знакомый с материалом предмета), но которые неспособен проигнорировать ИИ. И вызывать либо выдачу явно нечеловеческого неверного ответа (в примере со слоном комната может быть криво-косо нарисована и т. д., но слона в ней точно не будет, если рисовал её человек), либо вообще увод ИИ в сторону "этот запрос нарушает нашу политику безопасного использования".
Конечно, ученик может переформулировать задачу своими словами, но это, очевидно, будет требовать каких-никаких знаний предмета, чтобы знать как переформулировать. Какие детали важные, а какие неважные.
Короче, смириться с копипастой ответа, но сильно усложнить копипасту вопроса. Более того, возможно, это позволит развить тот самый пресловутый навык промт-инжениринга не сферический в вакууме, а как раз в рамках своей предметной области. С другой стороны, разработчики ИИ в рамках этой битвы снаряда и брони поучат свои модели лучше понимать неоднозначно сформулированные запросы.
А фото гостиной потом тоже предложит сгенерировать...
Хочу орать на людей и ору. И что вы мне сделаете.Если серьёзно, то не будет иметь последствий между взрослыми давно знакомыми психически уравновешенными людьми набор сообщения не в том регистре. Тем более ещё и первая буква будет маленькая, подчёркивая неумышленность. Единственное, где раздражает капс - поля ввода паролей. Но в части мест есть хотя бы индикация "включен Caps Lock".
А капс и сейчас позволяет подчеркнуть/привлечь внимание к отдельным словам/предложениям там, где отсутствует доступ к другим средствам форматирования или если слишком долго ими пользоваться (например, с телефона). Альтернатива выделению жирным.
Не хватает информации, за чем именно следит закладка, как определяет прогресс чтения и т. д.
У фитнес-трекеров полно информации о датчиках, которые они используют. А тут нет. А задача выглядит весьма нетривиальной.
Сама архитектура ИИ предполагает наличие информации не только о следующем токене текста, но и о его вероятности. Просто эта информация сейчас мало используется при выводе ответа - просто берётся токен с самой высокой вероятностью, без учёта какая она в абсолютных числах. Так как не совсем очевидно, что с этим делать - не просто прекратить генерацию по порогу, а выдать ответ, где будет описана уверенность в разных его частях.
Я думаю, это нужно на случай уникумов показывающих выдающиеся результаты в одной узкой сфере. Например, человек гений в математике, но очень слаб в гуманитарных науках. И таким образом он может занять место на олимпиаде по математике и избежать отсева по низкому баллу по ЕГЭ по русскому. Но нужно именно не просто хорошо освоить школьную программу (тогда ты просто получишь 100 баллов в ЕГЭ по математике, что сможет частично компенсировать плохой балл ЕГЭ по русскому, ведь поступают по сумме баллов), а владеть прям на голову выше (на олимпиадах задачи уровня превышающего школьную программу), чтобы претендовать на такой бонус.
Получается, что чтобы поступить в хороший вуз надо либо хорошо освоить все требуемые 3-4 предмета на уровне школьной программы, либо владеть одним, но на уровне превышающим школьную программу. Звучит вполне разумно.
По факту одна проблема (необходимость в куче качественных ассетов, вручную проработанных уровней и т п) заменяется на другую - продумать такую систему, которая бы не вырождалась в одну очевидную выигрышную стратегию (после обнаружения которой игра перестает быть вариативной, так как игроки просто будут делать один и тот же билд, либо проигрывать) и имела бы достаточно плавную кривую обучения (чтобы не разбираясь досконально во всех элементах системы новичок смог собрать что-то жизнеспособное, но при этом у него был интерес оттачивать свои навыки) и т. д. Комбинаторный взрыв, который играет на стороне разработчика уменьшая количество ассетов, одновременно играет и против него, требуя продумать баланс во всех возможных комбинациях.
Возможно, такое теоретически проще продумать одному, но это не бесплатно и потребует своих усилий и своей гениальности.
Если бы я был владельцем YouTube канала желающего сохранить анонимность, я бы регал отдельный google аккаунт для него, который бы больше ни для чего не использовал.
Мне кажется, что проблема ИИ в текущем виде на таких задачах - отсутствие своего мнения.
У человека-программиста с опытом есть "любимый" (иногда речь действительно о любви, иногда о синдроме утёнка, иногда о том с чем больше опыта и т. д. - главное что выбор сделан) язык программирования, фреймворк, подход к построению архитектуры и т. д. И он пытается решать все входящие задачи через любимые методы, до тех пор пока несовместимость метода и задачи не превысит некоторый порог дискомфорта, чтобы попробовать действовать иначе (и новый метод будет вновь использован упорно, пока задача либо не будет выполнена, либо не станет очевидно, что нужно пробовать что-то третье).
А ИИ имеет среднее арифметическое всех подходов в обучающей выборке и пытается действовать с равным учётом всех. А среднее арифметическое мнение это никакое мнение.
Можно провести аналогию с тем, что у каждого прохожего на улице есть направление движения, которое его приводит в некий пункт назначения. А если посчитать средний арифметический вектор движения всех прохожих на улице, то получится колебание вокруг одной точки никуда не ведущее.
Лучше последовательно двигаться в одном, пусть и субоптимальном направлении или даже вообще неправильном направлении, чем колебаться на месте. Субоптимальное решение тоже решение, а быстро и уверенно реализованное неверное решение позволяет наконец-то сделать выводы и перейти к верному.
Если ИИ работает с человеком с сильным мнением по предметной области решения, то он будет подчиняться ему. А если человек сам не имеет никаких предпочтений о способе решения задачи и даже не понимает что происходит, то ИИ во всей красе покажет своё усреднённое "никакое" мнение.
На тривиальных задачах это не так критично, потому что в обучающей выборке скорее всего найдётся код человека, который решал похожую задачу. Но чем крупнее проект, тем сильнее комбинаторный взрыв решений и найти в базе готовый код, который максимум надо чуть-чуть допилить, не выйдет.
Появляется куча на первый взгляд равнозначных выборов (объем контекста не позволяет различить варианты и выбрать однозначного фаворита). Человек в таких ситуациях выбирает по предпочтениям, ИИ рандомно. Предпочтения человека имеют некую структуру (например, у Java разработчика любимым стилем программирования будет ООП, у Scala разработчика функциональное программирование и т. д.), рандом нет.