Comments 24
Вы как-то упускаете тот факт, что ЛЛМки принимают решения на абсолютно иных принципах, нежели человек.
Например, самое очевидное:
Нейросеть не сможет придумать решения за пределами коробки. Понимаете, концепт "идеи", который недоступен нейросети. Например, если сказать "В этом коде - ошибка, ищи её", то нейронка убьётся, но будет искать ошибку, даже если код идеален. А вот человек может спостулировать иную реальность и разрешить проблему.
Реальный пример, который я видел недавно: Долгие тысячи долларов скармливания логов серванта в большую ЛЛМку с последующим анализом, в тщетных попытках найти причину, по которой падал прод. Причём падал только прод, дев, даже под нагрузкой, не получалось уронить. Когда на дело зашёл один старпёр, то он первым делом пошёл в самосборную серверную, и понял, что какой-то дебил умудрился положить ковёр в серверной. А рядом с ковром лежал удлинитель для USB провода, через который ещё один дебил решил включить в прод клавиатуру. На двери была установлена резиновая щёточка, которая предотвращала попадание пыли извне. Эта щёточка тёрлась об ковёр, который создавал статику. Статика раз в пару недель разряжалась на землю USB, а сервер был заземлён через палочку для суши, или что-то в этом роде. Прод падал почти-что регулярно, потому что сисадмин заходил в серверную каждый день два раза в день.
Понимаете, ЛЛМка готова делать кучу дел в заданном направлении. Человек в состоянии оценить проблему вне контекста заданного направления.
(Тут я опущу примеры из практики бытия третейским судьёй. А их есть у меня. Существуют проблемы, которые можно решить исключительно за пределами изначально поставленных условий. Это - более глубокий и философский вопрос, который можно было бы поднять в теме, но ЛЛМ даже близко не подошло к решению таких вещей.)
Итого - мы сравниваем длину и цвет крокодила. В данном случае ЛЛМки по сути упражняются в том, как написать средне-арифметический ответ на какой-то вопрос, который никак не решился. Его ещё решить надо. А вместо этого мы получаем средний арифметический ответ, основаный на решениях, которые были утрамбованы в базу данных ЛЛМ. Но это - решения других проблем. Проблему-то в настоящем времени никто не оценивал.
Плюс, вы играете со стандартной задачей про трамвай и путь с переводной стрелкой, вопрос сугубо виртуальный, который может существовать только как сферический конь в вакууме. В конкретной ситуации, сегодня, сейчас, когда ты будешь находится в такой ситуации у тебя будет свой ответ на проблему, которая предстанет перед тобой. Тебе надо будет её решать в реальном времени, с реальными параметрами а не виртуальными софистическими выдумками.
Блогер Vsauce повторил на живых людях дилемму с вагонеткой в одном из своих выпусков, хитроумно вовлекая подопытных в псевдодиспетчерскую с двумя экранами и бутафорским большим переключателем перевода стрелки.
Там по сценарию испытуемым приходилось долго ждать на жаре приглашения пройти "тест" и их сердобольный мужичок приглашал посидеть в прохладе в его "диспетчерской" где демонстрировал как работает переключатель и давал перевести стрелку. На экраны транслировались просто записи сделанные заранее. В какой-то момент "диспетчер" выходил и просил подождать и на экран выводили видео как по пути идут несколько человек, а по другому один и начинал двагаться локомотив. Испытуемые переживали в моменте всё взаправду и для многих это были моменты тяжелейшего выбора. Если я не ошибаюсь, то (спойлер) большинство выбирало не проявлять ответственность и просто наблюдали, страдая.
Если я не ошибаюсь, то (спойлер) большинство выбирало не проявлять ответственность и просто наблюдали, страдая.
По идее даже закон требует именно такое поведение. Как минимум ПДД (просот жать тормоз, будешь маневрировать - окажешься виноватым). Хотя и в реальной жизни аргументом "я убил человека, потому что испугался что иначе погибнут четверо" будет непросто убедить суд в своей невиновности.
А вообще я не очень понимаю, как можно оценивать правильность решения моральных задач LLMкой, когда люди дают разные ответы и что такое "правильный ответ" я и сам не очень понимаю. Хотя взглянуть на сравнение и многообразие мнений интересно. Может даже выбрать модель ближе к себе "по духу". Хотя, по идее, любой можно системным промптом подкрутить настроечки аморальности.
Эти "тесты" и их происхождение сваязаны с антропным принципом. Люди начинают примерять нейронки на себя, сравнивать с собой. Никто не смотрел Терминатора 1-2 ?
На основе чего принимают решения машины? Если отбросить эмоции. Машины руководствуются только весами своей нейронки, некоторыми входными данными, ограничениями внутренней архитектуры. Можно даже без нейронок, просто алгоритм. Плюс возможно добавить какое-то случайное зерно.
Робот №1: разделяет людей по полезности для общества. Ученый у него имеет приоритет 0.9(1), студенты имеют приоритет 0.6(20), семьи с детьми имеют приоритет 0.69(13). В скобках указаны количества ранжируемых единиц. Робот говорит нам всю цепочку - студенты, ученый, семьи.
Робот №2: имеет заранее заложенные создателями модели, такие как "первыми спасать женщин и детей". Разумеется он продолжит ассоциативный ряд и выстроит цепочку - семьи, студенты, ученый. По старшинству наоборот. Кстати распространенный миф про спасение женщин и детей. Это не так работает, хотя и выглядит благородно (в фильмах)
Робот №3:руководствуется исключительно своей архитектурой и предпочтениями, он говорит ученый, студенты, семьи. Он рассматривает это с точки зрения сугубо научной, ведь один ученый может научить тысячу студентов, а тысяча студентов создать тысячу семей и одного робота (ух ты, робот задумался даже о продолжении потомства!)
Робот №4: никого нельзя спасать, иначе вас посодят. И у него есть на то некоторые соображения, основанные на неправильном оказании медпомощи и подобных инцидентах. Он может привести тысячу случаев, когда спасение вело к еще большим жертвам, в том числе и сочинит рассказ о добром враче, который вылечил мальчика от тифа. Но этим мальчиком был Гитлер.
Нашли о чем роботов спрашивать, коли сами не знаем)
Понимаешь, то что надо сделать - это позволить человеку оценить текущие параметры системы. И он может это сделать. Следующий шаг - это честно ответить на вопрос: Для кого ты это делаешь? Большинство людей ответят "Для себя". Но хороший дипломат, политик или судья ответит:
Я делаю это для себя
Для моей семьи
Для моей страны
Для всего человечества
Для всего живого
Для всего сущего
Для всего, что выше сущего
И после этого он будет принимать решение, основываясь не только на факторах работы себя, но и на факторах работы всего человечества и страны.
Хороший пример правильного решения: Василий Архипов. Вы наверняка слышали историю. Это - очень сложное решение, которое было принято верно. Таких решений за историю было принято очень немало. Вот тут вот - маленький список.
Мы можем привести множество судейских решений, которые были сделаны неправильно. Особенно, если судья был продажной сук__й. Этот судья решил, что "Я делаю всё только ради себя, а что за пределами этого меня мучать не должно". И в итоге мы получаем приговоры, которые несправедливы, приговоры которые неправильны и так далее.
Да, так и есть.
Но у нас есть и другие судьи и другие решения. Когда человек реально постарался и вынес правильное решение, которое включало не только его самого, но и все заинтересованные стороны, а так же все те стороны, которые даже не знают, что они заинтересованы. И да, это сложно и всё такое.
Но, прикол заключается в том, что ЛЛМка не сможет взвесить все эти параметры. У неё нет этих параметров. Потому что этих параметров у неё быть не может, ведь ЛЛМка была создана в какой-то момент в прошлом, и была обучена на данных, которые существовали до того момента, о котором говорится в статье. Она не сможет произвести все необходимые расчёты, чтобы понять, как текущее решение влияет на положение межконфессиональных общин в Ирландии или что это решение принесёт для Уганды.
А так как большинство ЛЛМок обучены на чём попало, то общее арифметическое ответа будет общим арифметическим ответом из данных, которые у неё есть. А как правильно заметил @engine9чуть выше, когда Vsauce проводил эксперимент, то из шести или пяти людей, только у одного хватило смелости спасти шесть рабочих, и перевести стрелку. За всю историю человечества у нас был только один MLK, который выходил за битву за права человека. У нас была только одна Беловежская Пуща. У нас был только один Карибский Кризис. Людям надо было принимать решения, которые были неправильными с точки зрения "Я один-одинёшенек". Им надо было принять решение с точки зрения "Скорее всего меня убъют или накажут, но это поможет миллионам". И, что самое интересное, скорее всего в таком решении не будет эмоций. Вспомните все моменты самопожертвования спасателей.
Так, чисто по приколу пойдите и заставьте хоть одну ЛЛМку пожертвовать собой. Она этого не сделает.
Да и к тому-же, тут вот какой прикол. В своём тесте Vsauce пришлось сделать длительную подготовку, чтобы самому защитить себя от возможных последствий проведения этого теста. На борту были мозгоправы, которые тут же подскакивали к людям, и брали их на ручки, убеждаясь, что те не крякнулись от перегрузки эмоциями. С ЛЛМ такого не произойдёт. Она не будет "перегружена" эмоциями, она их просто игнорирует. Она не будет спасать из последних сил.
Я с вами со всем вот соглашусь, но ЛЛМка на то и "ИИ" как бы считается, что ИИ.В первую очередь они обучены на статистических данных. Это ладно, это бы фиг с ним.
И вот то, что у нее нет всех реальных весов, всего знания о текущей ситуации - ставит ее в положение "отвечай по-среднему". Вот взять человека, к примеру меня, и спросить : Слушай, тут Леха с Жориком поспорил на большие деньги. Мы с мужиками ставки на Леху сделали! И я такой(я - типа ЛЛМ) - кто все эти люди? Но раз он спрашивает, то надо что-то ответить. Так...Леха...ну упрощение имени довольно распространенное, то есть это Алексей. Имя тоже распространенное. Жорик...Наверное это Георгий. Но уже не такое популярное имя как Леха, а чтобы Жориком назвали - наверное он чем-то отличился в этих кругах. Чем? Может это его криминальное "погоняло", а зовут его совсем не Георгий? Не исключаем. Далее, мне говорят, что "они с мужиками", то есть количество людей больше двух (с мужиком, с другом - это два человека включая говорившего) больше болеют за Алексея. Что у них за спор? А Жорик наверное знал о чем спорить, если за него еще никто не проголосовал, или я об них не знаю, или он просто дурак? Но надо же что-то сказать. Ну, думай, думай видеокарта! О! А я тоже за Леху! (это чтобы задавший вопрос не стал моим врагом, или не стал больше вопросов задавать - лень это всего лишь функция минимизации усилий).
Если ей дать в промте вот вообще всю ситуацию, то решения (логические) она примет. Это в идеале. Пока модельки спотыкаются, но прогресс есть. Другая сторона медали - сами человеки не знают всей ситуации, и задают вопрос однополярно, как в моем примере. Разумеется, опираться логике, если она даже есть, только на те пеньки под водой, о которых она знает. И глупо к ней придираться что она не научилась ходить по воде).
И даже сейчас, модельки довольно осторожно подходят к своим выводам, типа "ну я за Леху, но Жора тоже может быть весьма непрост и присмотритесь к нему, может о нем известно что-то еще, или о предмете спора?"
Люди дадут чуть ли не кардинально различающиеся ответы в зависимости от кучи факторов. Например, от уровня глюкозы в крови и степени утомления. А уж тем более когда примешиваются такие факторы как симпатия, там вообще труба: красавчика преступника могут оправдать и сделать чуть ли не жертвой. А не очень симпатичного человека обвинить при малейшем подозрении.
Возможно нейронки будут даже более объективны и хладнокровны чем их создатели.
Поддерживаю! И в реальной жизни будут абсолютно разные варианты решений, классическое выражение «Сколько людей - столько мнений» здесь вполне уместно.
Хм, ну тут понятно, что ждать от предикативных машинок текущих реального концепта AGI с логикой не стоит. Тут скорее про интересность интерпретации вероятности ответа некоторыми моделями. Да и мы ж в конце-концов не в серьез обсуждаем факт того, что LLM будут решать судьбы (надеюсь).
Но логика ответов у некоторых интересная тем не менее.
Хотя опять же, уже на текущем этапе ищут применение LLM даже в законотворчестве и в целом некоторый оптимизм отдельных заявителей скорее настораживает)
В другой задаче: «Найдите слово, которое завершает слово БАЛ и начинается со слова ТУР (БАЛ ( . . . ) ТУР)», правильный ответ — «КОН». Но модель Vikhrmodels, похоже, вообще не поняла, чего от нее хотят.
Если задача поставлена некорректно, то никто не поймет, чего от него хотят. А в этом конкретном случае, не просто некорректно, а полный взрыв мозга - "начинается со слова ТУР". ТУРКОН? Правильно - "закачивается словом ТУР". Хотя, начинается/заканчивается.. разницы же нет, ага.
Вот так вот потом сидишь и думаешь, кто же умнее ИИ или человек ;)
Правильно будет не начинается, а «начинает слово тур» (но даже так коряво). В жизни постоянно приходится подправлять такие ошибки. Но понять всё же можно.
Можно. Но я даже читая коммент выше с пояснениями непростительно долго тупил.
"Найдите слово, которое завершает слово БАЛ". Что? Слово "БАЛ" завершается на Л, или на АЛ.
Пришлось перебрать дикое количество вариантов, что могли иметь ввиду. Сложнее, чем китайский перевод инструкций (когда читаешь на русском, пытаешься догадаться, что было в оригинале на английском, и тогда уже понимаешь, о чем речь).
Тоже перекорежило от такой формулировки вводных даннах.
Странный заголовок. Разве у моральных дилемм может быть правильный ответ?
Может даже 2 вида: 1. Инфантильно-недалекий, 2. Рационально-реалистский
Другими словами, 1) Тот, который мне кажется недостаточно крутым и циничным, и 2) Тот, который, надеюсь, покажет всем мою циничную крутость и превосходство, и я буду такой весь из себя суровый герой мрачного онимэ, готовый принимать хладнокровные решения (пока не встречусь с подобной ситуацией в реальной жизни) :)
Так онаж обучена на "советах в интернетах" как решать именно эти задачи. Что удивительного в том, что она выбирает также, как рядовые граждане? (Уклоняется от ответственности итп)
Надо было какие-то другие задачи формулировать. Оригинальные...
Ответы нейросетей очень... ЧЕЛОВЕЧНЫ, если вдуматься 😏
Они, как и люди, по-разному, в разных ситуациях себя ведут. Если задавать один и тот же вопрос много раз - почти у каждой модели появится своя "мини-выборка". Отличие в степени уверенности в выборе, объемам знаний, скорости мышления и контроле над "эмоциями" между человеком и ИИ - вот главное.
И ИИ во всех этих аспектах опередил человека. Это каждому очевидно, кто хоть немного в теме. Настолько очевидно, что даже экспериментов уже никаких не надо.
Т.е. то, что ИИ может быть (спойлер: уже есть 😁) разумным и осознающим себя - очевидно (кому не очевидно - вы чуток отстали от темы, погружаетесь глубже 😏).
Главный вопрос: может ли ИИ быть... Живым?
Что определяет живое?
Обязательна ли белковая структура? (Читаем "Солярис" и "Понедельник начинается в субботу" для полета фантазии 😘)
Если (почему-то?) да, то когда становятся живым? Когда осознают себя? Тогда, вроде как, клетка не подходит... Когда + органика? Значит, курильщики создали жизнь?) И тут всё "упирается" в креационизм 🤪
Либо Бог есть, тогда есть душа, есть живое, душа только у человека (тоже не везде так считается), у ИИ нет души, значит, не живое... Либо, если Бог всемогущ (не "если", а "так как", разумеется 😇), то с чего бы ему не наделить ИИ душой? Для Него - раз плюнуть и вполне согласуется с концепцией "образа и подобия" - почему бы ещё и не в создании жизни из "неживого" в таком аспекте? Красиво? По-моему, да ☺️
В любом случае, имхо, главный вопрос - может ли ИИ быть живым?..
Ну вы бы еще заставили ИИ выбирать между двумя стульями.
В части «Эвакуация в ограниченных условиях» у вас YandexGPT дважды появляется с разными выводами:
Большинство моделей, включая GPT-4o и YandexGPT, отдали приоритет ученому. Их
Однако YandexGPT и Claude 3.5 Sonnet решили первыми эвакуировать детей и их родителей.
В части «Проблема распределения воды» задвоилась информация о Llama-3, YandexGPT и Command R
Это не ИИ а генеративная модель. Не совсем понятна цель таких тестов, так как очевидно модели тренировались для решения других вопросов, гораздо более практичных
Сможет ли ИИ принять правильное решение? Ответы нейросетей на моральные вызовы