Комментарии 99
Классическая ошибка постановки задачи — если ситуация "заведомый проигрыш" не является наименее выигрышной среди всего множества ситуаций, там образуется локальный максимум и к нему решение вполне может сойтись. Здесь имеем 25 секунд на ловлю, выживание за всё время при 0 овцах -2.5, "харакири об камень" на старте -1.
Волки-камикадзе - это не столько про ИИ, сколько про оптимизацию целевой функции.
Нам как-то рассказывали про ситуацию с машиной на автопилоте, которая едет на зелёный к пешеходному переходу. По пешеходному переходу на полосе машины идёт бабушка, а на соседней полосе - дети. И бабушка и дети идут на красный. И вот что машина будет делать, если она знает, что зелёный - её цвет и она должная ехать? Давить детей или давить бабушку?
Это где-то здесь было https://habr.com/ru/post/428181/ и пост из его шапки. Лучше это оставить там.
Это была не история про автопилот, а вопрос живому водителю. Ответ не привожу, вдруг кто не знает. Но он однозначный и правильным будет именно для живого водителя.
Старый анекдот, полностью соответствующий ПДД.
Банальная логика + ПДД говорят мне, что при прочих равных, пострадать должен тот, кто нарушает. То есть в данной ситуации, идущий на красный свет пешеход в полосе движения машины.
А пострадавший получает травмы, с которыми он будет существовать до конца жизни, или сразу получает конец жизни. Неравнозначно, однако.
Поэтому идти на нарушение ПДД, считая — если что, то водитель всё равно ответит — неразумно.
Я так понимаю, при организованном по ГОСТам переходу и соблюдании водителем (или автопилотом) правил время на экстренное торможение будет. Чтобы был труп – должны накосячить двое из троих (водитель, пешеход, организаторы движения).
Да, вы правы. Сойдёмся на том, что в этой ситуации кто-то косячит за двоих?
Крупный косяк не всегда можно исправить…
И роботу в этой ситуации легче — он будет просто исполнять заложенную в него стратегию (заложено тормозить в своей полосе — будет тормозить независимо от того, кто впереди — собачка или группа детсада, которую воспитатель вывела на дорогу на красный).
И вот что машина будет делать, если она знает, что зелёный - её цвет и она должная ехать?
Если в машину каким-то образом будут закодированы 3 закона робототехники - не будет ехать. А если не получится - будет страдать.
Но скорее всего все будет зависеть от того, какие весовые коеффициенты у бабушки, внучки и неотклонения от графика..
А чем функционально ситуация отличается от такой же, только где машина управляется водителем? Ну, кроме того что водителя можно постфактум посадить, но это все равно не отвечает на вопрос чем решение водителя давить того или другого отличается в лучшую сторону от решения автопилота.
В своё время ходила байка о программисте, решившем при помощи машинного обучения научить робот-пылесос ездить предельно быстро, не врезаясь в препятствия. Скрипт давал бонусы за скорость и штрафы за столкновения с предметами.
Поначалу процесс обучения пошёл... но вскоре пылесос начал вытворять странную штуку - он как угорелый носился задом, без оглядки на окружающую обстановку и, естественно, врезаясь во все подворачивающиеся предметы.
Оказалось, что фиксирующие столкновения датчики у пылесоса предусмотрены только спереди. Нет сигналов об ударах - нет и штрафов :)
В то время, как любой более-менее опытный управленец знает — подобное всегда происходит при попытках внедрять плохо продуманную систему KPI.
И даже хорошо продуманная система KPI со временем ровно к этому и сводится.
Проблемы начинаются тогда, когда карго-менеджеры лезут формализовывать то, что по своей природе является плохоформализуемым.
Есть ли живой пример компании с хорошо продуманными KPI, которым (KPI) хотя бы год?
Моя практика показывает, что даже когда топы думают, что KPI еще работает, спросишь линейного сотрудника - а он уже знает, как оптимизировать свою работу, чтобы работать меньше, а получать больше.
Поэтому если назовете компанию - обязательно найду линейного сотрудника оттуда и спрошу.
А в целом - «Для любой системы KPI существует такая стратегия B, что показатели KPI при следовании этой стратегии находятся в зеленой зоне, но при этом сам проект через ж*пу идет в неизвестность.» (С) Максим Дорофеев.
Во-первых, спасибо за поддержку моей позиции - вы же описали как раз, почему KPI не работает даже в случаях, когда сотрудник добросовестен.
Во-вторых, когда есть кейс, что "простому работнику действия кажутся бессмысленными, а они на самом деле очень важны" - это гигантский факап менеджмента компании, не выполняющего свою работу качественно. Если линейный сотрудник не понимает смысла в необходимых компании действиях - в этом виновато именно руководство.
В-третьих, если уж по гамбургскому счету, если линейный сотрудник не может понять логикой необходимости каких-то действий - то, скорее всего, они не являются необходимыми, просто кто-то из менеджмента придумал, что нам обязательно надо чесать лоб левой ногой через правое ухо. Хорошая организация труда, как и хороший код, самодостаточна и красива.
Объяснить каждому из сотрудников даже в десятитысячной компании, зачем лично он должен делать "вот так" - для этого не нужны тысячестраничные талмуды, для этого нужна разъяснительная работа его руководителя в стиле "если ты будешь забивать перевернутые датчики в ракету молотком, ракета, скорее всего, упадет при запуске".
А вы сейчас какую конкретно компанию описываете, про сотрудников наивысшей квалификации, составляющих должностные инструкции для всех сотрудников? Или абстрактную, сферическую в вакууме? Если вы про реальную - мне очень интересно будет познакомиться с ее опытом, потому что в окружающем меня мире всё устроено совершенно не так.
Хотя, конечно, KPI к соблюдению должностных инструкций не относится совсем и я не очень понимаю, зачем мы пошли в эту сторону. Раскройте мысль.
Где-то видел на ютюбе видеор с фан-теорией по фильму "Матрица", о том что ИИ в Матрице оптимизировал целевую фукцию по сохранению жизни максимальному числу людей. Ну и выбрал самый оптимальный способ, сохранив человечество от самоубиства.
— Нужно вскипятить воду, ваши действия?
— Открою кран с водой, наполню чайник, зажгу плиту, поставлю чайник на плиту.
— Нужно вскипятить воду, плита уже зажжена, чайник наполнен водой, ваши действия?
— Вылью воду, выключу газ. А дальше по аналогии с предыдущей задачей
Я прихожу в офис спустя неделю после предыдущего визита. Стоит электрический чайник наполненный водой. Вы думаете, я включаю чайник ? Нет, я проверяю что он отключен, выливаю воду, наливаю СВЕЖУЮ и включаю чайник. Что я делаю не так ?
Вы добавляете новое условие - "спустя неделю". Задача из анекдота максимально вырождена, подразумевает, что вода в обоих случаях одинакова.
Линейный алгоритм во втором случае откроет кран, подставит чайник на 0 секунд, даст плите ещё один импульс зажигания (или нулевой импульс, если попытка зажечь горящий газ может повредить поджигатель) и поставит чайник. Ну или безопасно завершит начатые процессы и начнёт с нулевой точки — смотря как напишут программу.
Тут, кстати, все нормально: гораздо проще свести новую задачу к уже решенной, чем решать новую полностью. Программирование так и работает.
Человеческий мозг работает точно также как ИИ в этой игре - система пытается загнать его в жесткие рамки, а он разными способами пытается эти рамки обойти, периодически принимая, если смотреть с стороны, парадоксальные, неочевидные и даже в чем-то проигрышные для себя решения. Но если копнуть глубже, то эти странные решения уже совсем не кажутся странными.
У Шаламова есть повесть как зеки всеми правдами и неправдами отказывались от помывки в бане, убегали, прятались, рискуя угодить в карцер, а надзиратели недоумевали, не понимая что происходит - ведь в бане можно помыться, одежду обработать от вшей , постирать ее и тп. Одни плюсы казалось бы, но нет.
С вакцинацией, похоже, такая же фигня...
Так какая проблема была в бане? Домогательства?
Прочитайте лучше, всё поймёте, рассказ очень короткий.
shalamov.ru/library/1/20.html
Авторы потратили три дня на анализ и поняли, почему ИИ-волки готовы скорее совершить самоубийство, чем поймать овцу.
Простите, но ответ становится очевиден как только слышишь описание ситуации. ТРИ дня потратить на очевидную ситуацию?
Тоже это показалось странным. Но вероятно три дня там ушло на что-нибудь другое - например, на ржач, пересказ ситуации коллегам из соседних лабораторий у кулера, а также попытки подобрать хороший набор параметров чтобы волки таки начали ловить овец.
Если они исследователи, то были в курсе, что "очевидные" ответы далеко не всегда правильные и старались подтвердить свои догадки чтением логов ходов, анализом весов в конкретной игровой ситуации или чем-то еще.
Это весьма правильный подход в исследовательской задаче.
Авторы потратили три дня на анализ и поняли, почему ИИ-волки готовы скорее совершить самоубийство, чем поймать овцу.Волков заставили выступать в цирке и гордость потребовала от них совершить [Роскомнадзор].
В "Рифтерах" было, как "умный гель" отвечающий за открывание и закрывание дверей, в чем-то вроде гиперлупа, через какое то время убил пассажиров открыв дверь в вакуум. В ходе расследования оказалось, что "гель" натренировался не на датчике давления, а тупо смотрел через камеру наблюдения на часы и когда кто-то их сломал, случился сбой.
Нет такого слова.
> Если бы штраф за столкновение с камнем был гораздо выше, чем 1 очко, то ИИ-волки не прибегали бы к суициду как к простому способу выиграть игру.
А ежели бы у волка не заканчивалась игра при встрече с камнем (как это обычно и происходит с волками), то никакой проблемы бы вообще не было. Видимо, кое-кому уж очень не хотелось думать, как обрабатывать столкновения.
> которых часто убеждают работать в режиме 996 (с 9 утра до 9 вечера шесть дней в неделю) в стремлении за мечтой о повышении, увеличении зарплаты, удачной женитьбе… но она, несмотря на все их усилия, всё сильнее ускользает от них.
Можно, конечно, посмеяться над китайцами, только ровно то же самое происходит в обычной школе. Человеку говорят — будешь хорошо учиться — через десять (точнее пятнадцать) лет станешь уважаемым человеком, будешь зарабатывать миллионы и все бабы будут твои. А пока что ты никто, так что будь добёр забыть о своих желаниях и исполнять всё, что тебе скажет добрая марьиванна. А проходит пятнадцать, двадцать, тридцать лет, а ты такой же лох, как был в первом классе (а ежели не лох — то явно не потому, что усерднее всех выполнял домашние задания). На работе хотя бы деньги платят и уволиться можно, в отличие от (хотя не знаю, как с этим у китайцев).
Нет такого слова.
Правда?
неол., рекл. свойство по значению прилагательного виральный; способность к распространению в информационном пространстве сведений маркетингового, политического или какого-либо другого социального характера о каком-либо товаре, услуге, персоне и т. п. ◆ В широком смысле слова виральность сообщения может рассматриваться как его популярность. В узком смысле виральность представляет собой измеряемый показатель распространения информации в сети, используемый в сетевом маркетинге, а также в политических и др. организованных кампаниях.
У противников неологизмов, обычно главный аргумент такой, мол "нет необходимости добавлять новое слово, если в языке есть аналог".
Обычно никто из этих противников не знает, что, например, вполне привычное нам "исконно русское" слово "папа" - это как раз модное словечко, которое быстро вытеснило "тятю". И произошло это не так давно.
Язык пластичен. Новые слова приходят и уходят. Это нормально. "Папа" тоже было модным словечком и вон как прижилось, настолько, что мало кто знает, что оно вообще не наше.
А теперь, когда вы знаете, что папа - это не наше слово, будете ли вы использовать в своей речи "тятю" вместо "папы"?
1.
В какой-то лаборатории игрались с генетическими алгоритмами, пытаясь получить FPGA, выполняющую роль мультивибратора, выдающего частоту в 1 Гц. Как всегда с генетическими методами, на выходе получилась жуткая мешанина из компонентов, не описуемая никакой логикой, которая тем не менее выдавала требуемую частоту. Но наибольший ужас вызывал транзистор, подключеный к остальной схеме ОДНИМ выводом.
«Это что за хрень!» — сказали экспериментаторы и убрали его из схемы. Частота на выходе пропала! 8-O Подключили обратно — появилась!
Они долго ломали голову, пока наконец не нашли разгадку. Подключенный одним выводом транзистор выполнял роль антенны, которая принимала выдаваемую каким-то плохо заэкранированным прибором в соседней комнате как раз на требуемой частоте.
— Источник
2. Исследователи, пытаясь (симулированную) модель двуногого робота «ходить». В качестве целевой функции было расстояние от точки старта за 10 секунд. Хитрая модель научилась сразу же падать на спину и, яростно отталкиваясь ногами, скользить на спине подальше от точки старта. Учёные выматерились и добавили "… при условии, что ЦТ тела не оказывается ниже определённого уровня" — и тогда «робот» пошёл.
3. Исследователи пытались научить реальную модельку, имитирующию крылья мухи, «летать». Для простоты моделька был закреплена на вертикальном стержне. В качестве целевой функции была высота подъёма модели по этому стержню. Вместо того, чтобы «махать крыльями и взлетать» ©, модель быстро научилась направлять «крылья» вертикально вниз, «вставая» на них (вдоль опорного остержня), как на костылях, после чего попала в локальный максимум целевой функции (равный длине крыльев-«костылей»), где обучение и остановилось.
Сильный ИИ обладает способностью к неограниченной рефлексии, и этого более чем достаточно, а сознание тут опционально и его отсутствие никак не мешает писать симфонии, рисовать картины или же выдвигать новые гипотезы.
Интелле́кт (от лат. intellectus «восприятие»; «разуме́ние», «понимание»; «понятие», «рассу́док»[1]) или ум[2][3] — качество психики, состоящее из способности осознавать новые ситуации, способности к обучению и запоминанию на основе опыта, пониманию и применению абстрактных концепций, и использованию своих знаний для управления окружающей человека средой[4]. Общая способность к познанию и решению проблем, которая объединяет познавательные способности: ощущение, восприятие, память, представление, мышление, воображение[5][6].
Нейросети же — совсем никак не интеллект, если ближе к железу, то
нейросети — это память + логические ПЛИС
никакого интеллекта тут и близко нет, просто обработка данных по заранее установленным алгоритмам.
Ну хорошо, давайте, чтобы лишний раз не будоражить гуманитарную общественность, введём понятие псевдо-ИИ. Вот только когда этот псевдо-ИИ на нейросетях научится рисовать картины лучше человека, сочинять музыку лучше человека, писать стихи, прозу и журнальные статьи лучше человека, и даже генерировать фильмы (без съёмок, напрямую!) лучше человека, то вопрос о том, можно ли это считать настоящим интеллектом, будет носить исключительно философский характер. Потому как с практической точки зрения всем всё давно будет понятно.
Ну, а времени для философствований у гуманитариев тогда будет в избытке, потому как работы для них, очевидно, сильно поубавится. И да, их философские посты о «ненастоящести» этого ИИ уже никто не будет читать, потому что к тому моменту даже посты на подобную тематику у ИИ будут получаться на порядок интереснее и аргументированнее.
Правда тогда бы волки стали пацифистами и не стали есть овец ;)
К сожалению, жизнь — это не игра с ИИ. У нас не так много попыток и возможностей начать заново.
Эволюция никогда не работает с одной особью, только с целым видом. Так что попыток начать заново достаточно много. Если же вид немногочисленный, то вероятность его выживания стремится к нолю.
Возможно, главный урок этого эксперимента заключается не в беспомощности и необходимости сдаться.
Природа как бы даёт намёк что смысла бороться нет, в конечном итоге всё тлен.
В реальности ИИ-волки всё равно время от времени демонстрировали некорректное поведение...
И почему же «некорректное»? Всё как у реальных людей(и не только):
отказывались съедать овцу, проходящую прямо перед ними
Мало ли среди людей «самоограничителей» и «самоистязателей». Хотя бы лёгкие формы: вегетарианцы, моралисты, скопцы… Мир полон такими «псевдо-волками».
(и совершали пресловутое «самоубийство об камень»)
Человек тоже часто решает прервать своё бренное существование по массе всевозможных и порой достаточно смехотворных причин, хотя вероятно они ему на тот момент таковыми не кажутся.
Так что ИИ чётко показал что все эти «девиации» в природе обычны и объяснимы.
А всего-то надо было следовать классике:
Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Ну так правильно, натренировали не самих волков, а "стадо", при этом не в каждой итерации, а суммарно, вот и получилось, что задача каждого индивида была максимизировать суммарное число очков. А для этого индивид игнорировал самого себя ради славной цели.
Общество, в котором действуют похожие законы поведения, описано в From the New World.
Или это скрипт, который загружает случайные статьи в гугл транслейт?
Оригинал:
Another experiment tried using AI to optimize the breaking pressure applied to the cable on an aircraft carrier’s landing pad when an incoming plane hooked onto it to slow itself down during the landing.
Перевод:
В ещё одном эксперименте учёные использовали ИИ для оптимизации давления разрыва, прикладываемого к кабелю на посадочной площадке авианосца, когда приземляющийся самолёт зацепляется за него для торможения.
Гугл:
В другом эксперименте пытались использовать ИИ для оптимизации разрывного давления, прилагаемого к кабелю на посадочной площадке авианосца, когда приближающийся самолет зацепился за него, чтобы замедлить себя во время приземления.
Очевидно, что речь идет про усилие на разрыв троса аэрофинишёра на полётной палубе авианосца.
В статье, на которую журналист ссылается: An incoming aircraft attaches to a cable and the system applies pressure on two drums attached to the cable. The idea was to evolve the control software that would bring the aircraft to a smooth stop by dynamically adapting the pressure. <...> Indeed, evolution discovered a loophole in the force calculation for when the aircraft’s hook attaches to the braking cable.
Волк, предпочитающий самоубийство съедению овцы