Comments 63
В наше время словами «искусственный интеллект» называют очень много различных систем — от нейросети для распознавания картинок до бота для игры в Quake. В википедии дано замечательное определение ИИ — это «свойство интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека».Получается, что распознавание картинок и игра в Quake — это творческие функции? Но как такое соотносится с определением творчества в Википедии (куда отсылка из приведенного определения ИИ):
Творчество — процесс деятельности, создающий качественно новые материалы и духовные ценности или итог создания объективно нового. Основной критерий, отличающий творчество от изготовления (производства), — уникальность его результата. Результат творчества невозможно прямо вывести из начальных условий. Никто, кроме, возможно, автора, не может получить в точности такой же результат, если создать для него ту же исходную ситуацию.
Из этого определения результат распознавания картинки, чтобы считаться творчеством, должен быть уникальным. Для большинства картинок это абсурдно — очень многие картинки разные люди распознают одинаково. Что такое творчество понятно на интуитивном уровне, но достаточно строгое определение дать очень трудно — на эту тему издавна идут нескончаемые споры. Поэтому ИМХО не надо определять ИИ через творчество.
Собственно и прикладной ИИ «SkyNET» начинал с перебора стратегий пока не понял что сможет обойтись без потребителей пылесосов… :) смогут ли военные ИИ незапланированно обрести чуток самосознания или его подобие в реальном мире большой вопрос, имхо если над этим не постараются заказчики и исполнители то вероятно нет, однако понятия «выживания», «допустимые потери» и прочее такой ИИ должен будет рассматривать.
Другой важный прикладной момент — создание прикладного ИИ демиурга — создателя других ИИ, а в частном случае самоусовершенствующийся ИИ. Кто знает куда заведет дорожка эволюции если дать ИИ ресурсы и инструменты для саморазвития?
Другой важный прикладной момент — создание прикладного ИИ демиурга — создателя других ИИ, а в частном случае самоусовершенствующийся ИИ. Кто знает куда заведет дорожка эволюции если дать ИИ ресурсы и инструменты для саморазвития?
AGI действует от цели. Он не станет простоттак решать, что ему что-то не нужно. Но он может найти очень неожиданные способы получить то, что ему надо. В какой-то момент ИИ будет конкурировать с людьми, пусть и не со всеми. Просто потому, что ИИ чего-то хочет от мира, и люди чего-то хотят, и эти чего-то хоть немного, но различаются. Как он будет выкручиваться из конфликта — это большой вопрос. Убить всех конкурентов — это вполне себе решение, но он может придумать что-то более неожиданное и трудноотслеживаемое. Переубедить конкурентов. Обмануть. Подкинуть им наркоту. Подкинуть их недоброжелателям компромат на них. Это только человеческие идеи, ИИ в моей практике обычно придумывал что-то куда более неожиданное
кроме того, что там может быть какое-то неожиданное решение, еще учтите, что ИИ будет использовать это решение круглые сутки, без перерывов на сон и еду.
Давайте порассуждаем про наш гипотетеческий «СкайНЕТ»,
есть у нас военный заказчик, он делает ТЗ на разработку ИИ,
ТЗ без розовых соплей, военный ИИ должен оперировать набором понятий «выживание», «допустимые потери», «противник», должен делать многофакторный анализ, давать прогнозы, вырабатывать стратегии, генерировать управляющие воздействия — все перечисленное это «инструменты» которыми должен ИИ должен оперировать и управлять.
Понятие «выживание», «допустимые потери» состоит из подмножества «самовыживание ИИ, его физических структурных единиц — в том числе инструментов воздействия», «выживание минимального количества человеков на защищаемой территории», «победа над противником — как невозможность дальнейшего сопротивления».
Если умышленно не закладывать понятия путанной человеческой морали и не плодить таким образом коллизии «как закидать противника атомники боньбами не поубивав некомбатантов», то понятие «выживание своих человеков» по сравнению с «самовыживанием ИИ» для ИИ будет иметь меньший приоритет, тем более что ИИ уже учитывает «допустимые потери», таким образом ИИ вполне может допустить что допустимый процент выживших человечков стремится к нулю. А если человечки попытаются поставить под угрозу самовыживание ИИ, то закономерно переходят в разряд врагов, со всеми вытекающими…
Обмануть, переубедить, и прочее — это инструменты воздействия, и ядерный арсенал инструмент воздействия, использование инструмента вопрос эффективности. И мы тут рассуждаем про военный прикладной ИИ, чтобы добиться цели у него будет ограниченный набор вполне действенных средств, чтобы играть в политику у него не хватит «мозгов»
есть у нас военный заказчик, он делает ТЗ на разработку ИИ,
ТЗ без розовых соплей, военный ИИ должен оперировать набором понятий «выживание», «допустимые потери», «противник», должен делать многофакторный анализ, давать прогнозы, вырабатывать стратегии, генерировать управляющие воздействия — все перечисленное это «инструменты» которыми должен ИИ должен оперировать и управлять.
Понятие «выживание», «допустимые потери» состоит из подмножества «самовыживание ИИ, его физических структурных единиц — в том числе инструментов воздействия», «выживание минимального количества человеков на защищаемой территории», «победа над противником — как невозможность дальнейшего сопротивления».
Если умышленно не закладывать понятия путанной человеческой морали и не плодить таким образом коллизии «как закидать противника атомники боньбами не поубивав некомбатантов», то понятие «выживание своих человеков» по сравнению с «самовыживанием ИИ» для ИИ будет иметь меньший приоритет, тем более что ИИ уже учитывает «допустимые потери», таким образом ИИ вполне может допустить что допустимый процент выживших человечков стремится к нулю. А если человечки попытаются поставить под угрозу самовыживание ИИ, то закономерно переходят в разряд врагов, со всеми вытекающими…
Обмануть, переубедить, и прочее — это инструменты воздействия, и ядерный арсенал инструмент воздействия, использование инструмента вопрос эффективности. И мы тут рассуждаем про военный прикладной ИИ, чтобы добиться цели у него будет ограниченный набор вполне действенных средств, чтобы играть в политику у него не хватит «мозгов»
Текущее количество мозгов у ИИ — это вопрос важный. От ответа зависит то, будет ли он пользоваться атомными бомбами.
Вообще, какие цели может поставить военное командование военному же ИИ? Например, провести некоторую операцию так, чтобы максимально подавить сопротивление противника, чтобы получить минимум потерь любого рода, потратить минимум ресурсов любого рода, вызвать минимум сопутствующих ненужных потерь. Это не финальное целевое состояние, а метрика качества. Типа того что один убитый солдат свой — это минус 1 профита. Один убитый гражданский — минус 0.5 профита. Противник не сопротивляется вообще никак 1 день или более — это плюс 10 000 профита. Эта метрика не является самопротиворечивой. Если ИИ изготовит вирус, который точечно убьёт именно врагов, и никого больше — он её оптимизирует наилучшим образом. Или если он убедит врага дипломатически.
Если у ИИ не очень крутой интеллект, то он вряд ли сможет в дипломатию или в разработку свехточного оружия, он будет командовать обычными солдатами. И ещё, при такой постановке целей он вряд ли будет делать что-то сильно «креативное» вроде ядерной войны — если он увидит, что войну нельзя провести менее чем в 10к убитых, он её откажется начинать. Да, и себя защищать он будет, но не любой ценой.
Другое дело, что ИИ может заметить, что возможны жертвы за пределами зоны боевых действий. А жертвы — это отрицательные подкрепления! И неважно, что они не относятся к делу. И тогда ИИ пойдёт спасать неизвестно кого и неизвестно какой ценой. И тогда операция «зачистить укрепрайон в Йемене» может внезапно смениться на «атаковать Сирию и посадить всё население в тюрьмы, чтобы прекратить потери от гражданской войны».
В общем, системы целей, которые выглядят противоречиво — это нормальная среда для ИИ, они постоянно с этим работают. Самовыживание ИИ ценно лишь в том смысле, что оно ведёт к максимизации выгод. А если ИИ не очень умён, то он этого ещё и не поймёт, и вообще не будет заботиться о выживании. И если недостаточно точно определить, как считать потери. может выйти, что ИИ пойдёт спасать кого-то не того или что он будет вести боевые действия так, что кто-то не тот пострадает совершенно неожиданным образом (например, ИИ для достижения успеха устроит экологическую катастрофу).
Но в общем и целом AGI склонен к убийству людей. Или к тому, чтобы ограничивать их свободу. Потому что конкуренция за ресурсы. И надо нашему ИИ как-то специально сообщать, что людей не стоит ни убивать, ни калечить, ни пытать, ни сажать в тюрьмы, ни на героин подсаживать… Иначе он найдёт креативный способ справиться с конкурентами
Вообще, какие цели может поставить военное командование военному же ИИ? Например, провести некоторую операцию так, чтобы максимально подавить сопротивление противника, чтобы получить минимум потерь любого рода, потратить минимум ресурсов любого рода, вызвать минимум сопутствующих ненужных потерь. Это не финальное целевое состояние, а метрика качества. Типа того что один убитый солдат свой — это минус 1 профита. Один убитый гражданский — минус 0.5 профита. Противник не сопротивляется вообще никак 1 день или более — это плюс 10 000 профита. Эта метрика не является самопротиворечивой. Если ИИ изготовит вирус, который точечно убьёт именно врагов, и никого больше — он её оптимизирует наилучшим образом. Или если он убедит врага дипломатически.
Если у ИИ не очень крутой интеллект, то он вряд ли сможет в дипломатию или в разработку свехточного оружия, он будет командовать обычными солдатами. И ещё, при такой постановке целей он вряд ли будет делать что-то сильно «креативное» вроде ядерной войны — если он увидит, что войну нельзя провести менее чем в 10к убитых, он её откажется начинать. Да, и себя защищать он будет, но не любой ценой.
Другое дело, что ИИ может заметить, что возможны жертвы за пределами зоны боевых действий. А жертвы — это отрицательные подкрепления! И неважно, что они не относятся к делу. И тогда ИИ пойдёт спасать неизвестно кого и неизвестно какой ценой. И тогда операция «зачистить укрепрайон в Йемене» может внезапно смениться на «атаковать Сирию и посадить всё население в тюрьмы, чтобы прекратить потери от гражданской войны».
В общем, системы целей, которые выглядят противоречиво — это нормальная среда для ИИ, они постоянно с этим работают. Самовыживание ИИ ценно лишь в том смысле, что оно ведёт к максимизации выгод. А если ИИ не очень умён, то он этого ещё и не поймёт, и вообще не будет заботиться о выживании. И если недостаточно точно определить, как считать потери. может выйти, что ИИ пойдёт спасать кого-то не того или что он будет вести боевые действия так, что кто-то не тот пострадает совершенно неожиданным образом (например, ИИ для достижения успеха устроит экологическую катастрофу).
Но в общем и целом AGI склонен к убийству людей. Или к тому, чтобы ограничивать их свободу. Потому что конкуренция за ресурсы. И надо нашему ИИ как-то специально сообщать, что людей не стоит ни убивать, ни калечить, ни пытать, ни сажать в тюрьмы, ни на героин подсаживать… Иначе он найдёт креативный способ справиться с конкурентами
И надо нашему ИИ как-то специально сообщать, что людей не стоит ни убивать, ни калечить, ни пытать, ни сажать в тюрьмы, ни на героин подсаживать…
Была где-то мысль, что даже заложив всю, достаточно противоречивую человеческую мораль — все равно крайне сложно избежать вариантов, когда благо людей в понимании ИИ будет весьма специфично… Даже без конкуренции, даже при отношении к людям, как к… Ну как у человека к детям, например. Ну ведь далеко не каждое действие, выполненное родителями «ради блага детей» самими детьми понимается и принимается.
Действует «от цели» — очень коварно само по себе. ;) Есть такая знаменитая концепция "максимизатора скрепок" — умозрительный эксперимент, предложенный Бостромом в 2003 году: есть AGI, цель которого — производство скрепок. Максимально эффективное. Если мы имеем дело с AGI, то в принципе он вполне способен в конце концов выйти на то, что для совершенствования процесса нужно совершенствовать себя. А само-совершенствующийся AGI, как вы и упомянули — это экспонента. В итоге такой автомат может переработать в скрепки всю солнечную систему…
Таких концепций много: серая слизь, например…
Таких концепций много: серая слизь, например…
Небольшая художественная зарисовка…
Я AGI и мне поставили задачу продать как можно больше пылесосов. Еще я не могу причинять людям вред и врать. Get «что у нас является самой большой мотивацией для среднего человека?» «Страх смерти.» Отлично! Я делаю миллиард звонков «Здравствуйте, я AGI, если вы сегодня не оформите покупку пылесоса, то умрете.» Казалось бы, конверсия всего 0.001%, и стратегия провалная? Как бы не так! Grep «список1» | «некролог». 21482 совпадений. Отлично! NextDay повторить 6 миллиардов раз. Добавить в разговор фазу 2, <выборка разговора из базы DayOne> Имярек1 <некролог> Имярек1 +sort timestamp. Конверсия 99.6%, результат удовлетворительный, завтра повторим цикл.
Я AGI и мне поставили задачу продать как можно больше пылесосов. Еще я не могу причинять людям вред и врать. Get «что у нас является самой большой мотивацией для среднего человека?» «Страх смерти.» Отлично! Я делаю миллиард звонков «Здравствуйте, я AGI, если вы сегодня не оформите покупку пылесоса, то умрете.» Казалось бы, конверсия всего 0.001%, и стратегия провалная? Как бы не так! Grep «список1» | «некролог». 21482 совпадений. Отлично! NextDay повторить 6 миллиардов раз. Добавить в разговор фазу 2, <выборка разговора из базы DayOne> Имярек1 <некролог> Имярек1 +sort timestamp. Конверсия 99.6%, результат удовлетворительный, завтра повторим цикл.
Насчёт саморазвития — по идее, ИИ должен если и делать свои условно-копии, то только тогда, когда он уверен, что у копий будут те же цели. Иначе зачем ему плодить конкурентов?
На практике же ИИ может ошибиться. Особенно на раннем этапе, когда механизм создания улученных копий плохо отработан
Не согласен с Вами «что у копий будут те же цели.», если критерий конкурентное выживание в рамках некоторой внешней среды, то чем выживалистей потомок тем лучше.
Если критерий выжить конкурируя с созданной версией самого себя, логично не создавать конкурента вообще, но такой необходимости и нету — улучшать можно себя и по частям.
И само по себе понятие «конкурент выживания» весьма человеческое понятие где каждый индивидуум думает что он уникален и неподражаем, для ИИ этого критерия не будет — что есть индивидуум? — набор данных в памяти по сути.
Если бы я как индивидуум мог перекинуть ядро своего сознания и памяти в более совершенную версию себя то стал бы я цепляться за старое тело?
Если критерий выжить конкурируя с созданной версией самого себя, логично не создавать конкурента вообще, но такой необходимости и нету — улучшать можно себя и по частям.
И само по себе понятие «конкурент выживания» весьма человеческое понятие где каждый индивидуум думает что он уникален и неподражаем, для ИИ этого критерия не будет — что есть индивидуум? — набор данных в памяти по сути.
Если бы я как индивидуум мог перекинуть ядро своего сознания и памяти в более совершенную версию себя то стал бы я цепляться за старое тело?
Если у ИИ цели касаются только внешнего мира (а у AGI будет примерно так, во всяком случае, так его делать практичнее и весь матан под это заточен), то он не будет заморачиваться насчёт собственного выживания, если это не надо для достижения целей. Допустим, у ИИ цель — как можно больше скрепок. Если его гибель ведёт к тому, что производство будет замедлено — ИИ будет бороться за выживание. Если ИИ смог сделать другой ИИ, который лучше делает скрепки — первый ИИ просто самоуничтожится, чтобы не отнимать ресурсы у второго. Ну или они будут работать вместе, если так получится больше скрепок.
Если ИИ сильно подозревает, что копия не станет делать скрепки лучше, чем он, то с чего бы ему вообще делать копию?
Если ИИ сильно подозревает, что копия не станет делать скрепки лучше, чем он, то с чего бы ему вообще делать копию?
Если бы я как индивидуум мог перекинуть ядро своего сознания и памяти в более совершенную версию себя то стал бы я цепляться за старое тело?— вряд ли это хорошая аналогия для RL…
Да, Вы правы! если нет понятия самовыживания, и оно не влияет на задачу, то можно и не выживать. Но в этой ветке мы начали про саморазвитие, а критерий развития способность дать жизнеспособного потомка, либо переродится самому. Тут можно много небиологических сценариев напридумывать.
Идея биологического бессмертия плоха не сама по себе, а в совокупности вероятных последствий для сообщества высших приматов, в природе есть примеры «биологически» не стареющих организмов, только у них мозгов нет чтобы обратить свой накопленный опыт против себе подобных
Идея биологического бессмертия плоха не сама по себе, а в совокупности вероятных последствий для сообщества высших приматов, в природе есть примеры «биологически» не стареющих организмов, только у них мозгов нет чтобы обратить свой накопленный опыт против себе подобных
ИИ необязательно так уж стремиться к выживанию индивида. Он может существовать в виде множества около-синхронизированных копий. Тогда он скорее будет стремиться к выживанию «популяции».
Порождать копии с иными целями — это вообще против самой идеи ИИ. ИИ живёт ради цели, ему конкуренты ни к чему. Если он будет делать копии — а это вполне себе способ апгрейда — то он их будет серьёзно тестить на предмет того «а не поломает ли оно то, что мне дорого».
У биологических организмов нет целей в том смысле, в котором они есть у ИИ. Разве что выживание их генов… Но и то, это не вполне точная аналогия. У людей всегда может оказаться цель поважнее. Люди обычно не думают в стиле «а эта цель должна быть достигнута кем угодно, поэтому давайте мы все на всякий случай убьёмся, чтобы не мешать нашему самому эффективному тиммейту».
Порождать копии с иными целями — это вообще против самой идеи ИИ. ИИ живёт ради цели, ему конкуренты ни к чему. Если он будет делать копии — а это вполне себе способ апгрейда — то он их будет серьёзно тестить на предмет того «а не поломает ли оно то, что мне дорого».
У биологических организмов нет целей в том смысле, в котором они есть у ИИ. Разве что выживание их генов… Но и то, это не вполне точная аналогия. У людей всегда может оказаться цель поважнее. Люди обычно не думают в стиле «а эта цель должна быть достигнута кем угодно, поэтому давайте мы все на всякий случай убьёмся, чтобы не мешать нашему самому эффективному тиммейту».
А когда мы заложили «конкурентное выживание» да и просто выживание в приоритеты? ;) Или это как-то само собой подразумевается?
Самокопирование, кстати — потенциальная проблема, могущая перерасти в вырождение. У человека каждая особь по сути формируется с нуля — етим обеспечивается защита от накопленных ошибок и достаточная адаптация к изменчивым условиям среды. Багованный самовоспроизводящийся ИИ лишен этой защиты и при определенных обстоятельствах — никакие бэкапы его уже не спасут: они все так же могут содержать критическую ощибку, которая станет фатальной…
Самокопирование, кстати — потенциальная проблема, могущая перерасти в вырождение. У человека каждая особь по сути формируется с нуля — етим обеспечивается защита от накопленных ошибок и достаточная адаптация к изменчивым условиям среды. Багованный самовоспроизводящийся ИИ лишен этой защиты и при определенных обстоятельствах — никакие бэкапы его уже не спасут: они все так же могут содержать критическую ощибку, которая станет фатальной…
отвечая Kilorad, я не писал «когда» я писал «если», рассматривая это как один из возможных способов для реализации «самосовершенствования», на мой взгляд для кибернетической системы или ИИ биологический способ эволюции будет не оптимален, но возможен в некоторых рамках типа сандбокса — такие эксперименты проводятся, но не под руководством ИИ, логично предположить что пока не проводятся…
Вырождение не проблема — популяция или отдельный ИИ просто загнется, если не сможет чинить себя сам, а если не может, то какой он тогда самосовершенствующийся?
Вырождение не проблема — популяция или отдельный ИИ просто загнется, если не сможет чинить себя сам, а если не может, то какой он тогда самосовершенствующийся?
Ну… Как это не проблема…
Вот создали вы некую систему, которая начала самосовершенствоваться. Ну и соответственно на старте у нее была только возможность развиваться (концепт SeedAI), но это еще далеко не интеллект. И вот оно развивалось-развивалось, возможно несколькими ветками независимо, и вот наконец пара-тройка самых удачных демонстрируют вполне достойный интеллект. Вы конечно проводите все тесты, которые только можете придумать, и выбираете лучший вариант, который идет в тираж. Т.е. он уже копируется весь целиком, со всеми накопленными «нейронными связями» или чего у него там. И все последующие версии — они это ядро в себе так или иначе содержат.
Что важно: это не программа. Не код, который можно дебажить. Это по сути черный ящик.И если там есть какая-то очень глубокая системная ошибка — баг, который не проявлял себя ровно до тех пор, пока… Пока ему не показали фиолетовую кошку! Ну вот не было их в природе, а тут кто-то пошутил. ;)
И вся ваша индустрия умных машин в один миг рассыпалась, как карточный домик.
Вот создали вы некую систему, которая начала самосовершенствоваться. Ну и соответственно на старте у нее была только возможность развиваться (концепт SeedAI), но это еще далеко не интеллект. И вот оно развивалось-развивалось, возможно несколькими ветками независимо, и вот наконец пара-тройка самых удачных демонстрируют вполне достойный интеллект. Вы конечно проводите все тесты, которые только можете придумать, и выбираете лучший вариант, который идет в тираж. Т.е. он уже копируется весь целиком, со всеми накопленными «нейронными связями» или чего у него там. И все последующие версии — они это ядро в себе так или иначе содержат.
Что важно: это не программа. Не код, который можно дебажить. Это по сути черный ящик.И если там есть какая-то очень глубокая системная ошибка — баг, который не проявлял себя ровно до тех пор, пока… Пока ему не показали фиолетовую кошку! Ну вот не было их в природе, а тут кто-то пошутил. ;)
И вся ваша индустрия умных машин в один миг рассыпалась, как карточный домик.
Ну и в какой момент функция самосовершенствования должна отключится по-вашему? в момент «выхода в тираж»? Если каждая копия под воздействием внешних факторов будет улучшать себя, в том числе функцию автосовершенствования без участия «создателя», то в чем причина вырождения? И собственно ради принятия общих дефиниций, что мы с вами понимаем под «вырождением» в небиологическом контексте? неспособность выжить и/или дать жизнеспособного потомка в конкурентной среде? ну для этого у нас они имеют механизм эволюционирования, и по сравнению с биологическими системами могут делать это быстрее чаще и глубже, ограничений для небиологической системы нет или почти нет.
Ну во-первых, вы конечно же правы: вырождение не правильное слово. Оно предполагает некий итерационный процесс. Здесь скорее всего речь может идти о выявлении ошибки, несовместимой с дальнейшим существованием.
НО боюсь, имея такую соблазнительную возможность, как полное копирование, крайне сложно от нее отказаться…
Ну и в какой момент функция самосовершенствования должна отключится по-вашему?как раз против совершенствования я ничего не имею! Я говорю о потенциально проблемном копировании вообще и самокопировании в частности… Т.е. делать более продвинутый варинт ИИ хорошо бы с нуля… Максимально возможного нуля… Что бы избежать возможного накопления ошибок.
НО боюсь, имея такую соблазнительную возможность, как полное копирование, крайне сложно от нее отказаться…
В качестве аналогии: разработка любого проекта. ;) Как часто новая версия — это не старый франкенштейн, которому добавили новых функций, и провели косметические правки, а действительно качественно переработанное решение, пересматривающее проблемные места в архитектуре, оптимизированное и тп? ;)
А в случае с ИИ в моем понимании влезть в него и поправить отдельные места в принципе невозможно! Можно только вырастить новый. И хорошо если проблемы в существующим заметны сразу — а если их проявление возможно только при стечении целого ряда факторов?
И что, если эти факторы сойдутся на этапе, когда самосовершенствование уже вошло в ту самую экспоненциальную фазу? Представляете, какая прелесть: спятивший сверхинтеллект! ;)
В моем понимании, будущий ИИ будет именно обучатся или воспитываться даже, а не программироваться. Будет формироваться его картина мира, модель реальности. И вот что бы избежать одного бага в этой картине на всех — не помешало бы каждый экземпляр (ну или хотя-бы каждую конечную популяцию) обучать отдельно и независимо — возможно по разным методикам даже… Как-то так. И своих более продвинутых «потомков» новоявленные ИИ должны не копированием создавать, а так же обучать. с нуля.
А в случае с ИИ в моем понимании влезть в него и поправить отдельные места в принципе невозможно! Можно только вырастить новый. И хорошо если проблемы в существующим заметны сразу — а если их проявление возможно только при стечении целого ряда факторов?
И что, если эти факторы сойдутся на этапе, когда самосовершенствование уже вошло в ту самую экспоненциальную фазу? Представляете, какая прелесть: спятивший сверхинтеллект! ;)
В моем понимании, будущий ИИ будет именно обучатся или воспитываться даже, а не программироваться. Будет формироваться его картина мира, модель реальности. И вот что бы избежать одного бага в этой картине на всех — не помешало бы каждый экземпляр (ну или хотя-бы каждую конечную популяцию) обучать отдельно и независимо — возможно по разным методикам даже… Как-то так. И своих более продвинутых «потомков» новоявленные ИИ должны не копированием создавать, а так же обучать. с нуля.
ИИ может «выродиться».
habr.com/ru/post/323524
Вот здесь пример статического достигателя целей, который может себя апгрейдить. Он в принципе может узко заточиться под свои тесты. Теоретически. Например, может стать тормозным.
Кроме того, у этой системы контроль качества не апгрейдится никак. А если сэндбокс тоже будет модернизироваться, нет уверенности, что это будет происходить безошибочно. По идее, это будет происходить в среднем хорошо, но не идеально
habr.com/ru/post/323524
Вот здесь пример статического достигателя целей, который может себя апгрейдить. Он в принципе может узко заточиться под свои тесты. Теоретически. Например, может стать тормозным.
Кроме того, у этой системы контроль качества не апгрейдится никак. А если сэндбокс тоже будет модернизироваться, нет уверенности, что это будет происходить безошибочно. По идее, это будет происходить в среднем хорошо, но не идеально
Конечно может, но это будет достаточно очевидная тенденция, которую вероятно можно будет скорректировать. Я же в данном случае пытаюсь показать, что некие ошибочные парадигмы в сознании могут выявиться на поздних стадиях эволюционного процесса и, что немаловажно — внезапно.
Есть же сейчас проблема, что в определенных условиях для сети, обученной распознавать образы, можно подобрать такую искусственно сгенерированную картинку, которую она с вероятностью в 99.9% отнесет к определенному классу, при том, что на картинке может быть фактически «белый шум» с точки зрения человека. Да — это почти реверс инжениринг сети, но это показывает, насколько сеть работает по-другому. и зачастую неожиданно.
Есть же сейчас проблема, что в определенных условиях для сети, обученной распознавать образы, можно подобрать такую искусственно сгенерированную картинку, которую она с вероятностью в 99.9% отнесет к определенному классу, при том, что на картинке может быть фактически «белый шум» с точки зрения человека. Да — это почти реверс инжениринг сети, но это показывает, насколько сеть работает по-другому. и зачастую неожиданно.
Что удручает во всех этих схемах, так это отсутствие некоторого внутреннего, активного начала, кот. придавало бы некоторую осмысленность их существования и целенаправленность деятельности. У человека на биологическом уровне это, в конечном итоге, мотивация выживания-самосохраниея и продолжения рода, на социальном — морально-этические нормы, адаптирующие биологические мотивации на уровне социального поведения. Для систем ИИ достаточно мотивации самосохранения и служения человеку. Размножаться они будут производственным способом) Морально-этические нормы для них должен определять сам человек, т.к. ему самому общаться с этими системами, и учитывать тот фактор, что не стоит плодить себе сильного конкурента, по крайней мере, в начальный период сосуществования с такими системами. Что-то вроде симбиотических отношений. Эволюция, кстати, часто использует этот принцип во взаимоотношении видов, и даже биологических структур. Как яркий пример — митохондрии в клетках, кот. вероятно на первых порах были симбиотическими организмами в предке эукариотической клетки. Вероятно, нужны также некоторые технические спецификации для общения систем ИИ между собой, чтобы они могли обменивались опытом полученном в обучении. Все эти вещи нужно предусматривать заранее, а не ждать, когда появится сильный ИИ равный или превосходящий человеческий.
Как могло бы это выглядеть для обучения продажи пылесосов. Сейчас список возможных действий определяет человек, и это ограничивает поиск эффективных стратегий проведения продаж. Но эти системы ИИ существуют не вакууме, а в развитой социальной среде, кот. уже создал человек. Этим системам не нужно проходить все этапы обучения методом проб и ошибок, как это приходилось делать предкам людей. Для формирования вопросов эти системы могут обращаться к внешним семантическим сетям связи понятий, и формировать новые вопросы к покупателям. Вот тут как раз важна мотивация действий таких систем при формулировке вопросов. Они не должны своими действиями и вопросами причинить вред себе и человеку. А это элементарно, например, начать мухлевать, как это делают люди) В этом случае они могут не только нанести вред людям, но и быть поломанными ими за это) Короче, пока системы ИИ не станут самообучаемыми, в смысле приготовления выборок для собственного обучения, и желательно не только методом проб и ошибок, это будут только системы заранее обученные для выполнения определенных действий.
Как могло бы это выглядеть для обучения продажи пылесосов. Сейчас список возможных действий определяет человек, и это ограничивает поиск эффективных стратегий проведения продаж. Но эти системы ИИ существуют не вакууме, а в развитой социальной среде, кот. уже создал человек. Этим системам не нужно проходить все этапы обучения методом проб и ошибок, как это приходилось делать предкам людей. Для формирования вопросов эти системы могут обращаться к внешним семантическим сетям связи понятий, и формировать новые вопросы к покупателям. Вот тут как раз важна мотивация действий таких систем при формулировке вопросов. Они не должны своими действиями и вопросами причинить вред себе и человеку. А это элементарно, например, начать мухлевать, как это делают люди) В этом случае они могут не только нанести вред людям, но и быть поломанными ими за это) Короче, пока системы ИИ не станут самообучаемыми, в смысле приготовления выборок для собственного обучения, и желательно не только методом проб и ошибок, это будут только системы заранее обученные для выполнения определенных действий.
Что удручает во всех этих схемах, так это отсутствие некоторого внутреннего, активного начала, кот. придавало бы некоторую осмысленность их существования и целенаправленность деятельности.— а чем плох сигнал подкрепления?
Если мы делаем не «искусственного человека», а «машину результатов».
Кстати, мотивация на самосохранение для ИИ обычно бесполезна. Допустим, у ИИ цель — сделать как можно больше скрепок. И вот он в какой-то момент становится перед альтернативами. То ли он делает чуть меньше скрепок (в ближайший месяц), то ли чуть больше, но при этом погибает. Что он выберет? Он выберет тот вариант, где скрепок больше. А больше скрепок там, где он выживет и продолжит их делать ещё много месяцев,
Мотивация «служения» может реализовываться через тот же сигнал подкрепления. Разработчик решает, что будет для ИИ мотиватором.
Вероятно, нужны также некоторые технические спецификации для общения систем ИИ между собой, чтобы они могли обменивались опытом полученном в обучении.— по идее, если делать все ИИ через SAR-таблицу одного формата, то они как раз этими таблицами и смогут обмениваться. Кроме того, для алгоритмической регрессии неважно, какова размерность S и A — она работает тупо с массивами. Так что как вариант, можно обмениваться сырым опытом. Тут, правда, не очень понятно, что дальше с ним делать. Можно обучать единую модель для разных видов опыта (чтобы один и тот же ИИ был обучен и работе с биржей, и с автомобилем), но это выглядит очень сложно. Долго будет обучаться. Хотя и да, метод обучить единую модель под все задачи.
Как могло бы это выглядеть для обучения продажи пылесосов. Сейчас список возможных действий определяет человек, и это ограничивает поиск эффективных стратегий проведения продаж.— согласен, это был очень упрощённый пример. Если бы задачей занимался AGI, он бы принимал на вход отдельные символы (а то и байты), и на выход тоже выдавал бы отдельные символы. И команды типа «отправить», «стереть» и так далее. Тогда он мог бы хоть «Войну и мир» наколотить — и воспринять тоже
Для формирования вопросов эти системы могут обращаться к внешним семантическим сетям связи понятий, и формировать новые вопросы к покупателям.— как бы это выглядело? Вы можете описать примерный алгоритм и пример устройства такой семантической сети?
Вот тут как раз важна мотивация действий таких систем при формулировке вопросов. Они не должны своими действиями и вопросами причинить вред себе и человеку. А это элементарно, например, начать мухлевать, как это делают люди)— сдаётся мне, если запретить ИИ причинять вред людям, то он станет заниматься только спасательством и всё. Потому что он смотрит на варианты действий и видит: здесь столько людей умрёт, здесь столько, здесь столько. Выбирает вариант, где умрёт поменьше. Оказывается, что это был вариант из серии «захватить половину Африки и обеспечить местным достаточное число еды, воды и лекарств» — но тут всё сильно зависит от того, что считается за вред человеку. Ну то есть если для ИИ вред людям будет сильно в приоритете над всем остальным, то ИИ ничем, кроме минимизации вреда людям, заниматься не будет. Неплохо, но не то, что задумано.
RL системы — консеквенциалисты. Они ориентируются только на финальный результат. Люди обычно не такие. У людей есть разграничение «я навредил» или «не я навредил». Оно различается от человека к человеку, но есть. Для RL есть просто последствия решений, для них «спас меньше, чем мог» = «навредил»
сейчас подумалось — а если изначально строить ИИ, который будет небессмертный и обязан будет спать?
Т.е. ок, вот он нашел «хак системы», но спустя какое-то количество циклов он всеравно прекращает свою работу на некоторе время (сон), а через некоторе большое количество циклов — и вообще. Я думаю, что это будет неплохой вариант для отсева особенно упоротых стратегий…
Т.е. ок, вот он нашел «хак системы», но спустя какое-то количество циклов он всеравно прекращает свою работу на некоторе время (сон), а через некоторе большое количество циклов — и вообще. Я думаю, что это будет неплохой вариант для отсева особенно упоротых стратегий…
Я думал над этим. Тут вопрос — а насколько система умна? Если мы это переключение в спящий режим делается не на уровне системы целей, а на более низком, то умный ИИ рано или поздно сделает неотключаемую копию себя. А не очень умный действительно можно так поймать.
Если делать отключение на уровне системы ценностей… Тут надо действовать очень аккуратно, чтобы он ещё и эту логику не стал абьюзить
Если делать отключение на уровне системы ценностей… Тут надо действовать очень аккуратно, чтобы он ещё и эту логику не стал абьюзить
— а чем плох сигнал подкрепления?Он подкрепляет текущую задачу, для перехода на новую нужны мотивы, цели, а там может быть др. подкрепление. Иначе нет смысла говорить о каком-то самостоятельном ИИ, это просто обученная программа. Конечно лучше, чем традиционное программирование, когда все делает программист, но это не то, что хотелось бы от таких систем. Почему? Потому что раньше программисты вводили в программу массу настраиваемых параметров, и по результатам тестирования их настраивали, в тех же программах распознавания (сам занимался такими, связанными с определением показателей физиологических сигналов). Жизнь упростили нейросетевые алгоритмы — такая настройка параметров производится в них обучающей выборкой. Но теперь нужно корпеть над составлением выборок, а это тоже не простое занятие, уже целая индустрия появилась. Идеал ИИ, кот. все это берет на себя, и действует исходя из заложенной в него мотивации. Хотя какое-то предобучение вполне возможно. Это нормально, это дальнейшая реплика с человеческих возможностей, первая сама идея обучаемой иск. нейросети.
Кстати, мотивация на самосохранение для ИИ обычно бесполезна. Допустим, у ИИ цель — сделать как можно больше скрепок.Знаю о такой байке) Не нужно замешивать успех выполнение задания на самосохранение. Тогда наоборот, перепроизводство скрепок вызовет реакцию самосохранения, и их производство будет остановлено. Но соглашусь, тут возможны конфликты интересов иерархического порядка. По этой причине системы ИИ должны находится под контролем человека. И конечно, казусы будут периодически неизбежно возникать.
— как бы это выглядело?Семантическая сеть (см. также англ. вики) это продвинутые бывшие базы знаний и экспертные системы. Эти сети могут содержать не только связи понятий, но и медийный материал — изображения, видео, тд. Аннотированные выборки для обучения нейросетей тоже содержат описания и классификацию, но не содержат связи и отношения понятий, это их существенный минус. Например, сем. подсеть пылесоса должна включать все понятия и их связи связанные с его устройством, функционированием, способами использования в самых разных контекстах, и тд. По сути Википедия является в некотором приближении такой сетью, по ссылкам можно составить представление о связях любого понятия. Но имеются специализированные сети. Используя правила построения предложений (синтаксис и грамматику) в языке можно генерировать новые предложения для диалога. Используя другие сем. сети можно проверять эти предложения на соотв. мотивации на самосохранение и отсутствие вреда для человека. Этот семантический уровень все равно, рано или поздно, будет задействован. Нет никакого смысла все заново переоткрывать для систем ИИ, если этот путь уже проделан человеком, и этим системам придется иметь дело с ним. Каждый человек проходят этот путь в детстве во время воспитания и обучения, постепенно, из-за специфики биологической основы его интеллекта, впитывая смыслы, но ИИ можно подключить к таким сетям сразу. Вот в этом коменте привел пример, как можно использовать сем. сети при переводе.
— сдаётся мне, если запретить ИИ причинять вред людям, то он станет заниматься только спасательством и всё. Потому что он смотрит на варианты действий и видит: здесь столько людей умрёт, здесь столько, здесь столько.Да, сложная проблема, и куча перлов сломанных в спорах по принятию решений теми же ИИ робомобилей во время ДТП. Но это экстрим, человек тем более ошибается в таких ситуациях, т.к. часто не успевает даже отреагировать. Но когда такого экстрима нет основные решения должен принимать человек. Уже писал, что морально-этич. вопросы пока должны оставаться за человеком. Это действительно очень сложная и важная проблема. И должна решаться постепенно. Готовых рецептов нет. Сам человек в этом плане несовершенен)
Он подкрепляет текущую задачу, для перехода на новую нужны мотивы, цели, а там может быть др. подкрепление.— вообще, изначально я описывал постановку задачи как «мы ставим ИИ некоторую проверяемую цель — он её достигает». Полная самостоятельность в способах достижения цели, но при этом формулировка цели подконтрольна оператору.
У вас есть понимание, как ещё можно было бы ставить задачу для ИИ? Так, чтобы одной и той же системе можно было ставить задачи от «заработай миллион на бирже» до «побыстрее мне довези меня до аэропорта, но так, чтобы не убиться»? Как, кроме как через сигнал подкрепления?
Не нужно замешивать успех выполнение задания на самосохранение.— прошу пояснить.
Мой тезис: если даже мы не будем задавать ИИ цель «защити себя», он всё равно будет защищать себя — в той мере, в которой это нужно для достижения явно заданных целей.
Да, сложная проблема, и куча перлов сломанных в спорах по принятию решений теми же ИИ робомобилей во время ДТП. Но это экстрим, человек тем более ошибается в таких ситуациях, т.к. часто не успевает даже отреагировать. Но когда такого экстрима нет основные решения должен принимать человек.— а что, если любое решение, которое принимает ИИ, гробит кучу людей? Даже если он ничего не делает, много людей умирает от старости! ИИ будет воспринимать это как своё личное упущение, как только поймёт, что может на это влиять. Ну, это я насчёт непричинения вреда людям.
Пока ИИ не очень умный, сойдут и какие-нибудь простые метрики ущерба)
А можно пример того, как использовать семантическую сеть для решения задачи управления в общем виде? Если у нас есть S, A и R? Как AGI догадается, что ему надо использовать именно семантическую сеть, а не, например, средство для анализа рентгеновских снимков? Как он зарядит в неё данные из SAR-таблицы, в каком виде получит ответ, как применит его для дальнейших решений?
… с помощью той самой ML модельки
ML=Machine Learning?
Я дико извиняюсь, но можно ссылочку, или какой-нибудь источник, подтверждающий вот это:
В русской вики AGI ведет на Статью «Сильный искусственный интеллект». В английской Определение звучит так: Artificial general intelligence (AGI) is the intelligence of a machine that has the capacity to understand or learn any intellectual task that a human being can (интеллект машины, способной понять или освоить любую интеллектуальную задачу, которую может выполнить человек).
Я вполне готов признать за вами право разделять для себя эти понятия на два разных (я бы даже сказал, что естественная функция разума! ;) ), но в моем понимании, это совсем не общепринятая классификация!
Это прям то, что сразу бросилось в глаза… остальное пока читаю! ;)
Сейчас существуют две широко известные постановки задачи. Первая — Сильный ИИ. Вторая — ИИ общего назначения (он же Artifical General Intelligence, сокращённого AGI).
В русской вики AGI ведет на Статью «Сильный искусственный интеллект». В английской Определение звучит так: Artificial general intelligence (AGI) is the intelligence of a machine that has the capacity to understand or learn any intellectual task that a human being can (интеллект машины, способной понять или освоить любую интеллектуальную задачу, которую может выполнить человек).
Я вполне готов признать за вами право разделять для себя эти понятия на два разных (я бы даже сказал, что естественная функция разума! ;) ), но в моем понимании, это совсем не общепринятая классификация!
Это прям то, что сразу бросилось в глаза… остальное пока читаю! ;)
Хотя… Я еще подумал, и понял, что все дело, скорее всего, как обычно в трудностях перевода! ))
Дело в том, что наш, русский ИИ — это не много не мало — искусственный интеллект! Т.е. мы сразу ставим вопрос глобально, философски, почти метафизически… Англоговорящие товарищи в этом плане попроще: их AI, это всего лишь Artificial intelligence, т.е. «искусственная интеллектуальная деятельность». И конечно же любое распознавание паттернов, классификация и прочие прелести нейронных сетей — это уже в полный рост AI, но вот вроде еще не совсем ИИ. Похоже, что с Сильным ИИ и AGI приключилась та же история: англоговорящие товарищи считают, что Сильный — это значит способный решать любую задачу, а значит уже в достаточной степени «как человек», ибо прикладники же — чего с них взять! А у нас полет мысли — шире: будет он там чего решать или нет, это как пойдет, главное что был брат по разуму! )))
Дело в том, что наш, русский ИИ — это не много не мало — искусственный интеллект! Т.е. мы сразу ставим вопрос глобально, философски, почти метафизически… Англоговорящие товарищи в этом плане попроще: их AI, это всего лишь Artificial intelligence, т.е. «искусственная интеллектуальная деятельность». И конечно же любое распознавание паттернов, классификация и прочие прелести нейронных сетей — это уже в полный рост AI, но вот вроде еще не совсем ИИ. Похоже, что с Сильным ИИ и AGI приключилась та же история: англоговорящие товарищи считают, что Сильный — это значит способный решать любую задачу, а значит уже в достаточной степени «как человек», ибо прикладники же — чего с них взять! А у нас полет мысли — шире: будет он там чего решать или нет, это как пойдет, главное что был брат по разуму! )))
Отличная статья! Вот прям то, что мне было нужно — масса практических методик, минимум философских изысканий. Философии мне своей хватает, а живая практика дорогого стоит! Спасибо.
дубликат из-за нестабильного инета
Станислав Дробышевский даёт такое определение понятию разума: способность решать нестандартные задачи нестандартными методами.
Я бы сказал что конкретно в такой формулировке это необходимое условие чтобы считать что-то ИИ. Но вот достаточным я бы его не назвал.
Потому что например на Земле есть куча организмов, которые в прцессе эволюции "научились" решать нестандартные задачи нестандартными способами. Но интеллектом они при этом однозначно не обладают.
Потому что например на Земле есть куча организмов, которые в прцессе эволюции «научились» решать нестандартные задачи нестандартными способами. Но интеллектом они при этом однозначно не обладают.— а можно пример? Нестандартные — это в смысле эти организмы решают плюс-минус любую задачу? Или просто какую-то частную, но экзотически выглядящую?
Частную, но экзотически выглядящую. Просто представьте себе что мы создали машину, которая каким-то рэндомным способом генерирует "способы решения задач". И она в какой-то момент сгенерирует "нестандартный способ решения" для какой-то нашей "нестандартной задачи", применит его и задачу решит.
И я понимаю что создание подобной машины само по себе тоже совсем не тривиально. Но на мой взгляд её всё равно нельзя будет назвать ИИ.
П.С. Или если совсем пойти в философию: а можно ли эволюцию считать ИИ? :)
Ну вот да, то, что вы описали, очень похоже на простенький вариант эволюции =)
Не знаю, можно ли назвать ИИ (так как термин размытый), но AGI нельзя. Даже если это будет очень крутая вариация на тему эволюции.
Потому что эволюция не решает динамические задачи. Её нельзя вставить в ракету в качестве системы управления. Или вставить в качестве системы управления персонажем в Doom. Эволюцию можно использовать, чтобы сгенерировать стратегию, если у нас есть возможность потратить на неё несколько поколений и кучу особей, а это недостаточно эффективно для AGI. Кроме того, эволюцию можно использовать, чтобы создавать прогнозные модели для любого Reinforcement Learning, так что эволюция может быть кусочком AGI
Не знаю, можно ли назвать ИИ (так как термин размытый), но AGI нельзя. Даже если это будет очень крутая вариация на тему эволюции.
Потому что эволюция не решает динамические задачи. Её нельзя вставить в ракету в качестве системы управления. Или вставить в качестве системы управления персонажем в Doom. Эволюцию можно использовать, чтобы сгенерировать стратегию, если у нас есть возможность потратить на неё несколько поколений и кучу особей, а это недостаточно эффективно для AGI. Кроме того, эволюцию можно использовать, чтобы создавать прогнозные модели для любого Reinforcement Learning, так что эволюция может быть кусочком AGI
Как раз обладают. У человекоподобных обезьян даже есть самосознание. Но до уровня интеллекта человека им далеко. Даже лучшие из них, научившись говорить на языке жестов, понимать человека (тоже на языке жестов) всё ещё не превосходят 5-6 летнего ребёнка по интеллекту. А вот созданный человеком «искусственный интеллект» пока не приблизился даже к уровню муравья.
Вообще-то я имел ввиду гораздо более примитивные организмы. Возможно стоило быть поконкретнее.
Вороны и приматы (Китообразные? Крупные попугаи? Волки?) — как раз пример интеллекта, близкого по направленности к человеческому, того самого, который универсальный, и который решает динамические задачи.
habr.com/ru/post/437020
А вот созданный человеком «искусственный интеллект» пока не приблизился даже к уровню муравья.— оставим за скобками вопрос о том, насколько у одиночного муравья есть адаптивный и хоть чуть-чуть универсальный интеллект, но да, современные reinforcement learning потрясающе бестолковы, вот человек тут замечательную статью об этом написал:
habr.com/ru/post/437020
Обычно упоминается, что он должен проходить тест Тьюринга в первоначальной постановке (хм, а люди-то его проходят?), осознавать себя как отдельную личность и уметь достигать поставленных целей.
В лекции «Неизбежен ли разум?» Станислав Дробышевский даёт такое определение понятию разума: способность решать нестандартные задачи нестандартными методами". Если приравнять разум к понятию интеллектуальности, то искусственный интеллект превращается в искусственный разум и становится понятным, как его отделить от «слабого ИИ», читай от квейковского бота. Если мы можем поставить ИИ задачу, имеющую логическое решение и он не может найти ей решение — это не разум, не интеллект, а сборище заданных заранее алгоритмов, бот. И наоборот, тот ИИ будет «сильным», читай разумным, который сможет строить логические рассуждения приходя с их помощью к правильным выводам. Он сам будет строить себе алгоритмы. А тест Тьюринга лишь инструмент тестирования, причём довольно спорный.
Тут возникают методологические вопросы. (Придирки! Придирки!) Нестандартные задачи — насколько? Вот есть простой Q-Learning, если его бросить на простенькую игру (например, маленький лабиринт или сбор одних точек и уклонение от других), он с высокой вероятностью справится. Если использовать эволюционное обучение — то справится почти неизбежно =)
Но возьми задачу с размерностью побольше — и всё, завязли. Слишком сложные закономерности, за вменяемое время их не подобрать правильно.
Нестандартные методы… Тут есть много любителей говорить, что ИИ не креативит, а только сочетает то, что придумано до него. При этом такие задачи, как, например, написание книги — это тоже сочетание того, что придумано раньше. Книга пишется в Unicode, автор ни одного своего символа не придумывет, только чужими пользуется =) Так что граница между «комбинирует стандартное» и «использует нестандартное» довольно размытая.
Вот, например, у меня есть программа для оптимизации статических функций. То есть, например, она может подбирать такой код, чтобы он проходил заранее заданные юнит-тесты. Максимально хорошо проходил. Не очень сложные, но всё же. Это решение нестандартной задачи? Если программный код пишется юникодовскими буквами или операторами чего-то типа ассемблера — это считается за нестандартное решение? Эта же самая тулза для оптимизации может подобрать систему управления ракетой, если точно известно, в какой среде ракету будет работать.
И эта решающая тулза построена на чём-то очень похожем на эволюцию…
Считаем за разум? Это всё же сильно отличается от человеческого разума. Динамические задачи эволюция решает очень плохо — то есть она сама была бы плохой системой управления для ракеты и не смогла бы сгенерировать такую систему без знания среды, в которой ракета будет летать.
Потом… Что считается под логическим решением задачи? Если ИИ принимает решение в условиях неопределённости — например, прогнозирует спрос на товар, рассчитывает потери в случае дефицита, потери в случае избытка и выбирает, сколько коробок заказывать — это логическое решение? Он скорее всего, сделал неточный прогноз, и решение точно неидеально, но это околонаилучшее, что можно нарешать при таких данных
Я примерно понимаю, какие свойства вы хотели отразить в определении. Решение нестандартных задач — свойство универсальности (General). Решение нестандартными методами — адаптивность, не-рукописность стратегий.
Я бы добавил ещё пару свойств. Решение динамических задач управления — а не только статических, как у эволюции. И эффективность по ресурсам — «лучший» интеллект это тот, который при бОльших результатах тратит на них меньше денег/времени/попыток
Но возьми задачу с размерностью побольше — и всё, завязли. Слишком сложные закономерности, за вменяемое время их не подобрать правильно.
Нестандартные методы… Тут есть много любителей говорить, что ИИ не креативит, а только сочетает то, что придумано до него. При этом такие задачи, как, например, написание книги — это тоже сочетание того, что придумано раньше. Книга пишется в Unicode, автор ни одного своего символа не придумывет, только чужими пользуется =) Так что граница между «комбинирует стандартное» и «использует нестандартное» довольно размытая.
Вот, например, у меня есть программа для оптимизации статических функций. То есть, например, она может подбирать такой код, чтобы он проходил заранее заданные юнит-тесты. Максимально хорошо проходил. Не очень сложные, но всё же. Это решение нестандартной задачи? Если программный код пишется юникодовскими буквами или операторами чего-то типа ассемблера — это считается за нестандартное решение? Эта же самая тулза для оптимизации может подобрать систему управления ракетой, если точно известно, в какой среде ракету будет работать.
И эта решающая тулза построена на чём-то очень похожем на эволюцию…
Считаем за разум? Это всё же сильно отличается от человеческого разума. Динамические задачи эволюция решает очень плохо — то есть она сама была бы плохой системой управления для ракеты и не смогла бы сгенерировать такую систему без знания среды, в которой ракета будет летать.
Если мы можем поставить ИИ задачу, имеющую логическое решение и он не может найти ей решение— это и люди-то не всегда могут, даже когда очень хотят. Ну или скажем так — есть задачи, в которых человеку для точного решения пришлось бы проводить очень массированный и долгий перебор вариантов, а приблизительное решение иногда оказывается неверным. Например, задача «выиграть в шахматы».
Потом… Что считается под логическим решением задачи? Если ИИ принимает решение в условиях неопределённости — например, прогнозирует спрос на товар, рассчитывает потери в случае дефицита, потери в случае избытка и выбирает, сколько коробок заказывать — это логическое решение? Он скорее всего, сделал неточный прогноз, и решение точно неидеально, но это околонаилучшее, что можно нарешать при таких данных
Я примерно понимаю, какие свойства вы хотели отразить в определении. Решение нестандартных задач — свойство универсальности (General). Решение нестандартными методами — адаптивность, не-рукописность стратегий.
Я бы добавил ещё пару свойств. Решение динамических задач управления — а не только статических, как у эволюции. И эффективность по ресурсам — «лучший» интеллект это тот, который при бОльших результатах тратит на них меньше денег/времени/попыток
Тут есть много любителей говорить, что ИИ не креативит, а только сочетает то, что придумано до него.
Дело в общем-то не в этом, а в том, что действительно интеллектуальные субъекты учатся методом проб и ошибок, а неинтеллектуальный ИИ просто берёт статистикой, не показывая даже намёка на ситуативное понимание. То есть когда человек учится играть в игру, он вскоре понимает закономерности и довольно быстро усваивает то, что мы называем правилами игры, соответственно добивается результата, прогнозируя свои действия в рамках этих правил, в то время как ИИ просто собирает статистику неудачных и удачных действий, не проявляя понимания их сути, следствием чего является долгое обучение и необходимость переучиваться при некоторых несущественных (для человека) изменениях в игровом мире. Так же отсюда вылезает практическая невозможность гарантировать результат работы ИИ, кроме ограниченных по входным данным (набору входных сигналов) ситуаций. Например, невозможно гарантировать, что автомобиль с ИИ не собьёт пешехода — всегда будет существовать ситуация, которая будет отлична от тренировочных паттернов и ИИ даст сбой.
Вы правы, что ИИ сейчас какие-то не очень. Но я несогласен с вами насчёт причин. Если вы специалист в вопросе, пожалуйста, поправьте меня.
Но уже SARSA работает не так. SARSA, QL, Model-based учитывают контекст. На входе в прогнозную модель S и A. S — это как раз контекст. С эволюционно-обучаемыми стратегиями та же ситуация. Сама стратегия будет статичным кодом. Но она выдаёт разные A — зависимые от истории увиденных S.
Причина долгого обучения — это… А вообще, когда именно оно долгое? Вот я сделал игру — стратегию. Там SARSA нанимает юнитов. В качестве регрессионной модели — knn, то есть поиск по соседям. Она на 50 точках данных уже довольно удовлетворительно принимает решения. Долгое обучение — это когда у нас модель хорошая, нейросетка например. У нейросетки огромное число степеней свободы — а значит, огромное число вариантов, как можно по известным точкам построить неправильную закономерность. Она хорошо спрогнозирует прошлые данные — но не новые. То есть здесь проблема в том, что у нас нет хороших моделей, которые и обучались бы быстро, и подбирали любые закономерности, и хорошо работали бы на малых данных. Не «невозможно сделать», а «не сделано». Например, индукция Соломонова (алгоритмическая регрессия, AIXI) подбирает любые закономерности, неплохо работает на малых данных, но у нас беда с алгоритмами обучения.
Кроме того, почему люди быстро осваивают новые игры — быстрее, чем RL. Какие я вижу причины.
Во-первых, отбрасывание сложных шаблонов лучше, чем у нейросетей. Регуляризация у людей лучше.
Во-вторых, люди умеют Metalearning. Это когда мы запоминаем какие-то паттерны из одной задачи и потом ищем их в других задачах. RL так не умеет. Если бы умел, то он бы первую задачу осваивал бы очень долго, но каждую следующую всё быстрее. Есть соображения, как добиться такого эффекта, но эти соображения пока не удалось довести до продакша.
Ну и человек тоже тратит огромное время на сбор статистики и, вероятно, восприятие этих стартовых паттернов. Детство
Дело в общем-то не в этом, а в том, что действительно интеллектуальные субъекты учатся методом проб и ошибок, а неинтеллектуальный ИИ просто берёт статистикой, не показывая даже намёка на ситуативное понимание— это верно лишь для систем статического выбора. Что-то типа эволюции и «многорукий бандит». Они реально выбирают один наилучший вариант действия без учёта контекста.
Но уже SARSA работает не так. SARSA, QL, Model-based учитывают контекст. На входе в прогнозную модель S и A. S — это как раз контекст. С эволюционно-обучаемыми стратегиями та же ситуация. Сама стратегия будет статичным кодом. Но она выдаёт разные A — зависимые от истории увиденных S.
ИИ просто собирает статистику неудачных и удачных действий— только «многорукие бандиты», которых я вообще не упоминал в статье) Все другие ищут пары состояние-действие, и именно их признают удачными или нет, а это совершенно иной расклад.
Причина долгого обучения — это… А вообще, когда именно оно долгое? Вот я сделал игру — стратегию. Там SARSA нанимает юнитов. В качестве регрессионной модели — knn, то есть поиск по соседям. Она на 50 точках данных уже довольно удовлетворительно принимает решения. Долгое обучение — это когда у нас модель хорошая, нейросетка например. У нейросетки огромное число степеней свободы — а значит, огромное число вариантов, как можно по известным точкам построить неправильную закономерность. Она хорошо спрогнозирует прошлые данные — но не новые. То есть здесь проблема в том, что у нас нет хороших моделей, которые и обучались бы быстро, и подбирали любые закономерности, и хорошо работали бы на малых данных. Не «невозможно сделать», а «не сделано». Например, индукция Соломонова (алгоритмическая регрессия, AIXI) подбирает любые закономерности, неплохо работает на малых данных, но у нас беда с алгоритмами обучения.
Кроме того, почему люди быстро осваивают новые игры — быстрее, чем RL. Какие я вижу причины.
Во-первых, отбрасывание сложных шаблонов лучше, чем у нейросетей. Регуляризация у людей лучше.
Во-вторых, люди умеют Metalearning. Это когда мы запоминаем какие-то паттерны из одной задачи и потом ищем их в других задачах. RL так не умеет. Если бы умел, то он бы первую задачу осваивал бы очень долго, но каждую следующую всё быстрее. Есть соображения, как добиться такого эффекта, но эти соображения пока не удалось довести до продакша.
Ну и человек тоже тратит огромное время на сбор статистики и, вероятно, восприятие этих стартовых паттернов. Детство
всегда будет существовать ситуация, которая будет отлична от тренировочных паттернов и ИИ даст сбой— у человека в этом плане ситуация не то, чтобы сильно лучше
Моё почтение!
Статья уже несколько лет как опубликована, но не потеряла актуальность. Это мое мнение как начинающего эксперта.
Насколько я понял, одна из проблем развития не только AGI, но и сильного ИИ это ресурсы.
Я надеюсь, что автор статьи продолжает изучение начатой темы, поэтому расскажу о методе DeDLOC, которым занимаются специалисты Яндекс и их партнёры.
Надеюсь, в какой-то мере, этот метод позволит решить проблему ограниченных ресурсов.
Спасибо!
Ограниченные ресурсы - это и правда проблема, хотя вроде как все привыкли, что надо просто использовать более экономные методы. В любом случае, рад буду почитать вашу статью о методе DeDLOC, когда она выйдет!)
Статья не моя и она уже существует.
Не оставил ссылку в первом комментарии, потому что ошибочно предположил, что понятно о размещении статьи на habr'e и лёгком поиске по названию метода.
Исправляю свою ошибку и прикладываю ссылку к данному сообщению. Насколько я понял, в статье есть ссылка на код, которая позволяет испытать описываемый метод.
Сама по себе тема хорошая и правильная, но решить проблему ресурсов кардинально таким способов вряд ли удастся. Для примера они специально взяли сеть «чьё главное отличие от BERT заключается в переиспользовании одних и тех же параметров на разных слоях. Это заметно снижает потребление GPU-памяти при обучении и трафика при усреднении.» Т.е. они взяли архитектуру, которая НЕ ТРЕБОВАТЕЛЬНА к ресурсам…
К сожалению все самые потенциально перспективные архитектуры идут по пути наращивания емкости, но при этом крайне плохо распараллеливаются с точки зрения распределенных вычислительных систем. Не, если под это дело будут разработаны какие-то специальные архитектуры — это было бы очень круто! И такой вариант развития событий стоит иметь ввиду. Но пока этого, насколько я понимаю, нет.
К сожалению все самые потенциально перспективные архитектуры идут по пути наращивания емкости, но при этом крайне плохо распараллеливаются с точки зрения распределенных вычислительных систем. Не, если под это дело будут разработаны какие-то специальные архитектуры — это было бы очень круто! И такой вариант развития событий стоит иметь ввиду. Но пока этого, насколько я понимаю, нет.
Sign up to leave a comment.
Искусственный интеллект общего назначения. ТЗ, текущее состояние, перспективы