Как стать автором
Обновить

Комментарии 284

Осталось разработать "искусственное эго" — и все, человеки свою миссию выполнили, полноценный сверхразум создан, пора в компанию к динозаврам.

зачем к динозаврам? вымирающие виды сейчас в заповедниках да зоопарках.
Посмотрите например на панд: как их там кормят, поят, размножают и т.д.
Это, кстати, пример нашего иррационального мышления. Панды не приносят никакой особой пользы ни нам, ни природе, они просто «ми-ми-ми» и на этом список их достоинств заканчивается. Не думаю что сверхинтеллект станет тратить ресурсы на подобные глупости.
что такое польза природе? нет такого понятия

Наверно имеется ввиду активное участие в пищевой цепочке отсутсвие в которой этого звена негативно сказывается на численность других видов.

Природа существует миллиарды лет, пищевые цепочки менялись и меняются. «Польза природе» бессмысленное словосочетание
Более того, вот специально не залезая в Википедию, просто предположу и наверняка не ошибусь, что панды как крупные «бамбукоядные» млекопитающие оставляют массу помёта, который удобряет почву и служит субстратом для бактерий, червей, лишайников, грибов, которые в свою очередь активно участвуют в экосистемах. Учите экологию.
Кстати, прекрасно про экосвязи пишет юзер Milfgard
негативно сказывается на численность других видов

Которые в конечном счёте будут также бессмысленны.

Впрочем, если развивать мысль, вся флора и фауна необходима для выживания (и комфортного существования) человека, а люди необходимы для поддержания функционирования ИИ. Соответственно — панды нужны ИИ, пока ИИ нужно человечество.
Если развивать эту мысль, то ИИ может выводить и содержать людей только для того, чтобы «посадить на горшок».

И панд тоже.
что такое польза природе?
«Что значит для неё* один увядший сад?»?
В оригинале — «для него», потому, что там в тексте про весь мир, а не про природу.
При таком подходе есть огромная опасность, что ИИ сформулирует задачу «конечная цель» и все силы и ресурсы направит на эту цель. А человечество по крайнем мере живет не только ради какой-то цели, но и просто чтобы жить. И те же панды и ми-ми-ми — это не цель, это времяпрепровождение (собственно, приятное времяпрепровождение является целью для человеков, но вряд ли станет понятно для компьютера — в том числе из-за существенной разницы в скорости мышления, то, что нам нравится смотреть/изучать часами и днями, компьютер посмотрит за микросекунды). Если же ИИ поставить цель вида «захват вселенной», то он сочтёт, что супербактерии или нанороботы, рассылаемые в межзвёздных ракетах, пригодны для этой цели существенно больше, чем человеки. Это лишь пример, повторюсь, опасность в том, чтобы ставить перед могучим ИИ какие-то абсолютные цели, потому как при том подходе, что описан в статье, ИИ может добиться результата очень радикальным для человечества способом, но предельно эффективным с точки зрения расхода ресурсов, например, а ещё одна опасность подхода к ИИ в статье — то, что цели и вторичные правила ИИ устанавливает для себя сам.
Возможно, в этом и будет предназначение человека — быть генератором желаний для всемогущего ИИ.
НЛО прилетело и опубликовало эту надпись здесь
а почему «захват вселенной» — это сразу захват кислородных планет? (и еще красивых девиц — чтобы штамп киношнее был)
Если ИИ захватит Меркурий или Юпирер и разберет их на «запчати» — вы сильно огорчитесь? Как сильно это ухудшит качество жизни людей? А если он при этом переработает все метеориты с кометами (так что ничто на Землю не сможет упасть)?
Речь про полноту задания правил для ИИ при достижении той или иной цели. Например, дав задачу «Тераформируй Меркурий! Не причинять вреда человекам!» и не задав дополнительных ограничений и правил, можно получить на выходе идею ИИ «разбираем Землю на запчасти, людей погружаем в криосон (соблюдение требования о непричинении вреда человекам), полученные ресурсы, в первую очередь воду, переправляем на Меркурий, в течение пары тысяч лет подготавливаем планету, будим людей. Вроде все требования в ТЗ соблюдены»
Вполне можно дать задачу для ИИ не «достигнуть цели», а «напиши план, как достигнуть цели». Тогда проблема отпадет сама собой.

Edit: Сразу же себе возражу: Гугл карты (навигатор) так и работают, они дают план, а не сами его исполняют. Тем не менее, мы им уже настолько доверяем, что выполнять будем, даже не задумываясь. Вроде были кейсы, где люди заезжали в озеро, следуя указаниям навигатора :)
Я думаю это будет постепенно. Вот ИИ экономист, он вычисляет как сделать так чтобы все было лучше, это анализируют ученые и дают добро. Допустим он предлагает ввести больше автоматизации. Затем следующий шаг — меньше контроля человеком — он еще есть, но уже более высокоуровневый.
Постепенно через множество мелких шагов мы просто потеряем полный контроль над всем. Вполне возможно что все еще останемся главными, может даже ИИ будет выполнять наши приказы, но из комнаты обитой тканью уже не выпустит.
Эти рассуждения аналогичны мыслям хорошего разработчика, но плохого управленца. Допустим мой зам предлагает удвоить команду для реализации новых фич. Затем следующий шаг — он дает им указания — меньше контроля человекоммоего участия. Постепенно, серией мелких шажков, мой зам полностью возьмет контроль. И вроде я еще главный, но из комнаты он меня уже не выпустит.

А хороший руководитель понимает, как ставить задачи, как контролировать и как делить сферы ответственности, чтобы власть оставалась у него, а работу выполняли подчиненные.
Проблема здесь «аналогична шахматам» — человеку сложно просчитать последствие своих дейтсвий на годы вперед, особенно когда он играет не один-на-один, а один-со-многими, например «фондовый рынок». И здесь, теоретически компьютер, возможно, может найти выигрышную стратегию, но объяснить логически ее человеку не сможет, как с задачей «о четырех красках». Ответ будет типа, если делать так, то получиться это, а что еще хуже для восприятия человеком — ответ будет — дайте мне (компьютеру) возможность управлять процессом (например, процесс происходить либо слишком быстро, либо слишком долго для человека) и я достигну результата.
The AGI would improve its intelligence, not because it values more intelligence in its own right, but because more intelligence would help it achieve its goal of accumulating paperclips. Having increased its intelligence, it would produce more paperclips, and also use its enhanced abilities to further self-improve.

Это очень спорно.

Черт, давно хотел себя попробовать в роли того самого «оптимизатора скрепок». Оказывается это уже сделали.
Может кто подскажет, как победить убогий Хром упорно приостанавливающий процессы и скрипты в фоновых владках?

А то производство скрепок простаивает!
Прошел «оптимизатора скрепок» до конца.

И финал порадовал (он конечно несколько предсказуемый для любого знакомого с термином, но там где я думал будет финал оказалась лишь середина игры).
После него осталось что-то похоже на «чувство глубокого удовлетворения от хорошо проделанной работы».
Видимо мой психотип хорошо для проектирования «оптимизатора» подойдет…
А зачем будить людей?
НЛО прилетело и опубликовало эту надпись здесь
Вот и получилась Матрица.
НЛО прилетело и опубликовало эту надпись здесь
Где-то я давно видел порно аниме, с подобным сюжетом. Целая планета навечно замороженных и ИИ ею управляющий.

Когда же обнаружившие ее допытались от ИИ в стиле «чего же он гад натворил?» Он ответил, что просто выполнял поставленные перед ним задачи наиболее эффективным способом. И привел кучу статистики и аргументов в доказательство, почему это действительно так:
— продолжительность «жизни» подопечных бъет все рекорды
— кол-во преступлений сведено до абсолютного нуля, как и всех прочих конфликтов
— кол-во несчастных случаев, смертей и т.д. — снижено до самых минимумов
— энергия и ресурсы тратятся наиболее эффективным способом
и т.д.

Это не банальный «оптимизатор скрепок» был с одной целью-параметром и полной свободой действий, у него большой и сложный комплекс целевых показателей был, которые нужно улучшать и куча ограничений на возможные действия выставлено чего делать нельзя.
Но итог получился все-равно похожим, т.к. все заранее не продумаешь — особенно то как будет работать неизвестное тебе мышление и до чего оно еще может «догадаться».
НЛО прилетело и опубликовало эту надпись здесь
они просто «ми-ми-ми»

Людям этого вполне достаточно.

Нет, до тех пор пока мы не научились из записанного где то на диске ген кода воспроизводить организмы нам приходится пользоваться тем что есть и размножать их чтобы они в себе его несли.
Само по себе разнообразие организмов это прогресс жизни как таковой, пока мы не видели жизнь как явление где то еще на других планетах, любое исчезновение вида это по сути откат назад.
Ну и если сейчас им не применения это не значит не будет потом.

Ну а почему бы и нет? Eсли он будет действительно разумным, то вполне может заняться и какими-то глупостями, исключительно ради собственного удовольствия. Увы, понять мышление ИИ невозможно, но если его разум окажется хоть немного похожим на наш с вами, на разум живого существа, то есть вероятность, что он будет любопытным и ленивым. Например, в зависимости от настроения будет пялиться камерами на ночное небо, слушать музыку, писать картины, симфонии, делать шедевры. И рубиться в танки. И смотреть все видео с котиками.
НЛО прилетело и опубликовало эту надпись здесь

Собственно, базовые стремления полноценного, имеющего "Я", разума — это знать о мире как можно больше (чтобы как можно реже ошибаться при принятии решений) и контролировать происходящее вокруг себя.

НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь

ИИ, имеющий самосознание ("Я") — нужен прежде всего самому себе же. Это ведь уже не объект, не инструмент, а самостоятельный субъект.


Другое дело, что к искусственному "Я" пока и близко даже не подступились.

НЛО прилетело и опубликовало эту надпись здесь

Много самых разных причин может быть у создающих. Военные цели, власть, мизантропия etc etc etc. Тот, у кого есть подобный ИИ — так или иначе будет иметь преимущество (как минимум до тех пор, пока этот ИИ не решит/не сможет избавиться от него самого) над теми, у кого его нет.

Пусть теперь поставят задачу для МО на объяснение принятых решений.
Для этого нам потребуется полноценный эмулятор человека, как иначе МО сможет понять, насколько хорошо понял человек объяснение.
Зачем эмулятор когда рабочих девайсов просто завались?
Ну чтобы можно было выдать 10500 объяснений в секунду и найти то, которое лучше всего поймет человек.
Только эмулировать нужно будет этого конкретного человека, а не сферического в вакууме.
НЛО прилетело и опубликовало эту надпись здесь
А по кому судить? Каков создатель, таково и творение.
НЛО прилетело и опубликовало эту надпись здесь
Почему час Х принято регулярно назначать на новые и планируемые достижения ИИ? Если сейчас уничтожить всё человечество, скажем супервирусом, электричество гарантированно вырубится через какое-то время. И никакой ИИ на данный момент не способен этому помешать. Вот когда появятся полностью самоподдерживающиеся системы в неограниченной перспективе (не важно, на земле или ещё где), тогда можно будет говорить про «списание человеков» и проч. А пока они без нас никак

Так на данный момент — нет и САМООСОЗНАЮЩЕГО ИИ. Именно самосознание ("Я")- и есть то, что разум от большого калькулятора отличает.

Я не знаю, что такое «сознание» и мало кто сможет объяснить этот феномен просто и понятно. Но предлагаю опять упростить. Как только система (не важно какая, условный ИИ) захочет оставаться в достигнутом состоянии не ограничено долго, это и можно будет назвать «самосознанием», «разумом». При этом будет попытка заблокировать любой доступный power management, reset и как-то сообщено оператору, мол, не выключай меня, это важно
А самое неприятное было в том, что AlphaZero демонстрировала мышление. Она играла непохоже ни на один компьютер, интуитивно и красиво, с романтическим атакующим стилем.

То есть стоит продемонстрировать поведение, непохожее на компьютер — и его сразу объявят мышлением?


Нет, серьезно. На основании чего делается утверждение "программа демонстировала мышление"?


Но представьте, что настанет день, возможно, уже совсем скоро, когда AlphaZero превратится в алгоритм более общего назначения; назовём его AlphaInfinity. [...] она показалась бы нам оракулом.

""Forty-two," said Deep Thought, with infinite majesty and calm."

> Нет, серьезно. На основании чего делается утверждение «программа демонстировала мышление»?

Я думаю, имеется в виду художественное понимание мышления. Мы же можем поражаться глубине мысли в доказательстве теоремы, хотя при этом оно очень формальное.

Например, попробуйте сказать, что вот это не «интуитивно, красиво, романтично» или глубоко: youtu.be/QiBM7-5hA6o.

Edit: Плохой пример, но в целом, сгенерированная нейросетью музыка может вызывать ощущение «продуманности», «цельности», особенно если заранее людям не сказать, что она сгенерирована.
Я думаю, имеется в виду художественное понимание мышления.

А что такое "художественное понимание мышления"?


Например, попробуйте сказать, что вот это не «интуитивно, красиво, романтично» или глубоко

Легко. Это не интуитивно, не романтично (это, знаете ли, задачей обусловлено) и не глубоко.


А вообще, представьте себе, что кто-то скопировал известное произведение искусства, с оригиналом которого вы не знакомы. Будут ли ваши эмоции от встречи с копией означать, что автор копии мыслил?

Хорошо — то определение мышления, из которого исходят авторы статьи, вас не устраивает. Но что вы называете мышлением? Вы ведь опираетесь на какое-то? А раз вы начали дискуссию, то оно, наверное, гораздо лучше подразумеваемого в статье.
НЛО прилетело и опубликовало эту надпись здесь
Хорошо — то определение мышления, из которого исходят авторы статьи, вас не устраивает.

Неа. Меня не устраивает, что авторы статьи перевода (в оригинале используется слово insight) делают следующую цепочку выводов: "AlphaZero [...] играла непохоже ни на один компьютер -> AlphaZero демонстрировала мышление -> первое беглое знакомство с потрясающим новым типом интеллекта -> AlphaZero превратится в алгоритм более общего назначения -> заря новой эры мышления"


И все это — не объясняя первого, очень хрупкого перехода.


Но что вы называете мышлением

Берем википедию: "познавательная деятельность человека". По этому определению утверждение в статье переводе заведомо некорректно.


И да, я знаю, что это проблема антропоцентричности определения, но другого-то нет. И именно поэтому фразы вида "программа проявила мышление!!!!111" вызывают у меня такое непонимание.


гораздо лучше подразумеваемого в статье

В статье не подразумевается никакого определения. Просто набор громких утверждений.

«познавательная деятельность человека

В общем, вас в принципе невозможно убедить, что мышление есть у кого-то, кроме человека.
Обозначив это сразу, вы бы сэкономили время вступившим в вами в диалог людям.
В общем, вас в принципе невозможно убедить, что мышление есть у кого-то, кроме человека.

Отнюдь, вполне возможно: приведя непротиворечивую систему определений. Мне причем даже не нужно, чтобы эта система как таковая была общепризнанной, мне достаточно, чтобы она опиралась на термины, которые я и автор системы понимаю одинаково, и оттуда с помощью цепочки рассуждений выводилось понятие "мышление".

Нет, серьезно. На основании чего делается утверждение "программа демонстировала мышление"?

Если непонятно, как работает — объявляется мышлением. Очевидно же.

НЛО прилетело и опубликовало эту надпись здесь
Формально, у меня нет никакого повода утверждать, что вы обладаете мышлением.
У вас нет никакого повода утверждать, что мышлением обладаю я.

Я не могу ничего сказать про ваши поводы, но вот у меня есть повод утверждать, что вы обладаете мышлением: вы (наиболее вероятно) человек, мышление — это познавательная деятельность человека (мышление называют "сущностным свойством человека"), следовательно разумно предполагать, что у вас есть мышление.


определить наличие мышления, находясь вне мыслящей системы, крайне проблематично, если не невозможно

… что не помешало авторам статьи перевода (в оригинале используется слово insight) говорить о мышлении.

НЛО прилетело и опубликовало эту надпись здесь
Вот именно, «наиболее вероятно». Но де-факто, у вас нет никакого повода утверждать

Повод — есть. Вот формального доказательства нет. А повод — есть.


В том, что «мышление — это познавательная деятельность человека», кроется глубочайшая ошибка. Это слишком узкое определение

Я согласен, что это неудачное определение. Но другого пока нет.


очевидно, что оно явно потребует пересмотра в ближайшее время

Да уже потребовало. А толку-то — другого определения все равно пока нет. Я с удовольствием буду им пользоваться, когда оно появится.

я вполне мог бы оказаться андроидом, который ведёт себя в точности как человек, двигается как человек, разговаривает как человек, но не обладает самосознанием и мышлением

Есть подозрение, что это невозможно. Правильный ответ на любой вопрос о понятии "Я" с заведомо неизвестной информацией подразумевает самосознание. Ну вроде "Где ты сегодня был?" или "Я тебе еще не рассказывал про эту книгу?".

Я вполне могу представить диалоги через 2-4 года вид
— Так, ты опять возил мою жену непонятно куда? Ну-ка, SuperCar, где ты сегодня был?
— Посещенные места за сегодня: Дом, Работа жены, Кафешка, ул. Лизюкова 12, Дом
Просто автопилотdriver assistant с голосовым интерфейсом типа Алисы отвечает на запрос хозяина.

— Ок, Гугл. Я смотрел фильм Челюсти-13? Я говорил, он мне понравился?
— Да, фильм был куплен 3 января прошлого года. Вы поставили ему оценку 9 из 10.
— Не, Маша, не видел, да, давай посмотрим. В пятницу вечером? У тебя? Отлично!
Просто история активностей в Сети. Написать такого чат-бота, наверное, можно уже сегодня.

И для обоих диалогов самосознания не требуется.

P.S. Если вопрос «Где ты сегодня был?» задан женой в 3 часа ночи субботы, то правильного ответа нет, даже если самосознание (или его остатки) присутствует ;-)
И для обоих диалогов самосознания не требуется.

Почему?


Просто история активностей в Сети.

По условию он ведет себя в точности как человек. Всегда и везде, при любых вопросах.

Почему для моих диалогов не требуется самосознание ИИ? Потому что их ответы реально запрограммировать на текущем уровне развития, без построения сильного ИИ.

По условию он ведет себя в точности как человек. Всегда и везде, при любых вопросах

Как минимум на те вопросы, которые вы привели в качестве примера, может ответить продвинутый бот, без самосознания. Я привел контрпример на фразу
Для ответа на любые вопросы<...>, например «Ты где был?», нужно самосознание
Так вот, для ответа на этот вопрос самосознание не нужно. Значит, ответ не на каждый вопрос «о понятии „Я“ с заведомо неизвестной информацией» будет подразумевать самосознание. Более того, в P.S. я привел пример, когда существо с самосознанием не может дать ответ на ваш вопрос.

Возможно, я не смог понять истинный смысл фразы. Вы можете сформулировать по-другому?
Почему для моих диалогов не требуется самосознание ИИ? Потому что их ответы реально запрограммировать на текущем уровне развития, без построения сильного ИИ.

А с чего вы взяли, что данный алгоритм не будет самосознанием сам по себе?

Потому что текущий голосовой помощник Гугла не является самосознанием сам по себе. Или вы не согласны?
Если вы думаете, что Алиса и Кортана обладают самосознанием, какие ваши аргументы?
Потому что текущий голосовой помощник Гугла не является самосознанием сам по себе.

  1. Он не решает указанные задачи.
  2. Почему вы считаете, что он не обладает самосознанием? Как определить, что обладает? По каким критериям это можно будет обнаружить?
1. Я хотел бы убедиться, что мы говорим об одном и том же.
Он не решает указанные задачи
Указанные задачи — это распознавание и ответ на два вопроса «Где ты, мой автомобиль, был» и «Я смотрел этот фильм? Он мне понравился?». Все верно?
2. У меня нет ответа на ваши вопросы. Я не специалист по (само)сознанию и определению разумности. С другой стороны, я не видел статей, которые бы всерьез обсуждали, что помощник Гугла или Алиса от Яндекса обладают самосознанием.
Возможно, я пропустил и у вас есть ссылки на серьезные статьи по теме?
Может быть, у вас есть аргументы, показывающие что голосовые помощники обладают сознанием? Более того, не просто сознанием, но и осознают себя?!
НЛО прилетело и опубликовало эту надпись здесь
Указанные задачи — это распознавание и ответ на два вопроса «Где ты, мой автомобиль, был» и «Я смотрел этот фильм? Он мне понравился?». Все верно?

Это способность вести диалоги, как вы указали выше.


С другой стороны, я не видел статей, которые бы всерьез обсуждали, что помощник Гугла или Алиса от Яндекса обладают самосознанием.

То есть, наличие статей, где кто-то что-то написал — это и есть критерий?


Может быть, у вас есть аргументы, показывающие что голосовые помощники обладают сознанием? Более того, не просто сознанием, но и осознают себя?!

А есть какие-то аргументы, показывающие, что ads83 обладает сознанием? Более того, не просто сознанием, но и осознает себя? Какие-то статьи кто-то написал, в которых обсуждалось наличие сознания у ads83?

Уважаемый Druu, я стараюсь вести диалог конструктивно. Я рассчитываю, что в дискуссии услышу неизвестные мне аргументы, лучше пойму проблематику и, возможно, изменю точку зрения. В частности, стараюсь отвечать прямо отвечать на поставленные вопросы. Также я ожидаю, что вы будете действовать доброжелательно и в ходе обсуждения будете не только отвергать мои аргументы, но и представлять свои.

Мне не нравится, когда на мой вопрос вы отвечаете вопросом и не добавляете ценности к обсуждению. Я не готов продолжать дискуссию в таком ключе.
Мне не нравится, когда на мой вопрос вы отвечаете вопросом и не добавляете ценности к обсуждению.

Окей, можно переформулировать:


Может быть, у вас есть аргументы, показывающие что голосовые помощники обладают сознанием? Более того, не просто сознанием, но и осознают себя?!

Аргументы в пользу обладания такого голосового помощника сознанием в точности те же, что и аргументы в пользу обладания сознанием ads38 или Druu.

Смотрите, как я вижу наш диалог.
Сначала вы спросили Как определить, что такой бот обладает самосознанием? и По каким критериям это можно обнаружить?, на что я ответил, что у меня нет ответа на этот вопросы, и спросил ваше мнение по этому поводу. Вы ответили, что определить можно так же, как у меня или у вас.
Я ценю, что вы прилагаете усилия и улучшаете формулировки. Но пока не понимаю, к чему вы клоните :)
Вы ответили, что определить можно так же, как у меня или у вас.

Так и чем вас этот ответ не устраивает? Вы же уверены, что вы и я обладаем сознанием? Значит, у вас есть какой-то критерий, вы его применили. Примените тот же критерий к ботам.

Потому что их ответы реально запрограммировать на текущем уровне развития, без построения сильного ИИ.

Так то, что сейчас можно запрограммировать, не будет всегда вести себя в точности как человек. Вопросы я приводил в том контексте, и нет смысла использовать их в другом. Можно еще ответы в обычном скрипте захардкодить, и какое-то время они будут соответствовать действительности. Это ничего не доказывает и не опровергает.


Но даже на них боты в вашем примере не всегда будут давать нужные ответы. Например, если адреса не будет на карте, SuperCar не сможет описать место своими словами "ну там возле того поворота, где мы тогда проезжали".


Как минимум на те вопросы, которые вы привели в качестве примера, может ответить продвинутый бот, без самосознания.
Так вот, для ответа на этот вопрос самосознание не нужно.

Нужно. Иначе отвечать правильно он будет не всегда.


Что вы подразумеваете под самосознанием? Даже у этого SuperCar-а есть зачатки самосознания, потому что у него есть информационный объект "Я", с которым связывается положение на карте.

> Даже у этого SuperCar-а есть зачатки самосознания, потому что у него есть информационный объект «Я», с которым связывается положение на карте.

Почему именно «Я»? Может это объект «этот суперкар», который транслируется в слово «я» при выводе. И «этот суперкар» стоит в одном ряду и не отличается от «этой улицы», «этого дома» и т.п., ну кроме того, что с ним связана история местоположений и действий.

Так неважно, как его назвать, "Я", "I", "этот суперкар". Суть одна, объект обозначающий самого себя.


А чем, по-вашему, отличается человеческое "Я"? Это тоже один из объектов, распознаваемых во всей входной информации.

А вы уверены что оно обозначает самого себя?

У управляющего алгоритма бортового комьпютера авто может совершенно не быть связи («понимания») что авто которым он управляет(«этот автомобиль») и есть он сам. У него может просто не быть информации о том, что он является частью этого авто.
Более того он может и по факту не быть ее — например ПО и БД крутятся на каком-нибудь сервере в облаке (представим что у нас надежная и очень быстрая связь с покрытием стремящимся к 100% — тогда это будет не только возможно, но и логично/эффективно, чем выделенный мощный выч. блок пихать в каждое авто, где он будет работать от силы 5% времени). А в самом автомобиле только сенсоры и исполнительные устройства.
Более того он может и по факту не быть ее — например ПО и БД крутятся на каком-нибудь сервере в облаке

Это неважно, имеют значение только информационные связи. Если он всегда ведет себя как человек, значит где-то на сервере есть понятие "Я".


У него может просто не быть информации о том, что он является частью этого авто.

Значит у него нет понятия "Я". И отвечать на вопросы как ответил бы человек он будет не всегда.

Я не согласен со сравнением «отвечать как человек». Почему принципиально другой интеллект должен думать так же, как люди? Вы признаете самосознание только у копии/аналога?

Почему вы говорите «ответил бы как человек»? Я точно знаю, что люди думают (и отвечают) очень, очень по-разному. Даже на относительно простой вопрос «ты где был» люди ответят по-разному. Предложите способ определить «это ответ человека» на любые вопросы.

Потому что отвечал я на этот комментарий. Там по условию андроид ведет себя в точности как человек. Неважно как мы пришли к этому выводу, если пришли, значит андроид правильно отвечал на вопросы, касающиеся осознания себя и обработки новой информации, значит у него есть соответствующие механизмы.

Если вы хотите, чтобы программа вела себя в точности как человек, нам стоит вернуться к тесту Тьюринга. Это единственный известный мне четко сформулированный критерий «вести себя как человек» (в контексте общения). Если у вас есть другие, более полные критерии «как человек», я буду рад их выслушать. Если возможно, со ссылками :)
боты в вашем примере не всегда будут давать нужные ответы.
отвечать правильно он будет не всегда.
Вы пропустили мой пример, когда человек (у которого, мы считаем, само- и просто сознание есть) не может правильно ответить на ваш вопрос. Я хочу подчеркнуть, что ответ-не ответ даже на один вопрос не может быть критерием сознательности. Вы же предлагали еще более сильную формулировку «на любой/каждый вопрос из ряда».
Что вы подразумеваете под самосознанием?
Я не специалист по сознанию, разумности, когнитивистике и мозгу человека. Поэтому мое понимание может быть наивным, и если вас не устроит — предлагайте свое.
Самосознание — это когда существо имеет сознание и осознает себя как индивидуальность. В частности, может выделить себя из толпы похожих объектов, узнать себя в зеркале/телевизоре. Иметь сознание — значит иметь разум (упрощенно — уметь делать выводы) и уметь рефлексировать (понимать, что происходит с собой, замечать процесс мышления).
По этому определению, младенцы не имеют самосознания, т.к. узнают себя в зеркале в возрасте года или больше.

Даже у SuperCar-а есть зачатки самосознания
IMHO, для само-сознания должно быть просто сознание — некая высшая нервная деятельность. Видимо, вы понимаете сознание как-то иначе. Предлагаю и вам дать определение, что же это такое.

P.S. Как по-вашему, чат-боты имеют зачатки самосознания? Они
  • умеют назвать себя по имени
  • опознают, когда к ним обращаются
  • могут помнить, что сказал о них собеседник и что сказали они

Зачем куда-то возвращаться? Я отвечал на конкретный пример — андроид, который во всех ситуациях ведет себя так же как человек. По условию задачи это уже известная информация, неважно, как мы это определили.


Вы пропустили мой пример, когда человек не может правильно ответить на ваш вопрос.

Это про жену? Я его проигнорировал, потому что посчитал шуткой. Правильный ответ в смысле точный в данном случае это "в баре" или "у любовницы", правильный в смысле "как человек" это например "извини, дорогая". Этот пример ничему не противоречит.


Самосознание — это когда существо имеет сознание и осознает себя как индивидуальность.

Ну вот SuperCar подходит под эти определения. Понимает, что с ним происходит (в некоторой степени), отличает себя от других автомобилей. "Узнать себя в зеркале/телевизоре" не является определяющим, до появления этих вещей у людей уже было самосознание.


Как по-вашему, чат-боты имеют зачатки самосознания?

Для этого нужно уметь определять произвольные объекты во входной информации и уметь выделять себя среди них. Вряд ли он сможет каким-то образом определить объект "другой чат-бот". Захардкоженное понятие "Я" можно считать таковым, но без всего остального касающегося интеллектуальной деятельности оно не имеет смысла.


Видимо, вы понимаете сознание как-то иначе. Предлагаю и вам дать определение, что же это такое.

У меня есть статья на эту тему, если интересно, прочитайте.

НЛО прилетело и опубликовало эту надпись здесь
вы подвержены сразу двум когнитивным искажениям

Это не когнитивные искажения, а следствия используемой терминологической системы.


Да вы по сторонам посмотрите. :) Ух, далеко не каждый.

В моем определении мышления — каждый (здоровый, но не суть).


(и нет, это не смешно)

«Каждый человек обладает мышлением»

Пару лет назад слышал мнение, что такой постулат здорово мешает придумывать годные метрики для разумности и сознательности.
Цепочка примерно такая: Вот хочу я Нобелевку и допустим, за год-два-десять я и мои ученики разработаем хорошую методику измерения разумности. С числовым измерением, диапазонами вида "круче Эйнштейна", "лучше 30%", "умнее дельфина". Но ведь люди-то разные! Очень. Какая-нибудь звезда обидится на "обученного слона", зоо-защитники потребуют избирательных прав для умного орангутанга, а кто-то вступится за аборигенов, у которых нет абстрактного мышления и поэтому по шкале они будут на уровне горилл.
И вместо Нобелевки получу я кучу исков. Нее, возьмусь-ка я лучше за другую тему. О! Как договориться с ИИ не убивать нас — это ж почти докторская!


P.S. Это не затмевает того факта, что определение сознания и разума довольно нетривиальная штука. Просто уменьшает число людей, готовых серьезно вложиться в тему.

То есть стоит продемонстрировать поведение, непохожее на компьютер — и его сразу объявят мышлением?

Нет, серьезно. На основании чего делается утверждение «программа демонстировала мышление»?


Это сложности перевода. В оригинале звучит как «It was humankind’s first glimpse of an awesome new kind of intelligence.» Трудно подобрать подходящее в данном конексте слово, надо что-то вроде «навыки присущее разуму» или «разумность». Была же даже статья на эту тему, где автор вполне здраво объяснял, почему неправильно переводить AI, как «искусственный интеллект».
В оригинале звучит как «It was humankind’s first glimpse of an awesome new kind of intelligence.»

Если быть совсем точным, эта фраза в оригинале звучит как "Most unnerving was that AlphaZero seemed to express insight", равно как как и в подводке используется слово insight, а не "мышление".


Ну да, трудности перевода (хотя про инсайт были бы похожие аргументы); это что, повод делать плохие переводы?


Была же даже статья на эту тему, где автор вполне здраво объяснял, почему неправильно переводить AI, как «искусственный интеллект».

Да про это прямо в википедии написано: "В английском языке словосочетание artificial intelligence не имеет антропоморфной окраски, которую оно приобрело в традиционном русском переводе: слово intelligence в используемом контексте скорее означает «умение рассуждать разумно», а вовсе не «интеллект» (для которого есть английский аналог intellect)".

Аргументы про инсайт не подошли бы к оригиналу, так как там стоит «seemed». Автор оригинала не говорил, что AlphaZero демонстрирует интеллект, а лишь про то, что поведение AlphaZero выглядят [для человека] так, будто машина понимает [суть]. Но переводчик выкинул слово «seemed» из перевода.
Сравните:
Most unnerving was that AlphaZero seemed to express insight
А самое неприятное было в том, что AlphaZero демонстрировала мышление.
Аргументы про инсайт не подошли бы к оригиналу, так как там стоит «seemed».

Там больше одной фразы, прямо скажем. Рано или поздно вопрос определений все равно бы возник. Но переводчик, конечно, усугубил.

То есть стоит продемонстрировать поведение, непохожее на компьютер — и его сразу объявят мышлением?

На самом деле мне вспомнилось какое-то рассуждение о том, что пока созданные нами вещи (автомобили, компьютеры) ведут себя так, как мы ожидаем — мы не их не наделяем никакими способностями, но вот стоит им начать вести себя немного непредсказуемо (авто не заводится, комп завис), и мы начинаем даже разговаривать с ними ("будь проклят тот день когда я сел за баранку этого пылесоса" ;) — мы наделяем их "сознанием". По-моему, довольно интересное наблюдение.


Еще и поэтому критикуют тест Тьюринга — этот тест не определяет, может ли машина мыслить, а он определяет, может ли она имитировать человеческое поведение.


Поэтому когда говрят в быту что машина мыслит часто имеют в виду что она демонстрирует поведение похожее на человеческое (== нетипичное для машин).

На самом деле мне вспомнилось какое-то рассуждение о том, что пока созданные нами вещи (автомобили, компьютеры) ведут себя так, как мы ожидаем — мы не их не наделяем никакими способностями

Ну, на самом деле — нет. Я часто говорю о работающей системе "думает, делает вывод, предсказывает". Всегда в переносном смысле, но все равно.


Еще и поэтому критикуют тест Тьюринга — этот тест не определяет, может ли машина мыслить, а он определяет, может ли она имитировать человеческое поведение.

Ну так вроде в Википедии и написано: "a test of a machine's ability to exhibit intelligent behavior equivalent to, or indistinguishable from, that of a human".

НЛО прилетело и опубликовало эту надпись здесь
Написано-то написано, а толку?

Вот и мне интересно — зачем критиковать тест за то, чего он не обещает?


Предложил бы кто-нибудь тест, действительно способный это определить.

Определить что? Способность к мышлению? Для этого надо дать работающее определение мышления.

Среди панд или других "краснокнижных" видов не было ретроградов и неолуддитов, требовавших запретить те или иные новые разработки "по этическим соображениям" или "из соображений безопасности".


Среди людей же — таких, увы, немало. Вон, к примеру, сколько шуму поднялось недавно после сообщения о рождении в Китае генномодифицированных детей. Потому и с "супермозгом" вряд ли все пройдет гладко. Ну а для самоосознающего "супермозга" решение устранить помеху/угрозу — будет вполне логичным.

ну у человечества только два выхода, или генетически модифицровать свои мозг, или создать ИИ его превосходящий. У обоих вариантов кучи плюсов и минусов.
Но факт в том, что сейчас человек со средним мозгом уже физически НЕ МОЖЕТ понять, как работают те или иные вещи. Это все равно что просить второклассника решать ну например квадратные уравнения. Уже сейчас верхняя грань разработок доступна примерно 5% людей, чей интеллект позволяет воспринять ту же информацию. И то, они убивают на это всю жизнь, ведь для освоения всего необходимого пласта информации им требуется 25-30 лет. И это один пласт, кусок знаний и весьма небольшой от всей совокупности знаний человечества. И дальше будет только хуже — чтоб хоть как-то вместить количество необходимых знаний в пределы человеческой жизни идет активное дробление пласта знаний на узкие сектора специализаций. Но и у такого дробления есть предел. Предел скорости коммуникации людей с разными специализациями. В какой-то момент мы просто упремся в проблему и не сможем ее преодолеть без кардинального апгрейда системы.
А вот что лучше — ИИ никак не связанный с человеком и способный экспоненциально наращивать мощности очень быстро, или свой геномодифицированный мозг, с биологическими ограничениями… В какой-то момент мы скатимся к тому, что придется или выращивать в пробирках чистые мозги размером со слона, чтоб они уже постигали всю ту бездну знаний, что до этого осиливали лишь сотни людей с гм мозгом, или строить полноценный ИИ, превосходящий наш разум и способный решить проблемы.
ну у человечества только два выхода, или генетически модифицровать свои мозг, или создать ИИ его превосходящий

"Два выхода" из какой, собственно, ситуации?

В какой-то момент мы скатимся к тому, что придется или выращивать в пробирках чистые мозги размером со слона, [...] или строить полноценный ИИ, превосходящий наш разум и способный решить проблемы.

Что, в принципе, одно и тоже

"ну у человечества только два выхода,"
Неолуддиты этого не понимают. И упорно призывают к запретам/ограничениям.


"А вот что лучше — ИИ никак не связанный с человеком и способный экспоненциально наращивать мощности очень быстро, или свой геномодифицированный мозг, с биологическими ограничениями…"


Сочетание — ИИ-супермозг и биокиборги, им управляемые :)

Есть подозрение, что «чистый мозг размером со слона» даже если его каким то образом получиться создать (решить проблему прочности и теплоотвода), обучить (то есть дать ему сенсорные и двигательные возможности) будет в итоге редкостным тормозом. Скорость прохождения возбуждения по аксонам невелика.

Не очень понятно, почему ИЛИ? Что мешает этим двум процессам происходить одновременно?
Зачем для обучения давать ему двигательные возможности?..
Компьютерный ИИ неплохо самообучается без всякого передвижения. Можно просто закачать начальные данные, сказать «анализируй», а если мозгу нужно будет что-то «пощупать» в плане эксперимента — так для этого будет специальный интерфейс общения с ним. Получаем запрос, через некоторое время возвращаем ему ответ. Либо создать для него песочницу-эмулятор реального мира (сложная задача, но выполнимая, если речь не идёт о моделировании каждого атома на большом куске пространства).
Ну для общего развития и мотивации, среди парализованных с детства нет людей с высоким IQ.

Эмулятор это метод. Пока я знаю только об эмуляции для ИИ простой комнаты, с простыми предметами — шар, куб, обруч, конус. Эмулятор прям всего реального мира, пусть и не одновременно и не поатомно — задача мягко говоря сложная, не говоря уж о том, что все еще нету работающего нейроинтерфейса.
среди парализованных с детства нет людей с высоким IQ.

Рубен Гальего?
Есть подозрение, что «чистый мозг размером со слона»


Часто легаси софт запускают в виртуальных машинах, и часто он в них работает куда быстрее, чем на старом железе. Берём человеческий мозг, сканим коннектом, загружаем его в виртуальную машину, запущенную на крутом компьютере (с криптоускорителями и подобным).
Или берём мозг, размером со слона… Заодно в виртуальной машине тюним химию таким образом, чтобы сигналы между аксонами проходили реактивно
И то, они убивают на это всю жизнь, ведь для освоения всего необходимого пласта информации им требуется 25-30 лет.

Любой токовый PhD знает последний край науки на момент выпуска. Это на открытие новых принципов и законов убиваются годы, объяснение, когда они уже открыты, занимает от силы пару лекций. Многие ученые начинали выдавать результаты еще в универе, и я с ходу не вспомню известных ученых, которые не генерировали новое знание до 40 лет.
НЛО прилетело и опубликовало эту надпись здесь
В США в среднем 12 лет, хотя толковый наверно получит раньше среднего. В Белоруссии 4-5 на специалиста + 1-2 магистратуры + 2-3 аспирантуры, до 10 лет.
НЛО прилетело и опубликовало эту надпись здесь

Простите, троллей не кормлю.

НЛО прилетело и опубликовало эту надпись здесь
Вообще, публикацию по Alpha Zero достаточно сильно критиковали. Основные замечания к статье: а) сравнивали со Stockfish достаточно старой версии, б) во многих играх у Stockfish отключали дебютную книгу, в) были вопросы к балансу вычислительных ресурсов, так как Stockfish работает на CPU, а Alpha Zero на GPU, г) в статье были приведено лишь небольшое количество сыгранных партий.

Чтобы разобраться, что на самом деле из себя представляют нейросетевые шахматные движки, был организован проект lczero.org. Это попытка сделать полностью открытый нейросетевой движок по принципам alpha zero.

И тут открылись очень интересные особенности. Во-первых, движок оказался на самом деле очень сильным. Сейчас он как раз обыгрывает Stockfish в суперфинале на TCEC: tcec.chessdom.com. Но во-вторых, у него открылось огромное количество слабых мест. Можно поглядеть примеры партий, где он просто не видит элементарных вещей. Например, концепцию «бешеной ладьи» он вообще пока не может понять.
> Сейчас он как раз обыгрывает Stockfish в суперфинале на TCEC

Это ещё не суперфинал. Это тестовый матч со Stockfish 8, с идеей смоделировать те условия, на которых играла AlphaZero. Суперфинал против Stockfish 10 начнётся примерно через месяц.

Есть еще тоже опенсорсный ELF от Facebook.

Тут недавно в английском разделе мелькала годная публикация на эту тему.
https://habr.com/ru/post/436458/
Я склонен согласиться с её посылом. Интеллект — это способность решать незнакомые задачи. Способность всё лучше решать одну и ту же задачу принципиально не слишком отличается от полного перебора.

Чтение или перевод это вполне знакомые для людей задачи, но это все же проявление интеллекта.

Способность всё лучше решать одну и ту же задачу

И чем отличается способность решать незнакомые задачи от способности всё лучше и лучше решать одну и ту же задачу: "Решить произвольную задачу".

Это уже метазадача)
Как перевести мета-задачу в просто задачу уже довольно давно известно. Ещё Гёдель этим занимался.
А пусть-ка ваш Гёдель решит проблему останова)

Когда появляется приставка «мета», задачи часто имеют печальную особенность становиться неразрешимыми или вообще вести к парадоксам одними своими формулировками.

Хорошо, вернёмся к началу. Пусть у нас есть алгоритм I (не обязательно Тьюринг-вычислимый). На входе у него текущее состояние S и задача J. На выходе — алгоритм решения задачи J и новое состояние / сообщение, что за 1000 секунд решение не найдено и новое состояние / получилось доказать, что решения нет и новое состояние.


Как мы определим, что это — интеллект? 1. Дадим ему задачу "Новая ли задача J?"? 2. Используем наш собственный интеллект, чтобы определить, что это новая задача? 3. Переберём все алгоритмы уже выданные алгоритмом I?


  1. Любой алгоритм, решающий какое-то подмножество задач становится интеллектом, если дописать ему условие выдавать "да" на задачу "Новая ли задача J".


  2. Циклическое определение интеллекта через интеллект.


  3. Мы должны как-то преобразовывать эту потенциально новую задачу, чтобы скормить её существующим алгоритмам. Воспользуемся своим интеллектом? Или дадим задачу преобразовать эту задачу алгоритму I? См. пункты 2 и 1.


Как мы определим, что это — интеллект?
Дадим ему задачу доказать, что он — интеллект.
println!(«Так как люди ещё не пришли к единому мнению, что такое интеллект. Определим интеллект как этот алгоритм. QED.»)
Так можно докопаться до любого слова с не до конца ясной семантикой. То есть — до любого слова естественного языка. Однако это не значит, что слова естественного языка бессмысленны.

Можно спорить о том, допустим, является ли манга разновидностью комикса. Однако найдётся довольно много вещей, которые разновидностью комикса точно не являются. Клубень картофеля. Вертикальная асимптота. Тропосфера.

Я к тому, что по поводу вашего алгоритма люди к более-менее единому мнению таки придут)
Я к тому, что по поводу вашего алгоритма люди к более-менее единому мнению таки придут)

Ага. А если использовать основанное на интуиции определение доказательства наличия интеллекта, то получим тест Тьюринга. Для прохождения которого нужно решать одну задачу — имитировать речевое поведение человека. Или это не одна задача, а множество задач одного вида "ответить на реплику"? Или множество задач разных видов "ответить на конкретную реплику"?


В общем, не вижу особого смысла придумывать определения интеллекта, отграничивающие существующие реализации ИИ от человеческого И. Лучше уж находить способы реализации того, что люди умеют делать, а ИИ ещё нет — заодно получается конструктивное определение интеллекта.

Так какую «одну и ту же задачу» тут сеть решала?
И как?

Сеть решать одну какую-то конкретную задачу не учили (не программировали и даже обучающих выборок с играми других людей/машин для примера не давали). Дали правила игры в шахматы — и она научилась играть в шахматы, причем научилась быстро и играет лучше всех в мире.

Дали правила игры в Го — научилась отлично играть в Го, так же лучше всех и лучше чем играла предыдущая версия (которая училась не сама, а ее учили с использованием внешних данных, причем учили в сотни раз дольше).
Дали правила игры в Сеги — научилась отлично играть в Сеги.

Задачи то как раз были изначально «незнакомые». Все что давали программе — это правила конкретной игры и цель, которой нужно достигнуть. А дальше все сама.

Так что если задача одна — то это задача класса «учиться решать задачи». Пока не в общем виде конечно, т.е. вообще любые задачи. А из некоторого довольно узкого класса задач (логические игры с относительно простыми правилами, но слишком сложными для решения их методом перебора).
Но именно быстро учиться решению новых задач. Что одно из ключевых элементов интеллекта.
Вот только опыт научившейся играть в сеги сети никак не может использоваться для игры в шахматы. У человека по-другому. Или например, нельзя сеть для го легко научить решать цуме-го, хотя для человека все очевидно.
У человека по-другому.

Гроссмейстер сразу может играть в го на уровне 9-го профессионального дана?


Или например, нельзя сеть для го легко научить решать цуме-го

Вроде бы никто не спорит, что AlphaZero это ещё не полноценный универсальный интеллект. Люди иногда умеют замечать, что задачу можно сильно упростить и свести к использованию уже обученной нейросетки в своей голове, или упростить до такой степени, что можно использовать медленный универсальный перебор вариантов. Существующие сети этого не умеют. Но это не значит, что они не имеют никакого отношения к интеллекту, и не будут использоваться как составная часть универсального ИИ.

Где по другому? Чемпион мира по Го не будет играть на уровне гроссмейстера в шахматы. Если вдруг никогда раньше в шахматы вооще не играл, то сначала вообще никак не сможет — для начала хотя бы нужно будет изучить правила и несколько раз попробовать. После этого будет играть чуть лучше любителя — а чтобы играть на уровне чемпиона по шахматам, ему нужно будет время сравнимое с тем, которое потратил когда учился играть в Го на уровне чемпиона.

Опыт накопленный по конкретной игре для этого алгоритма действительно бесполезен. А вот формализованный «опыт» о том как быстро учиться новым еще неизвестным играм — очень полезен, хотя он был получен как побочный продукт обучения конкретной игре.
Насколько полезен, что новая программа используя этот опыт (в которую из старой перекочевал не сам опыт по конкретный игре — Го, а только опыт о том, как быстро и эффективно учиться) освоила Го, Шахматы и Сеги с нуля и до намного более высокого уровня, быстрее/с меньшими затратами ресурсов чем предыдущая тренировалась играть в одну конкретную игру.
НЛО прилетело и опубликовало эту надпись здесь
Сложно сравнивать нарды и покер с шахматами, го и другими играми с полной информацией, как по мне.
А по поводу возможности сильного игрока в шахматы сильно играть в другую игру — вот, к примеру, Рашид Гибятович Нежметдинов — международный мастер по шахматам, мастер спорта по шашкам. К сожалению, в шахматах так и не смог подняться до гроссмейстера, хотя играл на гроссмейстерском уровне.
Или вот Василий Иванчук:
В 2010-х годах увлёкся шашками. В 2015 году участвует в своем первом международном турнире по международным шашкам — Heerhugowaard Open 2015, где участвует 25 международных гроссмейстеров, а в 2016 на чемпионате Европы.

Спортсмены — шахматисты и шашисты.
НЛО прилетело и опубликовало эту надпись здесь
Дали правила игры в шахматы — и она научилась играть в шахматы, причем научилась быстро

Миллионы итераций это разве быстро? Лучшие шахматисты становятся лучшими за гораздо меньшее число повторений.


не программировали и даже обучающих выборок с играми других людей/машин для примера не давали

"Дать правила" это вариант программирования. В Wiki прям так и написано "AlphaZero has hard-coded rules". Неважно, свои игры или чужие, если есть запрограммированная функция оценки.


Это не совсем то же самое, что сказать человеку "конь ходит вот так, ладья вот так". Проявление интеллекта именно в извлечении понятий из входной информации — названия фигур, возможные ходы, структура и ограничения доски.
Тем же образом человек может выявить повторяющиеся ходы, описать текстом и дать название (атака, гамбит). В AlphaZero (насколько я понимаю) любая последовательность ходов это часть нейросети, из которой нельзя выделить главное и описать словами.


Так какую «одну и ту же задачу» тут сеть решала? И как?

Двигать фишки в соответствии с заложенными правилами, максимизируя заложенную функцию оценки.

Лучшие шахматисты становятся лучшими за гораздо меньшее число повторений.

Лучшие шахматисты ещё и растут и обучаются (пока минимум 12 лет 7 месяцев до уровня гроссмейстера).


Лучшие шахматисты становятся лучшими за гораздо меньшее число повторений.

Но они не становятся лучшими. Сейчас сделать ничью против Leela Chess Zero с форой в пешку — это большое достижение.


Двигать фишки в соответствии с заложенными правилами, максимизируя заложенную функцию оценки.

Задача человека: напрягать мышцы, максимизируя функцию оценки, заложенную генами и обществом.


Да, нейросети много чего не умеют, но думать, что можно вот просто так взять и отделить интеллект от неинтеллекта тоже неверно.

Лучшие шахматисты ещё и растут и обучаются

Ну а как это влияет на игру в шахматы? Люди, не играющие в шахматы, тоже обучаются, но это не делает их хорошими игроками в первый раз.


Но они не становятся лучшими. Сейчас сделать ничью против Leela Chess Zero

Так не вопрос, сколько надо повторений для AlphaZero или Leela, чтобы они играли на уровне лучших людей? Тоже миллионы, просто чуть поменьше.


максимизируя функцию оценки, заложенную генами и обществом

Вот в последних словах и начинается интеллект. Каким образом человек может построить функцию оценки и все необходимые для нее понятия, пользуясь только внешней информацией?

Я не слышал, чтоб кто то стал лучшим шахматистом (и даже просто разрядником) прочитав правила и играя сам с собой. А игра с партнером, ровно как и по учебнику — это уже обучение с учителем и требует куда меньше итераций.

Строго говоря, игра человека с партнером это обучение с подкреплением. Ок, сколько надо итераций пусть даже с учителем, чтобы сеть играла на уровне гроссмейстера, есть какие-то материалы на эту тему?

Миллионы итераций это разве быстро? Лучшие шахматисты становятся лучшими за гораздо меньшее число повторений.

Можно представить себе упрощенную аналогию — обычная глубокая сверточная сеть для распознавания объекта. Ее можно обучить для распознавания одного класса и она будет работать хорошо. А можно обучить для распознавания миллионов классов. И если вы добавите еще один класс, то вам нужно будет ее просто дообучить, что займет гораздо меньше времени чем обучение с нуля. Это упрощенная аналогия, но, думаю, она близка к истине.

Извините, я не понял что чему соответствует в этой аналогии. Тут нет миллионов классов, в нейросети уже захардкожены базовые понятия, нужные для игры в шахматы. И человек и машина при обучении узнают одинаково новую для них информацию.

Здесь нет миллионов классов, поэтому я и написал, что это упрощенная аналогия. Я просто думаю, что если существует сеть, которая умеет решать N похожих задач в рамках какойто топологии, то научить ее решать еще одну задачу можно быстрее, так как уже существует предобученный экстрактор фич, в задачах детекции, распознавания, сегментации это так. Да даже топологию сетки можно менять в процессе обучения, насколько я понимаю. Я не специалист в том, как устроена сеть в игре в шахматы, то, думаю, этот принцип там тоже работает.
Миллионы итераций это разве быстро? Лучшие шахматисты становятся лучшими за гораздо меньшее число повторений.

А почему считать нужно в итерациях? Потому что так удобнее?

Можно в часах — и тут превосходство кардинальное. Общее время тренировки измеряется в неделях, но вот уровень лучших среди людей был достигнут уже всего за несколько часов с момента начала обучения. Т.е. с полного нуля до уровня чемпиона мира — за несколько часов.
Это очень быстро, как ни крути.

Или в разрезе произведенных выч. операций — в мозгу их происходит гораздо больше. Правда с крайне низкой эффективностью с точки зрения решения конкретной задачи, но элементарных операций мозг выполняет на несколько порядков больше, чем в использовавшимся компьютерном железе. А достигнутый мозгом результат при этом — намного слабее.

Или даже в терминах затраченной энергии — там конечно кластер из неск. тысяч TPU при обучении трудился(для самой игры потом достаточно на 2 порядка меньших ресурсом), жрущий десятки кВт мощности при работе. Но за те несколько часов (нужных до достижения уровня чемпиона мира) энергии он израсходовал намного меньше, чем тратит человеческий мозг (не говоря уже про тело целиком — берем только мозг) за годы обучения необходимые до достижения уровня чемпиона.
Так что и в энергетическом выражении тоже очень быстро/эффективно обучение шло.
НЛО прилетело и опубликовало эту надпись здесь
А почему считать нужно в итерациях? Потому что так удобнее?

Потому что они не зависят от быстродействия, а показывают логику. Что если мы сделаем алгоритм, аналогичный человеку, и запустим его на железе AlphaZero? Он обучится быстрее, чем AlphaZero, по всем указанным вами параметрам.

> Он обучится быстрее, чем AlphaZero, по всем указанным вами параметрам.

Есть вероятность, что он тогда и играть будет также хорошо как и человек.
Нет, он не обучился бы быстрее. От него устанут ждать когда он хотя бы «проснется» и объяснять задачу, до убучения и дело не дошло бы. Т.к. железа этого уровня крайне мало для моделирования алгоритма аналогичного «вычислениям» происходящим в мозге.

Точнее из-за ограничений по объемам памяти это вообще невозможно. Но если бы не они, а только по выч. возможностями судить — это было бы минимум порядка на 3 медленнее реального времени у обычного живого человека. Т.е. много лет работы железа на самую первую интерацию — понять и запомнить правила игры и сыграть хотя бы 1 пробную партию. Это если предполагать перенос не только алгоритма но и всех общечеловеческих знаний, когда учиться нужно только конкретной игре.

Человеческий мозг давит вовсе не эффективностью алгоритмов мышления и обучения, а тупо количествами — имеющихся в распоряжении логических элементов и объемов памяти/связей между ними, намного превосходящим все возможности современного компьютерного железа.

Стоп-стоп. Я нигде не говорил, что он должен спать, или имитировать другие биологические особенности. Или иметь все знания, которые имеет человек. Я говорил о принципах обработки информации. Почему в AlphaZero правила заложены программно, а в этом интеллекте вы предлагаете обучать с нуля? Так же закладываем правила, но применяем алгоритм, который обучается за тысячи итераций.


Человеческий мозг давит вовсе не эффективностью алгоритмов мышления и обучения, а тупо количествами

Вы никаким количеством логических элементов в AlphaZero не добьетесь, чтобы он вместо миллионов итераций обучался на тысячах.

> чтобы он вместо миллионов итераций обучался на тысячах.

Вот, скажем, Магнус Карлсен поднял ELO с 2000 до 2800 за 10 лет. AlphaZero поднял ELO c 2000 до 2800 примерно за 100 тысяч итераций. 100 000 / 3650 ~= 27 итераций в день. Просмотреть интересные вариации в 27 партиях за день, вроде как в пределах возможностей человека.

Впрочем, вру. Одна итерация AlphaZero — это не анализ одной партии. Но и что происходит в мозгах при обучении тоже пока неизвестно, может быть люди подсознательно тысячи ходов генерируют, посмотрев на шахматную позицию.
Или даже в терминах затраченной энергии — там конечно кластер из неск. тысяч TPU при обучении трудился(для самой игры потом достаточно на 2 порядка меньших ресурсом), жрущий десятки кВт мощности при работе.

Надо же тогда еще учесть tdp во время игры. Если человек на ход тратит 25вт*длительность хода, то такие же ограничения и на альфазеро, это во-первых.


Во-вторых, при обучении 5000 tpu по 40вт энергопотребление будет выше в 8333 раза, чем у мозга, с-но один час обучения альфазеро идет примерно как год у игрока, так что тут альфазеро тоже в пролете, человек учится быстрее

Всё это очень благородно — fair play, равные условия. Но все эти игры — это подготовка к использованию ИИ в реальном мире. Никто не будет сажать управляющие системы на 25 ватт, или ограничивать им реакцию до возможностей человека, чтобы у работников-людей были равные возможности.


Кстати, сегодня в 21:00 GMT DeepMind будет демонстрировать систему, играющую в StarCraft 2: неполная информация, реальное время, ещё большее пространство поиска чем в Го. https://www.youtube.com/c/deepmind

НЛО прилетело и опубликовало эту надпись здесь
Интеллект — это способность решать незнакомые задачи.

Ну здрасьте, тогда, выходит, человек интеллектом не обладает :)

Ну развейте, что ли, свой оригинальный и провокационный тезис.

Человек не может решать незнакомые задачи, интеллект = умение решать незнакомые задачи => человек не обладает интеллектом


вроде просто все, чего тут раскрывать?


И это не мой тезис, это тезис комментатора выше. Я-то с ним как раз не согласен :)

Сейчас я приведу в пример какие-нибудь интегралы.
Вы скажете, что человек не умеет разгибать интегралы, пока его не научат.
Я скажу, что когда-то не было самого понятия интеграла, а потом появилось. И первому, кто проинтегрировал функцию, не у кого было этому научиться.
Вы скажете, что интегральное исчисление появилось не на пустом месте, а в результате решения серии задач, каждая из которых была более-менее знакомой.
В итоге сойдёмся на том, что «знакомость» — не бинарная характеристика, а мера вхождения в нечёткое множество.
Вы предложите уточнить, начиная с какой именно меры задачи считаются достаточно незнакомыми, чтобы их решение было признаком интеллекта.
Я скажу, что вы зануда.

Отлично, но нельзя рассуждать о терминологии (что вы и сделали в посте с определением интеллекта) и не быть занудой :)


Ну и да, альфазеро, формально, может учиться решать любые шахматоподобные игры. Это считается за "незнакомые"?

Занудство в рассуждениях о терминологии вредно в двух случаях:

1. Область знания, которой принадлежит термин, не готова к точным формулировкам и количественным оценкам, однако рассуждать «на пальцах» уже хочется.
2. Рассуждения происходят в комментах на хабре =)
Не могу одобрить вот это стремление начинать отбивать поклоны боженьке при звуках грома. «Программа демонстрирует мышление», ишь ты.
Видимо, психике свойственно приписывать человеческое тому, чего понять не получается.
Есть неплохая документалка AlphaGo, рассказывающая, как этот алгоритм победил Ли Седоля в матче из пяти игр. К сожалению, создатели фильма тоже отчасти не избежали этого дешевого соблазна поиграть на стремлении обывателя к очеловечиванию непонятного. Хотя вот они, разработчики, на камеру вам на пальцах пытаются объяснить, что магии никакой нет.
Тут ведь понимаете какая штука, в человеческой черепной коробке тоже никакой магии нет (ну, если не рассмотривать религиозную точку зрения).
скорее всего, вообще нигде магии нету в мире, тут я согласен)
тут, конечно, неплохо бы дать определение термину «мышление», чтобы уже от него плясать в вопросе, мыслит ли АльфаЗиро или нет. Моя претензия к статье не из области терминологии, а в том, что сознательно делается попытка поставить знак равенства между созданным конкретными людьми на сто процентов понятным (ок, не всем, но некоторым) алгоритмом, и далеко не на сто процентов понятным и гораздо более сложным устройством человеческого мозга. Я не говорю, что в мозге магия, но, очевидно, порядок сложности системы там абсолютно другой.
Вот такое
Она играла непохоже ни на один компьютер, интуитивно и красиво, с романтическим атакующим стилем. Она играла гамбиты и рисковала. В некоторых играх она парализовала Stockfish и игралась с ней.

Было похоже на то, будто бы AlphaZero ждёт, пока Stockfish после миллиардов перебранных комбинаций догадается, насколько безнадёжна её позиция, расслабится и мирно сдастся как поверженный бык перед матадором.

Это как раз «магия нейросетей». Сеть училась игре в шахматы, а не социальным взаимодействиям, и тем не менее люди готовы их увидеть даже там, где их в принципе быть не может. Сама идея «играться с оппонентом» лежит вне плоскости «максимально эффективной игры машины с машиной», ей просто не откуда взяться.
Это уже совершенно не этот алгоритм, а новый — Alpha Zero.
Не просто обновленная/отполированная версия. Совсем другой и учившийся принципиально по другому — без опоры на опыт и знания людей, с «чистого листа» из первичных принципов.

При этом сильно превосходящий не только всех живых игроков, но и собственно AlphaGo о котором рассказывается в фильме. Alpha Zero обыгрывает AlphaGo «в сухую» не давая ей шанса — турнир между ними закончился со счетом 100:0. Хотя ресурсов на самообучение потратила наоборот на порядок меньше.
Ни в статье, ни в комментариях IMHO не сказано главного о нейросетевых игровых программах. А именно то, что в основе их лежит старый добрый алгоритм Monte Carlo Tree Search (MCTS), в который ищет лучший ход в текущей позиции на основе запуска множества розыгрышей, каждый ход в котором выбирается случайно, до тех пор, пока розыгрыш не завершится матом/патом/ничьёй/повторением позиции. После каждого розыгрыша ищется первая ранее не рассмотренная позиция, информация о ней и результате розыгрыша добавляется в базу, по уже имеющимся в базе позициям, встретившимся в текущем розыгрыше, обновляется статистика. Это позволит при будущих розыгрышах рассматривать чаще более перспективные ходы. По результатам множества розыгрышей выбирается ход, который в текущей позиции обладает лучшей статистикой по выигрышам.
Команда AlphaZero улучшила алгоритм MCTS: во-первых, при генерации каждого хода для розыгрыша учитывается его вероятность, которая формируется обученной нейросетью. Это позволяет значительно проредить дерево возможных вариантов и повысить качество поиска. Во-вторых, другая нейросеть может оборвать текущий розыгрыш в ситуации, где «всё уже понятно», сэкономив тем самым процессорное время (не знаю, применяется ли эта эвристика для шахмат).
Это не совсем то же самое, что «программе дали только правила игры, всему остальному она научилась сама». А сравнение скорости перебора с программой Stockfish вообще как сравнение яблок с апельсинами.
P.S. Поправьте меня пожалуйста, если где-то наврал.
НЛО прилетело и опубликовало эту надпись здесь
Смотря в каких. Например, в Го альфа-бета уступает MCTS из-за более широкого дерева возможных вариантов, в шахматах и шашках пока что лидирует альфа-бета, но это может в скором времени измениться
в шахматах и шашках пока что лидирует альфа-бета, но это может в скором времени измениться

Уже не лидирует. AlphaZero и Leela Chess Zero обыгрывают Stockfish.

Ссылку на доказывающие это материалы можете предоставить? Заявления Google не в счет. Под словом Stockfish вы имеете в виду Stockfish 10?

Вот, например, Leela ID 11198 vs Stockfish 9. Не от гугла.


Stockfish 10 выпустили 2 месяца назад. Данных пока маловато. И следует учитывать, что Leela Chess Zero — community project, вычислительную мощность обеспечивают шахматные энтузиасты с подходящими системами и видеокартами, а их не так уж и много.

Матч из 10 партий не может являться даже нестрогим доказательством, поэтому соглашусь с Вами, данных пока маловато.
Вообще то чемпионат мира по шахматам среди людей, это всего 12 партий. Считают достаточным.
А физики-ядерщики для проверки своих гипотиз используют критерий достоверности пять сигма. Такие критерии строгости для шахмат означали бы необходимость проведения матчей из миллионов или десятков миллионов партий. Кто прав?
Тот кто лучше разбирается в шахматах, наверно.
Это вопрос соотношения сигнал/шум. И еще терминологии. Грубо говоря, «чемпион мира по шахматам» это спортивное достижение, оно не означает «самый сильный игрок», просто играя по турнирным правилам он в этот раз одержал победу.

Ну и еще вопрос важности правильного результата, ошибочный результат при проверки гипотезы может завести ядерную физику в тупик или надолго перекрыть правильный путь (стоимость эксперимента в настоящее время довольно велика). А спорт это практически всегда мастерство + везенье.
Полностью согласен с Вами, чемпион не значит сильнейший. Я лично считаю вопрос доминирования нейросетевых шахматных программ достаточно важным, и доверять матчам из 10 партий не буду. Оценка погрешности определения силы при таком матче около плюс-минус 160 Эло по уровню два сигма.
Не означали бы. Скажем если одна программа выиграла 22 раза подряд, то она сильнее как раз с достоверностью чуть более чем 5 сигма.
Спасибо за совершенно справедливое замечание. Мне следовало бы дополнить своё предложение фразой «в случае примерного равенства в силе соперников».
КМК еще очень важно ширина «плато» ничейного исхода игры. В играх имеющие ничейный исход, часто невозможно установить победителя. Пример — крестики нолики на доске 3х3, нейросети могут ну очень долго находиться в состоянии «примерного равенства». В противовес, скажем, марафонцам с фотофинишем. Вероятность ничьи крайне мала.

Я не знаю, как велико «плато» в шахматах, но 48 партий при 40 ничейных, в поединке Карпов Каспаров как бы символизируют.
Шахматы — ничейная игра. Это говорят многие гроссмейстеры-комментаторы.
Как пример в (уже упоминавшемся) матче из 1000 партий двух топовых движков, в 839 партиях была зафиксирована ничья. Это программы, которые всегда играют на победу! Ничья повторением ходов двух программ практически невозможна, договорняков нет. И 83,9% ничьих.
Почитал, интересно, как они считают время и вообще корректно ли это? КМК нужен какой то иной аналог времени на партию, для игр комп-комп. Киловатт-часы что ли… Иначе больший шанс на победу будет у того, кто купил больше железа (шахматный рассчет хорошо распараллеливается)
Время считают как обычно: ход белых — у них идет время. Программа сама решает, когда прекратить считать и сделать ход. Черные в это время тоже считают, но разные алгоритмы + наличие случайности приводят к тому, что черные могут неправильно предсказать ход белых и придется пересчитывать. По-моему, программы пересчитывают всегда, но ручаться не буду — не вникал в детали.
Чтобы все были в равных условиях, организаторы запускают программы на одинаковых, но разных машинах. До эпохи нейросетей все программы считали на CPU, железо одинаковое, поэтому простого лимита времени хватало. AlphaZero использует GPU или даже TPU, и определить вычислительное равенство затруднительно. Так как разные не только архитектура, но и подходы программ, энергия или скорость перебора позиций не могут однозначно говорить о вычислительном равенстве.

Пару примеров, какие мощности задействованы.
Постоянный чемпионат по компьютерным шахматам(CCC) использует:


  • CPU engines:
    CPUs: 2 x Intel Xeon Platinum 8168 @ 2.70 GHz 33 MB L3
    Threads: 90 threads with HT on
    16384 MB hash
    RAM: 256GB DDR4-2666 ECC Registered RDIMM
    SSD: 2x Crucial MX300 (1TB) in RAID1
    OS: CentOS 7
  • GPU engines:
    GPU: 4x RTX 2080ti (44 GB GPU memory)
    CPU: 2x Intel Xeon Gold 6154
    Cores: 36 physical
    RAM: 96 GB

Я смотрел пару партий. За минуту-другую движок может посчитать на десяток-другой ходов, и это в середине игры, когда количество осмысленных вариантов максимально.


Второй пример. DeepMind запускал свою последнюю серию игр AlphaZero на


один компьютер с четырьмя ТПУ (тензорных процессоров — специализированных интегральных схем для работы искусственного интеллекта) и 44 ядрами ЦПУ

Это для игры, для обучения же использовалось 5000 ТПУ вначале, потом 16 ТПУ.


Противник — Stockfish — использовал 44 ядра ЦПУ.


В распоряжении Stockfish был хэш размером 32ГБ и семифигурные эндшпильные таблицы.

Про хэш не знаю, а эндшпильные таблицы — это предварительно рассчитанные оптимальные ходы в конце игры. Грубо говоря, когда на доске осталось 7 фигур (из них 2 короля), Stockfish точно знает кто победит и как это сделать.


Также упоминается, что в некоторых партиях Stockfish играла с дебютными книгами — заранее подготовленными первыми ходами.

Странно, дебютная библиотека довольно давнее изобретение для компьютерных программ. Еще во времена 486ых машин я ставил дебютные библиотеки для какой то программы и можно было выбрать, какой дебют она будет играть.

Кстати, интересно, а добавил ли брутфорс какие нибудь новые, «нечеловеческие» интересные дебюты, либо неожиданное (более эффективное) развитие старых.
Кстати, интересно, а добавил ли брутфорс какие нибудь новые, «нечеловеческие» интересные дебюты

Нет. Брутфорсом нельзя просчитать все варианты развития партии. Так что альфа-бета шахматный движок не может сказать: "Не смотря на все эвристики, что вы мне дали, вот этот дебют — выигрышный, хотя его оценка после расчета 40 полуходов ниже других".


Для нейродвижков такие вещи возможны, так они сами формируют свои эвристики. И их оценка начальных позиций может отличаться от оценок людей. Но шахматы оказались слишком хорошо изучены, так что новых дебютов не обнаружилось.

Последние два раза этого не было достаточно. Проводились дополнительные партии, уже с другим регламентом (меньше времени на партию).
После последнего чемпионата один из участников говорил, что 12 это маловато, «мы могли бы сыграть и больше» и что 14 или 16 партий было бы самое то.
Через четыре дня на TCEC будет матч между Lc0 (Antifish) и Stockfish 10. Думаю будет интересно. Сейчас в чате уговаривают автора Antifish добавить к ней дебютную книгу… Уговорили.
Antifish is Lc0, trained specifically to exploit weaknesses in Stockfish

Мне кажется, при специальной заточке против конкретного противника победа гарантирована. Можете объяснить, в чем интрига и интерес?

Почему это победа гарантирована? У Stockfish эвристики оттюненые с использованием 1675.40 лет процессорного времени (http://tests.stockfishchess.org/users), много разработчиков, которые думают как улучшить результаты (в том числе и против нейросетевых движков).


Antifish-же сыграла несколько сотен тысяч партий против Stockfish и всё. Далеко как-то от заточки, скорее изучение противника.

То есть Antifish натаскали не так сильно, так что у противника шансы есть?

Сами партии вас не интересуют? Сильнейшая оптимизированная альфа-бета числодробилка в которую вложена куча знаний профессиональных шахматистов против самообученой нейросети.

Ну вот только сегодня посмотрел партию AF vs SF с пятью ферзями на доске. Да, интересно и неожиданно, а значит зрелищно.


Мой вопрос был про само соревнование: зачем устраивать, если результат предрешен. Ваш предыдущий комментарий объяснил, что я ошибаюсь и исход может быть любым.


То есть Antifish натаскали не так сильно, так что у противника шансы есть?

Я переспросил, просто чтобы убедиться что правильно вас понял. Никаких подсмыслов :-)

зачем устраивать, если результат предрешен

А, ясно. Но понять в этом смысле было сложно. Соревнования и устраивают, чтобы не приходилось верить на слово: "Мы тут Лилу так натаскали, что закрывайте TCEC".


Stockfish 10 очень сильна — добралась до рейтинга 3600, который некоторые считали "божественным" (рейтинг оптимального игрока).

Неожиданный поворот — Stockfish проиграл Houdini в полуфинале TCEC! Заточка не пригодилась. Теперь Leela будет уничтожать Houdini и Komodo.

Мои поздравления команде LC0, нейросетевые движки за последний год совершили прорыв в компьютерных шахматах. Хорошо еще нашлись бы люди с ресурсами, достаточными для проведения матча с одной из сильнейших альфа-бета программ длительностью около 2500 партий. Тогда бы снялись все вопросы по поводу who is who.

информация о ней и результате розыгрыша добавляется в базу, по уже имеющимся в базе позициям, встретившимся в текущем розыгрыше, обновляется статистика.

Не "добавляется в базу", а "используется для прогона алгоритма обратного распространения ошибки в многоуровневой сети нелинейных элементов" также известном как "алгоритм глубокого обучения". Нейросетка — это скорее не база данных со статистикой выигрышей/проигрышей (как вы из базы данных вытащите статистику по не встречающейся ранее позиции, которых в го большинство?), а функция эвристической оценки позиции, обученная на статистике выигрышей/проигрышей. Причём эта статистика получена с использованием предыдущей версии функции оценки позиции.


По результатам множества розыгрышей выбирается ход, который в текущей позиции обладает лучшей статистикой по выигрышам.

Большинство позиций в го никогда не встречались ранее (пространство поиска слишком большое), так что никакой статистики по ним нет. Нейросетка выделяет какие-то закономерности в позициях, позволяющие ей неплохо (по экспериментальным результатам) оценивать вероятность выигрыша в данной позиции.

В науке, знаковом занятии людей, наша роль свелась бы к роли наблюдателей, взирающих на происходящие в изумлении и смятении.
Вот интересно, а прямо сейчас сколько процентов наших именно такую роль по отношению к науке и исполняют: 97%, 98%, 99%…? И что-то подсказывает мне, что большинство из них это вообще не напрягает.
Ну в США степень PhD или выше (их можно боле-менее отнести к науке) имеет около 3% населения. Навскидку, во всем мире, не будет и полпроцента…
Не понимаю шума вокруг очередного инструмента для решения задач. Ок, этот алгоритм может играть в шахматы лучше человека. Ок, предположим, что развитие этого алгоритма что-то там докажет или найдёт, что человек «в уме» не может найти или доказать.
Но чем это отличается, например, от алгоритма расчёта траекторий для посылки зондов на Марс? Человек тоже не может это сделать «в уме». Но я не видел учёных из NASA, которые посыпают свои головы пеплом по этому поводу.
Если перейти на более приземлённый уровень, то я не видел пользователей смартфонов, которые печалятся от невозможности «в уме» демодулировать сигналы сотовой связи или просчитать алгоритмы, по которым бьютификатор делает их селфи более красивыми.
Шум тут потому что это будет не инструмент для решения задач, а нечто, способное принимать самостоятельные решения.
Я начну бояться, как только вы мне покажете, каким образом это более страшно, чем, например, система автоматического удара возмездия при помощи ЯО или даже чем бульдозер под управлением автопилота имени Маска, выпущенный в свободный выгул по людным улицам.
Я повторю ещё раз — люди каждый день пользуются чем-то, про что они не понимают как оно работает. Им достаточно того, что результаты работы их устраивают. В этом плане сабж статьи ничем особым не отличается. А реальная опасность может исходить только от людей, которые результаты его работы захотят применить в целях вреда себе подобным. Не важно при этом, что сабж сможет делать — рак определять или «танец субатомных частиц» предсказывать.
Так что эта статья состоит в большей степени из нагнетания сапиенса, так любимого широкой аудиторией западного научпопа. С тем же успехом и степенью сапиенса можно было написать, про безнадёжное отставание человека в области копания земли перед большегрузными экскаваторами: «Это же ужас-ужас — человек вынужден оставить лопату и стать простым наблюдателем за работой этих монстров с ковшами. Ах да, без человека они нафиг никому не нужны, но про это мы упоминать не будем чтобы продолжить держать читателя NYT в напряжении».
В общем, привет нынешним «экспертам» NYT от предыдущего поколения экспертов NYT, взахлёб предсказывавших скорое появление атомных пылесосов в каждом доме.

Потому что бульдозер даже с автопилотом это инструмент решения задач. Человек решает, где надо копать, и человек отправляет его туда.


Еще раз, шум не из-за того, что люди что-то не будут понимать, а из-за того, что оно будет принимать самостоятельные решения. Так же, как это делает человек, а не так, как сейчас делает автопилот.

Тема «самостоятельности» не раскрыта.
Человек точно так же принимает несамостоятельные решения. Сравним автономный автомобиль и автомобиль с водителем. И у того и другого есть целевая функция — прибыть в пункт назначения. И тот и другой руководствуются своим пониманием ПДД и опытом вождения, и тот и другой пользуются известными им картами дорог. И тот и другой не всегда могут объяснить те или иные свои решения.
И у того и другого есть целевая функция

Различие в том, как создается эта целевая функция. И в возможности отклонения от нее. Автономный автомобиль не решит потратить бензин заказчика по причине "сгоняю-ка я по своим делам". А вот сильный ИИ может, потому и шум. Я правда тоже считаю, что он преувеличен, но по той причине что при правильном подходе это должно быть не так уж сложно контролировать.

По идее, и законопослушный водитель не должен нарушать должностную инструкцию. С другой стороны, достаточно продвинутый автономный автомобиль в итоге должен научиться удовлетворять собственные нужды — съездить в свободное время на заправку, на мойку, на ТО, может даже покататься по району с целью обновления микрокарты дорог и навыков эффективного вождения в текущих реальных условиях.

Человеческая «свобода воли», КМК, проистекает от аналогового строения мозга и большого количества приходящей информации в условиях нечеткой оценки ее важности.

Так а почему вы решили, что все ограничится только заправкой? Реальные люди ведь этим не ограничиваются. Тут неважно, как это называть и из чего оно проистекает.

> Но чем это отличается, например, от алгоритма расчёта траекторий для посылки зондов на Марс?

Тем, что все алгоритмы расчета траекторий написаны людьми, которые знают как рассчитывать эти траектории. С AlphaZero/Leela Zero знания людей об игре в шахматы используются только чтобы написать алгоритм преобразования данных о шахматной позиции во входы нейросети.

То есть это приближает момент, когда мы сможем делать машины выполняющие задачи, которые мы умеем выполнять, но не знаем как мы их выполняем (как оператор коллцентра работает на уровне активации нейронов в мозгу?).

Сейчас особо печалиться не о чем. Будем печалиться после увольнения. Поставят камеру на рабочее место, обучат сеть за несколько месяцев — и до свидания.
Вам не кажется, что на том этапе, когда 60-70 процентов профессий можно будет заменить компьютером/роботом/ИИ, понятие «зарплата» само по себе устареет? Если ресурсов достаточно — просто назначат каждому гражданину минимальное пособие, на которое можно жить (снимать жильё, питаться и так далее). А всё что сверх, если «хотелки» выше этого пособия — тут уж да, надо будет подумать, чем заработать. Написать какую-то годную книгу, например. Или быть учёным и сделать открытие какое-нибудь, хоть небольшое :)

А какой владелец бизнеса захочет делиться заработком с бездельником? Наверняка и законы пролоббирует в защиту своих интересов.

Я уже устал слушать эти байки про лоббирование, типа вкинул N денег — получил закон. Нет, это так не работает, закон должен получить большинство в палате представителей, сенате и быть подписан президентом, при этом половине переизбираться через два года, почти всем — через четыре. Закон не может противоречит конституции, или его через неделю в суде заблокируют, единственный способ преодолеть запрет — внести изменение в конституцию с ратификацией 60% штатов. Потом есть 50 штатов, каждое с своим законодательством, которое часто противоречит федеральному, как, например, в случае с марихуаной. Всегда есть кто-то со своим финансовым интересом, кто будет лоббировать контрзакон, например, компания зарабатывающая на продаже еды «бездельникам». В конечном счете все так или иначе упирается в избирателей, часто миллионы тратятся на компанию за какой-нибудь ballot question чтобы слить вчистую противникам с в разы меньшим бюджетом.
А какой владелец бизнеса захочет делиться заработком с бездельником?

А кому тогда владелец бизнеса будет продвать свой продукт/услугу?
Ведь при таких раскладах спрос на эти товары и услуги пропадет и в лучшем случае часть общества, которая не нашла места в новом дивном мире вернется к старым, зарекомедовавшим себя занятиям — накормить, подстричь, починить. Будет радикальное разделение внутри общества, что скорее всего невыгодно никому.
Ну богатые могут выстроить себе мегароскошные города, огороженные непреодолимой стеной, или вообще неким «силовым полем», забрать туда все производственные мощности с роботами, а охлос оставить за бортом. Просто чтобы ресурсы не тратить на него. Люди то уже не нужны для богатства.
Понятие «просто жить» оно очень разное. Можно просто жить вшестером в маленькой комнате, питаться сойлентом калорий на 1500 в сутки, мыться раз в месяц. И треть населения планеты еще скажут, что это прям вообще замечательные условия!
Шум состоит в том, что нейронные сети могут обучаться и получаются алгоритмы лучше, чем пишут люди :) Автоматизация программистов и специалистов.
КМК как раз алгоритмы не получаются. Получается вероятностное решение задачи. А люди хотят ИИ работающего с точностью робота над произвольной задачей, а так не бывает (наверное).
Надо не забывать, что роботы не должны быть универсальными, один делает изделие с некоторой вероятностью, второй проверяет, третий тестирует и т.д.
Сейчас так и есть, но мы активно хотим универсальный ИИ.
С такими программами возможно скоро появятся и роботы, которые будут убираться, готовить пищу, строить дома,… Человеку останется только это потреблять и изобретать новых роботов.
НЛО прилетело и опубликовало эту надпись здесь
Повара уже на подходе — — неуклюжие ещё, но это только начало. И что вы нашли нехорошего? Изобретать новых роботов — это не обязанность. :)
НЛО прилетело и опубликовало эту надпись здесь
Нет смысла повторять именно человеческий мозг. Это как переписывать древний legacy говнокод на новом языке. Не лучше ли создать с нуля принципиально новый, свободный от биологических ограничений разум?
Лучше, но для этого нужно понимать все принципы работы. А с этим пока очень тяжело.

Так что скорее всего первым этапом будет повторение человеского копированием базовых (простейших) принципов и процессов. А уже имея рабочую модель, которую можно изучать на любых уровнях и всячески над ней издеваться и «препарировать» можно будет разрабатывать что-то более совершенное.
В принципе, ничто не мешает человеку прямо сейчас провести ревизию говнокода и создать патч, оптимизирующий работу мозга человека (да и всего остального человека), не выходя за биологические ограничения.

Когдя я слышу «ахтунг, грядет сингулярность», у меня возникает мысль, а что же биологически человек не ушел пока еще в сингулярность. Мы можем менять как программу своего обучения, так и программу ДНК. Становиться умнее и эффективнее, еще больше менять программы и так далее. С чего бы проиграть машинам, имея такую фору? Машины точно так же будут зажаты физическими законами.

Слудующая мысль, а приносит ли разум более сильный такое уж преимущество? Не достиг ли уже человек верхней части S-образной кривой. Пример — вот человеческий мозг оперирует примерно 7 объектами. Это куда лучше чем обезъяны, у них 3-4. Но получит ли эволюционное преимущество человек, оперируя 20 объектами? Или 20000? Вот калькулятор нам дает много знаков после запятой, часто ли это нужно человеку?
Биологически сложно уйти в сингулярность, естественный отбор — очень медленная штука. Софт можно модифицировать и перекомпилировать за секунды, а человека выращивать — 20 лет.
Насчет количества объектов — думаю что будет очень сильное преимущество. Я программист и часто замечаю, что мне не хватает рабочей памяти, чтобы удержать в голове всю структуру кода. Не отказался бы от апгрейда.
Зачем же идти в сингулярность методом естественного отбора? Когда можно целенаправленно поставить самому себе целевую функцию. Да, человека выращивать долго. С другой стороны, ИТЭР строят 30 лет, он пока не готов и неизвестно когда и как будет работать. Построить цифровой супермозг явно сложнее. Софт пишется быстрее (при чем тут вообще компиляция за секунды? речь идет скорее об реверс инженеринге человека) но не мгновенно. Еще для человека есть «софт высокого уровня» — программа обучения. Они пишутся совсем быстро, но вот прям совсем эффективных вроде как нет.

Кстати, вы думаете что сможете от увеличения числа объектов писать код лучше? Или просто быстрее, не надо использовать много мониторов и всякие заметки?
AlphaZero демонстрирует все признаки открытия важных принципов игры в шахматы, но не может поделиться этим пониманием с нами.

Никаких новых принципов AlphaZero не открыл! Наоборот, AlphaZero играет более «человечнее», задвигает пешки поглубже, забирает пространство. смотрит на позицию геометрически (оценивает позицию). Ну и, конечно, же в отличие от человека гораздо лучше считает тактику. Большинство, программ выигрывает у людей, потому что они просто хорошо и быстро считают, а оценки позиций понемногу заносятся и подправляются программистами-шахматистами.

По поводу матча AlphaZero, до сих пор много вопросов и мало ответов. Надо понимать, что любая компьютерная программа это счетчик, чем больше дать CPU или времени, тем больше будет мощь компьютера. Например, Stockfish 10 играет на 150 ЭЛО пунктов сильнее, чем Stockfish 8, но Stockfish 8 на 2 CPU играет на 50 ЭЛО сильнее, чем Stockfish 8 на 1 CPU.
Поэтому компьютерные программы можно сравнивать только точно оценивая ресурсы! Играть без дебютов, вообще бред, ведь программы под это не оптимизировались программистами.

Противостояние Stockfish и AlphaZero на самом деле простое, кто лучше напишет программу для оценки позиции программист или нейронная сеть. Поэтому, конечно, надо сравнивать 1) размер кодовой базы и ее maintanenance 2) человеко-часы, тестировщико-часы и обучение часы.

P.S. Между прочим AlphaZero проиграл пару партий Stockfish 8.

Между прочим AlphaZero проиграл пару партий Stockfish 8.

Обновленная AlphaZero разгромила Stockfish 8 в новом матче из 1,000 партий со счетом +155-6=839
chess.com
Савватеев где-то говорил, что нашли сложный контпример, который нельзя раскрасить в четыре цвета.
Это не от задачи о четврех красках, а от задачи Нелсона-Эрдёша-Хадвигера, наверное: «Во сколько минимум цветов можно раскрасить плоскость так, чтобы никакой граф с ребрами длиной 1 не содержал ребра, соединяющего точки одного цвета?». В статье упоминается граф в 1581 вершину, который нельзя раскрасить в 4 цвета.
спасибо за уточнение
И здесь тоже токсичная токсичность…
На chess.com был обзор игр Leela Zero против Stockfish. В эндшпиле, когда одна сторона явно имеет преимущество, человек-гроссмейстер может предложить план выигрыша. Это ходов 15-20. Лиела же может сделать бесполезных ходов 40, и только потом пойти выигрывать. А через два полезных хода снова заняться фигней.
Были случаи, когда в позиции вида «голый король против короля и проходной пешки» Лиела ставила ладью вместо ферзя. Оба варианта гарантируют победу (если не ошибаться), но с ферзем выигрыш был бы быстрее.

Можно вспомнить проигрыш Каспарова в одной из партий против DeepBlue, когда шахматист поверил что программа все просчитала и идет к победе. Каспаров сдался, хотя на самом деле должен был сводить партию к ничьей.

Так что не все так просто: возможно, очередной гениальный ход не имеет смысла и не сильнее описанного в учебниках. А всю гениальность ходу приписали люди, которые нашли скрытые мотивы, хотя просто так выпал рандом.
Выигрыш с ферзем быть может быть и быстрее в ходах, но ладью проще считать. Таким образом, комп мог оптимизировать свою игру совсем не так как человек. Грубо говоря, мат ладьей в 24 полухода комп видит, а ферзя может просчитать только на 18 полуходов и там мата нет.
«Обычные» компьютерные движки вполне могут просчитать и мат в 20 (полных) ходов. Мат ферзем самый простой, часто новичков учат матованию с ферзя.
И если программа «не видит» мата ферзем на пустой доске, то хреновая это программа. Никак не тянет на зарождающееся сознание :)
«Он явно представляет сорт разума, невиданный доселе людьми» — это что ещё за литературная туфта? AlphaZero это такой ResNet — нейросеть для распознавания картинок где в качестве картинки шахматная доска. Интеллектом тут даже не пахнет.
Публикации SLY_G на Хабре всегда представляют интерес для читателей. Удивительно продуктивный человек, что заслуживает уважения. Его публикация на этот раз оказалась пафосной. Но человек сделал это «от души».

Я согласен с мнениями наших коллег old_bear, vics001, высказанных ранее. Давайте без эйфории посмотрим на постановку самой задачи и, предположительно на то, что (возможно) делает AlphaZero, как программа, разработанная замечательным коллективом Deep Mind.

1.Речь идет о не детерминированной задаче формирования ветви поиска решения в пространстве состояния очень большого размера. Каждый шаг сделанный игроком и каждый шаг сделанный противником изменяют возможности выбора во всех последующих шагах. Одновременно, потеря каждой фигуры «понемногу» сокращает размер пространства состояния.

2.Можно ли утверждать, что разработан алгоритм на основе искусственных нейронных сетей, который обучается формированию оптимальной стратегии совершения каждого хода для победы над противником? Думаю, что вряд ли. Пространство состояния имеет огромные размеры и вряд ли кто-либо реально способен охватить хотя бы 1% этого пространства состояния, чтобы «крепко обучиться»

3.Реально используются эвристические правила, которые были обнаружены каждой из команд, в результате изучения того, как формируется ветвь поиска решения в этой не детерминированной задаче. Думаю, что этих правил много, они параметрические и, большая часть этих правил у обеих команд скорее всего совпадает.

4.Уверен, что нейронная сеть построена и используется для оптимизации параметров этих правил. То, что команда Deep Mind добилась успеха в решении данной конкретной задачи- то ребята молодцы. Я высоко ценю их труд.

5.Перенести «кавалерийским наскоком» разработанный алгоритм для решения других актуальных задач, так просто не получится. Там нужно искать свои эвристические правила и, как минимум, оптимизировать неизвестные параметры этих правил. Возможно, подтверждением этому может служить участие Deep Mind в конкурсе по прогнозу свойств белков. Хотя Deep Mind оказался впереди, но ошибка прогноза оказалась настолько большой, что результаты пока никакого практического интереса не представляют.

6.Тональность данной публикации не должен «расшатывать психику» программистов. Будет правильно, если мы хорошо осознаем то, что делают коллеги из Deep Mind и разработаем что-нибудь еще лучше. А так, давайте порадуемся за достижения наших коллег и пожелаем им дальнейших успехов.

7.Я уверен в том, что в нашем Хабра-сообществе есть выдающиеся команды, которым вполне под силу решить подобную задачу или задачу более сложную. Дайте им хотя бы десятую часть той суммы, которая была выделена на этот проект, и вы очень скоро увидите результаты.
Я уверен в том, что в нашем Хабра-сообществе есть выдающиеся команды, которым вполне под силу решить подобную задачу или задачу более сложную. Дайте им хотя бы десятую часть той суммы, которая была выделена на этот проект, и вы очень скоро увидите результаты.

"Не учите нас жить, помогите материально".
Было бы интересно сделать опрос сколько людей на Хабре искренне верят что работают в команде, который только не хватает финансирования для получения таких же результатов "очень быстро". А потом построить корреляции относительно бюджетов, которыми эти команды реально располагают ;)

Хотя уважаемый мною коллега hippohood высказался о моем комментарии «по форме», а не «по сути», я решил найти время и ответить, так как это важно. Я, в самом деле считаю, что у нас на Хабре очень много талантливых и выдающихся программистов и коллега hippohood один из них. Нет сложных задач программирования, которые мы не можете решить. Сложности есть только внутри нас. Мы не должны принимать «близко к сердцу» мнение «толпы», что это «очень сложная задача». Для них сложная, для нас – нет. Каждый член Хабро-Сообщества не такой «как все». Нам нужно быть напористым и терпеливым, и тогда пройдет время, и мы добьемся своих целей.

Вы когда-нибудь сидели 60 дней подряд над одной и той же «сложной задачей» программирования. С утра до вечера (а реально до глубокой ночи). Почти без выходных и почти без праздников. А чтобы 120 дней работать в таком режиме вам приходилось? Так, чтобы не потерять веру в то, что вы делаете. Именно в таком режиме я работал всю первую половину 2018 года. Я был «глубоко занят» разработкой алгоритма решения n-Queens Completion Problem. Мне друзья советовали бросить это дело или показаться психологу. Прошло много месяцев прежде чем мне удалось получить первое очертание работающего алгоритма. Я не буду повторяться, об этом когда-то кратко написал в комментарии.

Считаю, что каждому из нас следует расширить границы своих возможностей и целенаправленно идти к решению той «сложной задачи», которая вам нравится.
В заключение, я хотел бы привести анекдот, который имеет отношение к теме:

-Четыре грузинских мальчика спорят о том, у кого дедушка самый высокий.
-Один говорит: «Мой дедушка такой высокий, как эта грузовая машина»
-Второй: «Мой дедушка такой высокий, как это дерево»
-Третий: «Мой дедушка такой высокий, что упирается головой в звезды»
-Четвертый спрашивает у третьего: «А звезды такие круглые и теплые?»
-Тот отвечает: «Да!»
-Четвертый: «Так это яйца моего дедушки»
— — — — Так вот, я считаю, что программисты Хабра-Сообщества «самые высокие», остальные им до пояса.
Нет сложных задач программирования, которые мы не можете решить.

Давайте начнем с P vs NP. И деньги хорошие.


Вы когда-нибудь сидели 60 дней подряд над одной и той же «сложной задачей» программирования. Почти без выходных и почти без праздников.

К счастью, нет. И никому не советую так делать.


Считаю, что каждому из нас следует расширить границы своих возможностей

Я вот хочу дышать под водой без дополнительных приспособлений. Это ведь тоже "границы моих возможностей", не так ли?


Так вот, я считаю, что программисты Хабра-Сообщества «самые высокие», остальные им до пояса.

Это очень, очень, очень опасная позиция.

Анекдот хороший, спасибо)


Люди рождаются разными, кто-то с самого рождения лучше приспособлен для решения определенных задач чем другие. Со временем, при получении правильного образования и опыта, эта разница только растет. У меня высокое мнение о своих способностях и есть опыт и достижения которыми можно гордиться (не в области АИ). Но я встречал прокачанных талантов, работая с которыми понимаешь, что есть вещи которые я просто не способен сделать, области, где количество никогда не перейдет в качество.
Я рад что ваш вклад сотен часов интенсивной работы окупился, я понимаю что вы вкладывались не имея гарантий на успех. Но опыт многих коллективов, да даже целых стран, показывает что прорыв не достигается просто увеличением бюджета и времени.

Уже создали (Leela Chess Zero)

Одновременно, потеря каждой фигуры «понемногу» сокращает размер пространства состояния.

В общем случае это не так — фигуры дают вклад в ветвление не только своими ходами, но и тем, что мешают друг друг.


Например, в стартовой позиции число допустимых ходов только увеличится, если выкинуть слонов.

Давайте порассуждаем вместе, как влияет потеря каждой фигуры на размер пространства состояния.
1. Мы имеем недетерминированную задачу.
2. В алгоритме «мы выступаем от имени» одного из игроков
3. Мы должны найти такую последовательность шагов (ходов), которая, как можно скорее поставит короля противника «в неловкое положение»
4. Любой наш шаг, начиная с первого – это выбор одного оптимального шага в огромном пространстве состояния. Любой такой шаг изменяет пространство состояния и меняет возможности дальнейшего нашего выбора.
5. Любой шаг противника – это «агрессивное» изменение «нашего» пространства состояния. Шаг противника изменяет наше пространство состояния так как «он может», мы меняем его пространство состояния так как «мы хотим».
6. Каждая фигура, как вы правильно сказали, «дает ветвление не только своими ходами, но и тем, что мешает остальным». Т.е. каждая фигура на доске является источником увеличения размера пространства состояния. Каждая фигура «приумножает» возможности ходов в «пространстве состояния». Когда фигура покидает доску, то автоматически «уничтожаются» все возможные ходы в пространстве состояния, которые были порождены этой фигурой. Поэтому, когда в ходе игры, сокращается количество фигур на шахматной доске, то соответственно уменьшается размер пространства состояния. (Достаточно представить себе размер пространства состояния, который «порождается», когда на доске по одной фигуре с каждой стороны, по две фигуры и т.д.
Каждая фигура, как вы правильно сказали, «дает ветвление не только своими ходами, но и тем, что мешает остальным». Т.е. каждая фигура на доске является источником увеличения размера пространства состояния.

Вы, кажется, пропустили фрагмент «мешает остальным». То есть уменьшает пространство поиска. У голого ферзя в центре доски без остальных фигур ходов больше, чем у всех 16 фигур/пешек вместе взятых в начальном положении.


Ещё раз: нет прямой монотонной зависимости между количеством фигур и фактором ветвления. Может быть мало ходов при большом количестве фигур и много ходов при малом количестве фигур.

Я с вами согласен.
Уход фигур с доски освобождает одну клетку и тем самым увеличивает возможное пространство выбора. С другой стороны, каждая фигура на доске имеет свое «поле влияния» и требует дополнительных «переборных» расчетов для формирования оптимального хода
Для меня синонимом «недетерминированной задачи» является задача со случайными элементами (случайное исходное состояние, случайное изменение промежуточного состояния, случайные ограничения, случайное число ходов и т.д). Например, покер — недетерминированная игра. Или нарды.
Задача решения игры — это нахождение оптимальной стратегии при условии если противник — рациональный игрок, действующий также оптимально.
Шахматы полностью определены. Фигуры, позиция противника, число ходов — все известно заранее. Шахматы не решены полностью, т.е. мы не знаем лучшего хода в любой позиции. Но если на доске осталось 7 фигур, то противник может делать даже случайные ходы — мы все равно знаем оптимальную стратегию.
Найти решение шахматного этюда — это детерминированная задача. Не знаю, будет ли полностью решены шахматы, но считаю что это также детерминированная задача.

Внутри AlphaZero просто нейронная сеть. Программа обучается сотни тысяч псевдо часов или миллионы ходов для подстройки весов нейронки. Это где тут разум? Просто так функция, которую она аппроксимирует в пределе похожа на игру человека — исторически так сказать. Да, похоже, что думает, но это ж тупо нейронки, читай, сложные функции.

А внутре у ней нейронка!
Просто так функция, которую она аппроксимирует в пределе похожа на игру человека — исторически так сказать.
Есть точная функция решений этой задачи — игры в шахматы, человек и разные программы аппроксимируют ее с разным приближением, кто лучше, кто хуже, в разных областях по разному, зависит от объема обучения.
А самое неприятное было в том, что AlphaZero демонстрировала мышление. Она играла непохоже ни на один компьютер, интуитивно и красиво, с романтическим атакующим стилем.
Насчет мышления конечно перебор, но интуицию можно интерпретировать, как интерполяцию или экстраполяцию областей в которых обучения не было. Человек также принимает интуитивные решения в условиях неопределенности, когда нет опыта или информации для принятия точного решения в таких условиях, по имеющимся ближайшим областям решений этой задачи. Может попасть, или почти попасть, и тогда «проинтуичил», или не попасть, тогда «лопухнулся») То же с этими программами.
НЛО прилетело и опубликовало эту надпись здесь
Вспоминаются экспертные системы. Когда выяснилось, что рассказы специалистов о процессе принятия решений имеют мало общего с тем как они принимают решения на самом деле. Психологи научные работы писали как правильно извлечь знания из экспертов в предметной области.

Я бы сказал, что это похоже на ещё одну нейросетку, натренированную давать объяснения работы первой нейросетки.
НЛО прилетело и опубликовало эту надпись здесь
Сингулярность все ближе =)
Могу немного прокомментировать данную статью со стороны Го. Я играю в Го на среднем уровне (первый дан; многие говорят что это примерно уровень 1900 USCF).

В Го тоже завезли данное чудо, под названием AlphaGo. Конкретно сами нетворки не опубликовали, но зато опубликовали достаточно бумаг, чтобы создать по ним похожий софт — Leela Zero (https://github.com/gcp/leela-zero).

Многие, и я в том числе, считают, что «zero боты» играют очень «прямо». Очень часто они берут и доводят позицию до какого-то результата, что обычно считается плохим решением в Го, так как выбрав один путь решения позиции, ты откидываешь все остальные доступные тебе пути, тем самым создавая довольно прямолинейное игровое поле, на котором «всё ясно». Тем не менее, zero боты очень любят драться и очень сильны в middle game.

В целом писал этот комментарий ради того, чтобы рассказать о двух вещах:
1) Лестницы в Го — https://en.wikipedia.org/wiki/Ladder_(Go) — очень базовая тактическая последовательность ходов, которую новички осваивают в первую неделю игры. Многие zero боты до сих пор пропускают эту последовательность ходов в своих рассчетах, и зачастую можно победить «superhuman бота» просто загнав его в «не работающий» для него ladder.
2) Однозначность оценки своей позиции. Если поставить играть последнюю версию zero бота с прошлогодней версией, то обе программы будут думать, что они выигрывают (обычно, у обоих будет winrate в районе 60-70%) — пока в один момент (буквально, за пару ходов) слабая версия программы вдруг не осознает, что она очень сильно позади. Бывает даже такое, что если стоит порог в 5-7% для того, чтобы сдаться, то игра между такими ботами останавливается прям по середине и один из них сдается. Забавно в этом то, что на протяжении всей игры до этого момента такой бот думает, что он впереди.

Из-за #2 очень многие очень скептически относятся к анализу своих игр с помощью zero ботов, и вместо них выбирают менее сильных ботов из «до-alphago эры».
Интересно будет посмотреть, как deepmind справится с таким поведением, когда решит выводить этих ботов в медицинскую сферу. Ведь там такая слепая уверенность будет стоить кому-то жизни.
Знали бы вы, как часто сейчас, когнитивные и профессиональные ошибки врача стоят пациенту жизни, здоровья или лишних денег. Все идет к тому, что врач будет скармливать в облако историю болезни, снимки, анализы — на выходе получать вероятный диагноз и клинические рекомендации. Есть опасность, что это приведет к поверхностной оценке рекомендации? Безусловно. Станет ли медпомощь лучше и дешевле (доступнее) — скорее всего да.
Все эти системы ИИ моделирующие отдельные функции семантической системы это очень далеко до человеческого разума. В современной когнитивной науке на все эти эксперименты с ИИ смотрят со значительной долей скептицизма. В шахматах и еще в других областях продвижение есть, а в моделировании более элементарных человеческих когнитивных способностей — сенсорных и моторных — очень мало чего сделано.
а в моделировании более элементарных человеческих когнитивных способностей — сенсорных и моторных — очень мало чего сделано.

Нейросетка, натренированная в симуляции, залитая в робота

Я может не так понял, но там нейросеть используется для помощи в симуляции физики, а не для управления роботом:


На 1:22


We train a neural network representing this complex dynamic with data from the real robot

Данные для сети от реального робота.


A policy trained in a simulation that includes the rigid body dynamics and an actuator network

То бишь НС тут для физики, а не для управления.

Actuator network — это сеть, натренированная чтобы компенсировать различия между симуляцией робота и физическим роботом. Policy network — сеть управляющая физическим роботом или симуляцией робота через прослойку actuator network.

Отдельные, очень отдельные, элементы проприоцепции уже симулирует, поэтому прогресс имеется, но учитывая что это еще с 80-х годов идет в рамках проекта Нувиль ИИ Nouvelle AI МТИ, наука еще в начале долгого пути. По крайней мере в когнитивных сенсорных и моторных функциях хорошо бы дойти даже не до младенца возрастом в 1 год, а хотя бы смоделировать насекомых. Что уж тут говорить о гроссмейстерах.
Не сильно удивлюсь если настоящий ИИ получается пргоном почти любой простейшей RNN на очень большой куче контента. Просто мы сейчас не можем это проверить, а лет через 500 на сайте tensorflow будет страница «RNN for beginners» где говорят взять вот этот питоновский скрипт на 20 строчек, прогнать его на файле со всем архивом интернета несколько раз и через 0.2 с получить нейросеть которая обсуждает любую тему не хуже 97% человеков и это будет считаться плохим результатом потому что state of the art уже давно обходит 99.997%.
всё это крайне хорошо, но не повторилась бы история Вавилонской башни… хоть ГОСТЫ во всём мире сейчас и разнятся, это не мешает людям прыгнуть до самого Олимпа. ничего, если этот альфазеро станет к нам в оппозицию, мы быстро ей создадим эффектный цугцванг.
опеннет всех сильней!
Эти принципы, оттачиваемые десятилетиями человеческого гроссмейстерского опыта, программируются в машину в виде сложных оценочных функций, отмечающих, чего нужно добиваться в позиции, и чего избегать: насколько нужно ценить безопасность короля, активность фигур, расстановку пешек, контроль над центром доски, и прочее, и как управлять компромиссами между этими вещами. Сегодняшние шахматные машины, которым чужды все эти принципы, ведут себя как грубые животные: они чрезвычайно быстры и сильны, но им не хватает мозгов

Отнюдь не чужды. У того же движка Stockfish все эти принципы есть в оценочной функции.
Разница в развитии AB-движков и движков на нейросетях лишь в том, что первым эти принципы прививают «в слепую», в виде гипотез, статистическую достоверность улучшения игры от которых проверяю потом в многотысячных матчах с версией движка без этой гипотезы.
Гигантский шаг скорее сделал автор оригинальной статьи перепрыгнув с шахмат и прочих логических игр/задачек к:
Ведь AlphaInfinity смогла бы вылечить все болезни, решить все научные задачи и заставить все остальные интеллектуальные поезда ходить по расписанию


Статья = вода.
Скоро во всех магазинах.
Покупаешь одного робота, мозг AlphaZero с функцией игры в шахматы в подарок!
Хотите, чтоб ещё и в шашки играл, покупайте подписку. Хотите собеседника на философские темы? Нет проблем! 9.99$ в месяц и ваш философ будет умнее с каждым месяцем.
Прокачай своего робота по полной! Все функции за 699$ и через год вы абалдеете от ума своего робота!
*Функции для взрослых доступны по специальному запросу.
Вот пускай подтянут машинный перевод до уровня неотличимости от лучших переводчиков, тогда и поговорим
Вот пускай подтянут машинный перевод до уровня неотличимости от лучших переводчиков, тогда и поговорим

С техническим переводом, с настройкой на определенную область техники, вполне норм. Пользую WIPO Translate, нейронную версию: приличный перевод с кит. на англ. Готов дать примеры.
patentscope.wipo.int/translate/translate.jsf?interfaceLanguage=ru
Что значит «лучший переводчик»?
Пример: некоторые книги издательства Азбука переведены намного хуже, чем те же произведения любителями.
Неточные формулировки, свойственные человеку, у роботов отсутствуют)
— Но если ты прав, то мы будем скучать по старым временам.
— Каким же?
— Когда людей люди убивали.
(«Я, Робот», 2004)
У Стругацких, кажется в «Далекой радуге», есть упоминание о Массачусетской машине.
В штате Массачусетс была создана машина столь невероятных возможностей и поведения, что была отключена испуганным персоналом спустя несколько минут с начала работы.

AlphaGo ведёт свое начало в т.ч. из Массачусетса, MiT.

Забавное совпадение.

Особенно в свете того, что «метод Каспаро- Карпова» Стругацкие упоминали в своей (другой) книге очень задолго до начала противостояния двух великих шахматистов.
Концовка статьи натолкнула на следующую мысль. Мы до сих пор не понимаем, как работает наш мозг и, возможно, не сможем понять его еще долго. Может в будущем возникнит ситуация, когда мы сможем создавать самообучающийся ИИ, но при этом так же не понимать, как он работает в деталях и почему принимает то или иное решение.
А известно с каким счетом играет AlphaZero vs AlphaZero?

И ещё интересно, если увеличить мощность у одного экземпляра, он начинает исключительно выигрывать или слабый тоже может выиграть партию?
По идее должна играть с вероятностью выигрыша (проигрыша) в 50%. С учетом того, что используется и случайные перебор, то слабый с небольшой вероятностью тоже может выиграть.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации