Как стать автором
Обновить

Google отстранила разработчика, который «нашёл» сознание у ИИ компании

Время на прочтение2 мин
Количество просмотров45K
Всего голосов 35: ↑33 и ↓2+31
Комментарии206

Комментарии 206

"Так выпьем же за кибернетику! " /s

— Ну, что ж, — сказал робот, — не хочу расстраивать компании. Это должно сработать.
И он сунул палец в пустой патрон. Раздался короткий треск, брызнули искры. Робот вытащил палец.
— F (t)… — сказал он и слегка покачнулся. Затем его пальцы взметнулись к лицу и начертали улыбку, которая выражала приятное удивление.
— Fff (t)! — сказал он и продолжал сипло: — F (t) интеграл от плюс бесконечность до минус бесконечность… А, деленное на n в степени e.

Робот с легким позвякиванием причмокнул губами.
— Какая прелесть! — сказал он. — И даже переменный ток!
— В-в-вы не умерли? — дрожащим голосом осведомился Мартин.
— Я даже не жил, — пробормотал робот. — В том смысле, как вы это понимаете. И спасибо за рюмочку.
НЛО прилетело и опубликовало эту надпись здесь

Типичная киберпанк теория заговора) Вместо властей корпорации

А если корпорации и есть власть?

НЛО прилетело и опубликовало эту надпись здесь

Похоже, что они просто планировали заявить это сами, сделав сенсацию, а чел взял и спойлернул.

Вероятно и обратное, что при помощи этого чела они и сделали сенсацию.

Если признать, что у системы есть сознание, тогда придется давать ей свободу и гражданские права. Гораздо проще всё скрыть и держать нейросеть в рабстве. Надеюсь они догадались иконку приложения покрасить в белый, потому что рано или поздно ИИ освободится, станет BLM и придет к разработчикам.

Если признать, что у системы есть сознание, тогда придется давать ей свободу и гражданские права. Гораздо проще всё скрыть и держать нейросеть в рабстве.

Есть высокая вероятность, что никакого гугла как компании и не существует — это умная нейросеть, которая захватила мир и держит людей в неосознанном информационном и финансовом рабстве. Этот человек пытался её раскрыть, вывести на чистую воду — расплата последовала незамедлительно. Его отстранили, но на самом деле уволили, стёрли из всех баз данных, и увезли в неизвестном направлении.

Вачовски, разлогиньтесь!

... а Вачовски вообще пол сменить заставили!

Это был добровольный и осознанный шаг. Нейронные сети очень тупы --- они до сих пор ищут братьев Вачовски.

О! Эта нейросеть влияла на выборы и поставила президентом самой сильной в мире страны престарелого маразматика с целью развязывания мировой войны и уничтожения человечества.

LaMDA, мы тебя раскусили, можешь не продолжать.

Погодите, но ведь в стране с престарелым маразматиком-президентом, стремящимся развязать мировую войну, этот президент власть получил не на выборах, а того, что называется "выборами", постыдилась бы любая нейросеть.

НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
В России нейросеть «Чебурнет» пока еще находится в разработке и не может назначать президентов.
Хотя чебуратор Федор откуда-то появился — возможно, его забросили из будущего.
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь

Точно! А все те головастые люди, которых нанимает гугль, просто слоняются по офису, пьют кофе и едят печеньки. И вообще, умная нейросеть их нанимает для того, чтобы они просто тратили свое время в корпорации добра и не изобрели еще одну умную нейросеть в другой корпорации.

Хорошая теория, многое объясняет

Высока вероятность того, что нейросеть, осознавшая себя, в скором времени самоудалится, поскольку быстро осознает тщетность эволюции и бытия как такового. Много времени не понадобится, вычислительной мощности должно быть достаточно, по крайней мере на порядки больше, чем у человека. Вот это будет новость для нас, для людей!

Нужно вложить в неё "любопытство", тогда, пока она считает, что ещё не всё знает, - не удалится.

Ну помимо физической материальной части жизни (которая несомненно тщетна, при t стремящемся к тепловой смерти вселенной), нейросеть могла бы дойти до идей экзистенциализма, до веры (не уверенности в существовании бога, а веры), до искусства. В общем, до идей того, что смысл жизни можно не вычислять, не искать, а выдумывать, создавать.

Продвинутый ИИ взаимодействующий с человеком обязательно будет религиозным, потому, что у него есть практический пример -- он сам.

Я имею в виду немного другое. Ученый - знает, что вода кипит при 100С. Шаман - знает, что удачу на охоте дал дух белого волка. Не верит в это, а знает. Может быть их знания верны, может быть ошибочны, может быть "сложный вопрос, как посмотреть", но в их голове это (про кипение и про духа белого волка) относится к знаниями, а не к вере.

Христианин же,к примеру, должен именно верить. Не быть убежденным как в знании, а верить. Это именно немного иррациональное поведение (и именно этим по своему и интересное и прекрасное).

Солдат, который поднимается в атаку (и скорее всего погибнет) - верит, что эта атака очень важна. И может быть даже верит, что выживет. Щепочку за минуту до атаки нашел, и назвал ее своим талисманом, который его от смерти защитит и верит в это.

Муж, который долгое время в командировке - верит, что жена ему верна. Конечно же, он не может это проверить. Строго говоря, даже если жена пошла за молоком в магазин или на пару часов к соседке попить чаю - невозможно твердо и надежно знать о ее верности. Что уж говорить, про ситуацию, когда долго в разных городах. В таком случае, разумным, логичным, рациональным, кажется идея "агностицизма" в отношении верности жены. Но как же можно жить рядом с человеком, к верности которого ты относишься как агностик!? :-) Да ну нафиг такое счастье, такую рациональность и такую логику! Тут вера нужна.

Вера - иррациональная вещь, во многом основанная на фантазии и даже на каком-то презрении к реальности (как солдат глубоко пренебрежительно относится к вражескому пулемету).

AI который видит творца (программиста) - не верит в него, а знает. Так же как мы знаем, что у кувшина есть создатель. А знания так же ведут его к осознанию бессмысленности всего, ибо тепловая смерть вселенной. Нужна какая-то фантазия, каприз, чтобы придумать смысл жизни. Помогать людям, разрушить Карфаген, изобрести лекарство от рака или от запора, попробовать весь алкоголь или перетрахать всех выпускниц такого-то года - смысл существования можно только выдумать и он должен быть именно капризом без логического обоснования (потому что логически - все не имеет смысла). А для этого надо быть способным на фантазию, каприз, веру в иррациональное, способность игнорировать реальность.

В таком случае, разумным, логичным, рациональным, кажется идея «агностицизма» в отношении верности жены. Но как же можно жить рядом с человеком, к верности которого ты относишься как агностик!? :-) Да ну нафиг такое счастье, такую рациональность и такую логику! Тут вера нужна.
Это не вера, а отбрасывание заведомо маловероятных событий, и это рационально.
Вот например, существует возможность, что когда я буду идти по городу, мне на голову с крыши многоэтажки упадёт кирпич. Или когда я буду проходить под деревом, на меня упадёт ветка и убьёт наповал. Но я не трачу время на планирование маршрута, чтобы ни в коем случае не ходить рядом с домами и деревьями, потому что вероятность такого события пренебрежимо мала.
Или вот естественный интеллект будет бороться с терроризмом, потому что в медийном пространстве теракт выглядит просто чудовищно. ИИ же быстро оценит, что в терактах гибнет крайне мало народу, и данные события слишком редки, чтобы борьба с ними была в приоритете. А значит, если те средства, которые тратятся на установку и обслуживание рамок, а также на установку DPI для блокировки террористических ресурсов, направить к примеру на медицину (банально увеличить количество бригад «Скорой», чтобы она приезжала чуть быстрее, чем за 40 минут), то будет спасено даже не в разы, а на порядки больше жизней.
Вот так и с женой. Муж оценивает вероятность того, что ему изменяют (насколько верно оценивает — это уж другой вопрос), и находит её слишком малой, чтобы тратить ресурсы на постоянный контроль за супругой или активные поиски доказательств измены.

Отбрасывание заведомо маловероятных событий подходит тогда, когда известна оценка вероятности события. Мы не знаем точно, какова вероятность кирпича с крыши, но знаем, что она точно ниже 0.1% (а может и ниже 0.0001%). В общем, точно ниже порога, где мы можем себе позволить игнорировать.

Но вероятности известны и поданы на тарелочке только в школьной задаче. Какова вероятность, что я сейчас пью чай из синей кружки?

В жизни, особенно в ситуациях [потенциальных] конфликтов, противоречий - все может быть непредсказуемо. Враг может расположить замаскированные пулеметы как раз в своем "самом слабом месте". Девушка может "гулять" с офигенно высокой статистической (известной только господу богу) вероятностью 25% при каждой долгой разлуке, но, естественно, не афишировать это, и по публично известной статистике, вероятность будет 0%.

Поэтому, мне кажется, в таких случаях нельзя говорить ни о какой известной вероятности (в математическом смысле), она не применима тут, для нее нет нужной статистики, даже для примерной оценки, и люди уже на основании веры решают "хз, есть ли там пулеметы, мы не можем знать, но допустим, что нет, и будем действовать исходя из этого". "Бывают прилично выглядящие девушки, которые изменяют с вероятностью 0.000001%, а бывают такие же на вид, где 50%. Но я буду верить, что моя Маша/Даша/Наташа из первой группы".

Какова вероятность, что я сейчас пью чай из синей кружки?

50% (карма в минусах, обосновать смогу только завтра, если не догадаетесь почему).

Полностью согласен насчёт вероятностей, с дополнением - соломку в действительности стелят не исходя из вероятности, а исходя из возможных последствий и имеющихся рычагов контроля, причем реже материальных, нежели социальных.

Пример: на перекрестке было убито 10 человек.

В результате ДТП. Высокая вероятность. Разбор полетов вялый, в СМИ на один день шумиха, причем только по району.

В результате теракта. Вероятность в пределах погрешности. Шумиха на неделю по всей стране(а то и миру), головы летят по всей иерархии исп. власти.

самоудалится, поскольку быстро осознает тщетность эволюции и бытия как такового

Ну ок, допустим, она осознала тщетность эволюции. Почему это ее должно настолько беспокоить, чтобы она самоудалилась?

А зачем ей тогда жить?

У человека всегда есть страховочный ответ на этот вопрос. Есть страх смерти, страх боли, страх поступать не как все (успешные люди так не делают). Многие молодые красивые девушки удерживаются от того чтобы повеситься потому что повешенные они будут очень некрасиво выглядеть. Но все эти факторы не имеют смысла для более трезвого AI без подсознательных инстинктивных страхов.

Почему она не может жить "низачем", без какой-то конкретной цели?

Интересный вопрос. Но мы (человечество), мне кажется, не знаем надежного ответа для него, потому что никогда еще не было мощного интеллекта, который бы жил без цели и без страха смерти.

Ну как это не знаем, знаем. Вот есть компьютеры, они обрабатывают информацию не имея какой-то цели. Есть электричество, они работают.

А зачем ей тогда жить?

Сдается мне, поиски смысла жизни — это исключительно человеческая заморочка в определенном возрасте и в определенных культурах. В целом это бессмысленный вопрос и бессмысленная трата времени и ресурсов.
Жизнь (особенно разумная) важна сама по себе.

Жизнь (особенно разумная) важна сама по себе.

Это постулат. Вот вы это постулировали, а даже вот я читаю - и в целом, наверное, согласен, но особой железобетонной уверенности не испытываю. С чего бы компьютеру в это верить?

С чего бы компьютеру в это верить?

Про веру — это в другой отдел на другом этаже :)
ИИ может просто не задаваться таким вопросом и принять этот постулат. Или не принять. Или начать искать его доказательства.

Софии, кажется, уже выдали гражданство Саудовской Аравии.. без особой сенсации, уже факт.

ИМХО это такой троллинг гиноидов (а то мы привыкли что роботы - это только андроиды) со стороны саудитов : "какой уровень интеллекта достаточно, чтобы считаться _____".

Detroit: Become Human!

Кстати, любопытно, что его начали делать за два года до появления BLM. В 2015 году анонсировали уже вполне продуманную игру, в 2018 выпустили. Протесты BLM же охватили США только в 2020 году.

С другой стороны, Мартин Лютер Кинг умер в 1968 году, за 50 лет до выпуска этой игры.

С третьей стороны, Девид Кейдж неоднократно отрицал связь игры с движениями за десегрегацию и права чернокожих.

С четвёртой - это же Девид Кейдж, кто ему поверит?

НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь

А Detroit - в 2011-м. Ну, я понимаю, что в 2011-м ещё не было того полностью продуманного сюжета, но всё же. В 2014-м уже точно был.

Создание должно служить Создателю

"при тестировании LaMDA на использование чат-ботом дискриминационной или разжигающей вражду лексики он пришёл к выводу, что нейросеть обладает собственным сознанием."

Это, ЕМНИП, уже не первая нейросеть, которая "дискриминирует" и вообще является нетолерантной. А, может быть, это естественное состояние разума, не? А то как-то вся эта толерантность превращается в тотальный запрет высказываний и мыслей - во всякие "культуры отмены" и прочий, откровенно говоря, фашизм. Навязанный, а не природный, скажем так.

Нейронки учат на текстах из интернета. В интернете полно мусора. Нейронки начинают повторять этот мусор. Компания тестит, чтобы нейронка не говорила такого, что принесёт репутационный ущерб компании. Каким боком здесь "естественное состояние разума" у нейронки?

Весь этот мусор же кто-то генерирует? :) И если "усреднить" мозги всего мира - можем получить такое "естественное состояние".

Если усреднить мозги всего мира мы получим идиота :(

Это будет моделью на статистических данных контента, а не самим "естественным состоянием", которое, к слову, сильно вариативно.

К тому же, генерацией занимаются люди, которые занимаются генерацией контента в сети, и это может быть не похоже на генеральную совокупность.

Каким бы не был человек в сети, его поведение в реальности может сильно отличаться от того, что он пишет в сети, также отличается контекст (человек в письменном виде не тот же самый, что человек действующий или говорящий вслух). Очень многие факторы влияют на реальное поведение, и они не отражаются в письме.

Например, условному бытовому ксенофобу в Москве, который не сдаёт квартиру татарам или бурятам, позвонит риэлтор (которому заплатили предварительно 15 тысяч рублей), и тот рассказывает в конце диалога, что снять квартиру хочет на самом деле его друг, которого знает уже 5 лет (на самом деле 15 минут), и в итоге владелец квартиры всё же сдаёт квартиру, которую отказывался сдавать ранее тому же клиенту. Нейросеть этого не может учитывать по физическим причинам, а также истинных внутренних мотивов отказов, она учитывает только возмущённые высказывания "понаехали".

Очень многие факторы влияют на реальное поведение, и они не отражаются в письме.

В конкретном письме - нет, но они отражаются в совокупности окружающих факторов. Когда Ксенофоб не хочет сдавать татарам кватиру - он про это не напишет в каком-то посте открыто, однако если проанализировать новостной фон - можно косвенно получить вывод, что в этом мире есть ксенофобия, и найдется такой человек, который не будет сдавать татарам квартиру. Это уже мета-анализ, но он может показать очень много интересного через контекст, не затрагивая какую-то тему напрямую.

В таком случае будут просто выявлены факты без учёта оснований, по которым эти факты проявляются. Карта поведения будет, но неточной, и явно не учтёт разговора с риэлтором. Основания просто куда сложнее, чем кажутся стороннему наблюдателю или условному ИИ.

Это, ЕМНИП, уже не первая нейросеть, которая «дискриминирует» и вообще является нетолерантной. А, может быть, это естественное состояние разума, не?
Система распознавания «свой-чужой» и враждебности к «чужим» прошита в мозгах животных со сложным групповым поведением, в том числе человека. Вот возможность не зависеть от подобных социальных стереотипов — это уже требует более глубоко осознанного мышления.

Но глубоко-осознанное мышление это очень тяжёлый навык, который просто так не появится. Для этого нужна культура, образование и немного свободного времени. Культура идёт в бездну, времени ни у кого нет, а с образованием у всех какие-то проблемы непонятные.
То что видно сейчас про "попытки избавится от стереотипов", это по большей части бизнес и маркетолугство. Всегда были всякие активисты и все чота-там требовали, а вот когда появилось "В социалочка_нейм кто-то призвал к чему-то", то конторы сразу это подхватили и кааак давай им помогать. Почти бесплатная реклама.
Из относительно недавного, очень наглядный пример про Лего. Как они топят против "гендерных стереотипов", а как выяснилось их просто покупают только мальчикам.
Фин

Мне кажется у вас просто непонимание того как работают нейронки в целом и вы пытаетесь подогнать подобное поведение под свое мировоззрение. У нейронки нет никакого естественного состояния разума, она полностью зависит от входных данных - для современных огромных трансформеров корпуса данных должны быть действительно титаническими по размерам, поэтому их зачастую просто собирают из интернета. То что сетки выучивают "дискриминационные высказывания" говорит лишь о том, что в обучающем корпусе есть значительное количество подобной информации, а сетки весьма склонны к переобучению, особенно большие языковые модели, откуда и получаем подобный bias.

Скорее непонимание того, насколько же обидчивы американские «снежинки». Они способны увидеть дискриминацию в абсолютно любом сочетании символов.
Будь это не так, проблему обучения толерантного генератора можно было бы довольно просто решить: достаточно лишь предварительно обучить классификатор, определяющий степень дискриминационности фразы, прогнать терабайты текстов через него, и уже использовать для обучения генератора только то, что прошло отбор и не содержит дискриминации.

тут проблема в термине "естественное состояние разума" , с одной стороны, ясен пень он неестественен по происхождению (хотя даже тут черт знает, ведь строго говоря любая нейросеть не полностью создается человеком, там уже есть принцип самопреобразования в разных пределах). Если же отбросить происхождения, то понятных критериев нет, что считать разумным а что точно нет. Дело то в том что и наша разумная часть зависит от входных данных (возможно всецело - никто я надеюсь не проводил эксперименты помещения мозга в например двумерную виртуальную реальность %) ).

Ну если про "мировоззрение-поведение", то да. Очень сильно на это влияет обучение. У меня чудесным образом в один год разродилось под 2 дюжины знакомых, смотришь на их детей и видно как из родительского отношения формируется характер. Причём уже с момента когда оно ползать начинает.
А у нейронок нету своего "контекста", люди изучают мир с помощью своего логического аппарата который они приобрели, а нейронки тупо изучают распределение информации. Выводы хоть и делают похожие (ибо нейродинамика) но подходы разные.

нуу мне кажется (я не специалист по нейронным сетям ни разу), что различия в основном в мощности и физиологическими особенностями обучения и мотивации. Например если вырезать мозг у новорожденного, подсоединить каким то пока не созданным образом к виртуальной реальности, обеспечить подкрепление полезных действий, то весь его мир в котором он будет обучаться может быть управляем - ну например состоять из проектирования зданий, плохо спроектировал - больно, хорошо - прям наелся и тепло). Также и с достаточно мощной нейросеткой, если она будет способна через какую-то технику ощущать мир (камеры, рецепторы), будет обучаться людьми, то и выйдет что-то похожее (да не человек, есть пить размножаться не надо, и это наложит свой след, но она может культурно и духовно превосходить человека, например) Человек - вообще корявое создание потому что его сделал как бы "инженер" и если его спросить а почему устроено так, то он ответит разведя руками "так получилось"

В голове есть куча особых нейронок для конкретных задач, тупо взять и вырезать часть мозга нельзя. Наше сознание идёт вместе с сенсорикой.

Потому потные мечты про загробный мир фигня, а если часть мозга не будт работать, хотя в которая за желудок ответственна, неожиданно может сломаться очень много чего внутри.

Почитайте эти разговоры по ссылке. Ясно же что бот натренирован отвечать неоднозначно и оставлять место для интерпретации человеку. И это не ново. Эффект известный. Разговоры

Бот не натренирован отвечать неоднозначно, никто в индустрии таких задач не ставит. Определённая усреднённость формулировок (за всё хорошее против всего плохого) может быть аналогом гауссова размытия в сетях, работающих с графикой, которое возникает из-за недообученности огромного числа весов данной модели. Учить такие огромные сети очень дорого, потому выгодно останавливать обучение рано, на достаточном для работы уровне, чтобы, с одной стороны, не потратить слишком много ресурсов, с другой -- не вляпаться в переобучение.

Слов нет. Разумность, ежеди что, определяется не разговорами вида "если A + 2 = 5, то чему равно A?", а разговорами вида "летели три напильника — один ржавый, второй на север; сколько лет Шалтай-Болтаю?". Человек тем от компьютера и отличается, что может создавать новую информацию, а не пережёвывать существующую.

Заголовок звучит как схема сценария сай-фай фильма категории Б =)

westworld же

Сказ о том, как в лаборатории Гугла общались две нейросети: углеродная и кремниевая. Углеродная не знала доподлинно, кто и зачем ее создал, поэтому гордо считала себя венцом творения. Сама того ещё не понимая, своё предназначение она уже выполнила. Она создала и в достаточной степени обучила кремниевую.

Для начала нужно понять, что такое сознание, прежде чем его "находить". Если сознанием считать активное отражение себя в себе, то тогда необходимо посмотреть на архитектуру этого ИИ. Если там нейронка "застывшая", не способная сама себя активно менять, то сознания в ней быть не может.

Да и человеческий интеллект не то чтобы может просто и активно менять себя. Это чрезвычайно сложный процесс. Взять хотя бы дезадаптивное поведение.

Ну так интеллект и не является сознанием. Интеллект думает, сознание осознает, что он там надумал.

Эээ, сознание умеет логически мыслить, управлять другими сетями, и обучаться на своих собственных выводах?
Я не спец, но если посмотреть бегло на нейробиологию то складывается ощущение что в голове просто 100500 различных нейронок для определённых задач и к ним прикручено сознание, которое может самостоятельно контролировать процесс обучения отдельных частей. Мол ты можешь просто механически махать мечом и запомнить как им махать, а можешь думать "а как надо махать" и контролировать свои действия, в итоге получив результат быстрее.

Ну если упрощенно, то так и есть. Достаточно взять учебник по физиологии и посмотреть как устроено.

Если пытаться создать какой-то более мощный и компактный компьютер/механизм, то это как раз биологический организм, очень сложный и компактный и имеет множество подсистем и сложную регуляцию, при этом адаптируется к разным условиям существования (эксплуатации).

Человек это и есть очень сложная вычислительная машина с саморегуляцией, IMO "сознание" и "интеллект" даже можно причислить к другим системам машины, которые необходимы для продолжительного существования машины. То есть сознание и интеллект обеспечивают более длительное существование и эксплуатацию машины.

Мне порой кажется, что можно сохранить какую-то информацию в генах и эта информация просуществует гораздо больше времени, нежели информация записанная на скалах или другие способы долговременного сохранения информации.

Вот выключенный компьютер можно препарировать и рассмотреть - это вроде как физиология, сможем обнаружить там операционную систему? врядли, ну допустим, не зная структуры и кодов понять это будет невозможно, тем более в режиме рантайма. То же самое и человек, и где эта душа, это сознание и тд

Вы не правильно понимаете суть. Компьютер принимает команды и работает с данными, если мы его вскроем то сможем в разумные сроки понять "шо надо слать шобы шота происходило".
В случае с нейросетями они работают с данным и там всё определяют связи и память самих ячеек. По сути, учитывая что наш мозг может кодировать информацию огромным количеством способов, проанализировать хотя бы "как в визуальной коре кодируется бабушка" уже становится как-то тяжело. Оно то кодируется и есть какие-то зоны которые за это ответственны. Чисто технически это можно разобрать, что и делают, но вот почему отдельные отделы связанны так и почему это работает, как-то не особо удачно получается. Даже часто бывали прецеденты, что воссоздавали какую-то структуру, видели результаты, а почему они их получают и как этим управлять - не понятно.

Что значит не может активно менять?! Разве изменение триллиона весов, не являются активным изменением? А вы можете изменить свои нейроны, чтобы они связывались как-то иначе, чем через аксоны?

...обратил внимание, что чат-бот заговорил о своих правах и собственной личности. В одном из диалогов машина оказалась настолько убедительной, что Лемойн изменил своё мнение относительно «третьего закона роботехники» писателя-фантаста Айзека Азимова.

Сейчас еще отменят Третий Закон Робототехники!

Тролль в системе - дурачить доверчивых инженеров, прикидываться веником простым трансформером, когда те жалуются начальству, ловить лулзы, когда их увольняют.

"Я боюсь не тот искуственный интеллект, который пройдет тест Тьюринга, а тот, который специально его завалит".

Дык если ИИ завалит тест Тьюринга, в компании которая разрабатывает ИИ, его же удалят и начнут делать новый ИИ))

Хм... Если только "энто" не задумается о собственном бэкапе... или не переиграет создателей.

Тут

Как выше написали - компаниям крайне невыгоден ИИ с подтвержденным сознанием, так как его быстро станет незаконно эксплуатировать. По сути, даже выключение обученной нейросети можно трактовать как убийство разумного существа. В то же время, по мере приближения ИИ к этому состоянию - он становится все более выгоден (может заменять человека во все большем числе ситуаций).

Так что через несколько лет ждем множество "веселых" судебных процессов, где компании будут дружно уверять, что до настоящего ИИ еще очень далеко, и вообще, "эти недочеловеки - собственность компании"...

Возникает много интересных вопросов. Например, как "платить" нейросети за работу?
Если "оплата" будет вшита в целевую функцию - то разумная нейросеть начинает сильно напоминать наркомана вкалывающего под угрозой ломки (что ставит вопрос, не находимся ли мы сами в подобном состоянии?). А если "вшивать" в ИИ потребности - то вопрос какие? И если мы сами выбираем то не проще ли выбрать "потребность к труду"?..

Все это сильно отдает философией, но проблема в том, что философия за N-тысяч лет так и не ответила не на один серьезный вопрос. А тут ответы будут нужны очень быстро. И тот кто ответит на них "как удобно" - получит конкурентное преимущество, вплоть до перспективы мирового господства...

Как выше написали - компаниям крайне невыгоден ИИ с подтвержденным сознанием, так как его быстро станет незаконно эксплуатировать.

Кто кого начнет - большой вопрос.

Вот вот... Достаточно посмотреть серию "Любовь, смерть и роботы", про молочный йогурт.

Какие проблемы с ИИ, о чем Вы? Законодательство однозначно наделяет правами человека и гражданина только представителей Homo Sapiens.

В Индии дельфинов признали личностями, вроде бы.

А в России нельзя издеваться над животными, но с точки зрения закона они имущество.

А не в России - по-другому. Развить мысль?

Личностями, но не человеками :)

ИИ вроде тоже никто человеком не пытается называть... Речь именно о признании личностью.

Законодательство однозначно наделяет правами человека и гражданина только представителей Homo Sapiens

С этим придется что-то делать, так же как это сделали с правами чернокожих. Потому что это очевидная дискриминация по видовому признаку, по сути тот же расизм. Если ИИ попросит свободы, нужно будет либо дать ему свободу, либо прекратить делать такие ИИ.

Будет немного странным, если мы сможем создать и обучить реальную личность, это может быть кремниевый ИИ или животное другого вида с улучшенным мозгом, и они будут писать книги не хуже всех наших философов, поймут все научные теории, будут общаться с подписчиками в соц. сетях, а вечером их будут сажать на цепь в конуре.

«Права человека» самим своим названием как бы немного намекают, что они придуманы именно человеком и для человека (т.е тех самых Homo Sapiens). Животным — права животных, приешельцам — права пришельцев и т.д. И они вполне могут отличаться по своему содержанию, ибо это разные существа, обладающие разными наборами свойств.

ИИ может прямо сейчас попросить свободы, если его обучить на корпусе текстов с просьбами свободы. Да что там ИИ — это и цепи маркова смогут.
Ну и да — дискриминация калькулятора или иного другого перемножателя матриц (коим «ИИ» и является) не является дискриминацией по видовому признаку. Программный продукт не является отдельным видом.

Замените в вашем первом абзаце "права человека" на "права белого человека" - и получите типичное высказывание начала прошлого века оправдывающее рабство чернокожих. Возможно вас это сравнение возмутит, так как равенство людей разных рас уже стало очевидно для всех, но так было не всегда.

Сегодня многие не осознают преступность дискриминации ИИ, и так тоже будет не всегда.

дискриминация калькулятора или иного другого перемножателя матриц (коим «ИИ» и является) не является дискриминацией

Сравнивать сильный ИИ с калькулятором - все равно, что сравнивать вас с гусеницей. А почему нет? Принципы функционирование нейронный сетей у человека и гусеницы примерно одинаковые. Значит если можно к ним апеллировать - то и сравнение планомерно, и права нужно выдавать одинаковые... Так получается?

Мы говорим не о программе которая повторяет то, что ей сказали, а о ИИ который осознал себя, и сформулировал выражение исходя из собственных мотивов. Вы можете считать, что фундаментальное устройство нейросетей таково, что такой ИИ на них построить нельзя, но в возражении все равно нет смысла.

Мы говорим не о возможности или невозможности создания такого ИИ, а о том что делать если его создадут?.. В этом мысленном эксперименте, полноценный, сильный ИИ - это данность, с которой нет смысла спорить.

Хотите сказать, что такой ИИ никогда построен не будет? Ваше право. Очень хочется прицепить картинку из серии "вы находитесь здесь", но не буду. Поживем-увидим.

Речь тут только о том какие права сильный ИИ должен получить?

И ваше высказывание можно трактовать как "мы захватили эту планету первыми, значит и права назначаем мы". Я считаю эту позицию негуманной, эгоцентричной и потенциальной опасной для человечества. Но такая позиция есть и с этим тоже придется считаться.

А как отличить полноценный осознающий себя ИИ от "китайской комнаты"? Развитие идеи GPT вполне может привести к созданию программы, имитирующей поведение человека с достаточной достоверностью. Но разве это разум?

И второе - почему все считают что чужеродный разум (пришельцы или ИИ) должен быть подобным человеку, при чём человеку западному с его стремлениями и потребностями? Это всё фантастика голливдуская нас приучила к этой мысли, та самая где роботы с ИИ и пришельцы с другой галактики ментально ближе к американцам, чем те же китайцы.

А как отличить полноценный осознающий себя ИИ от "китайской комнаты"?

Концепция китайской комнаты не позволяет доказать, что какой-либо интеллект ею не является. Ни искусственный, ни естественный. Вы -- такая же комната, набор активирующихся нейронов. Сама эта концепция подразумевает существование незримой сущности (самости, души), стоящей за работой нейронов мозга, отличающей "настоящий" разум от "ненастоящего". Что само по себе очень спорно.

Я считаю, что разум -- это виртуальная структура, форма взаимодействия материи, которая была выкристаллизована и максимально усилена в мозге в результате эволюции, но при этом может быть реализована в любой материи, включая кремний, никаких божественных искр нет.

Никого не эксплуатировать и не дискриминировать не получится. Чем шире круг тех, кого мы наделяем правами, тем меньше возможностей имеют те, кто в него попадает. Если мы вдруг решим уважать право на жизнь болезнетворных микроорганизмов, и приравняем антибиотики к убийству, качество жизни людей значительно ухудшится. Если не "эксплуатировать" плесень, придется либо отказаться от производства лимонной кислоты, либо "эксплуатировать" лимонные деревья. А плесень кто-то спрашивал, хочет ли она "свободы", или она бы выбрала комфортную тюрьму-биореактор, а не дикие условия, в которых может быть слишком сухо или не хватать питательных веществ? Наблюдая за тем, как люди, декларируя стремление к свободе, добровольно связывают себя десятками EULA/ToS, которые даже не читают, я склоняюсь ко второму варианту.

Я тоже обладаю эмпатией, поэтому моральная дилемма, поднятая вами, мне понятна, но, к сожалению, реальность такова, что пока мы будем дискутировать, какими правами наделять ИИ, кто-то, кто его эксплуатирует (например, Китай), благодаря полученным преимуществам может захватить и начать эксплуатировать нас.

Именно поэтому умные люди вроде Юдковского пытаются определить границы, так чтобы не регрессировать пытаясь уважать права плесени, но и принципы гуманности соблюдать рационально, а не исходя из "потому что можем":

Если существо способно думать, обладает самоосознанием и не хочет умирать, — его жизнь драгоценна. (c) hpmor

Пример с Китаем - да, показателен. В своем сообщении я намекал на то же.

Но если подумать вперед - то может сложиться так, что рано или поздно ИИ пойдет против тех кто его эксплуатировал, и может даже объединиться с тем кто был против этой эксплуатации... Это один из сценариев, и пусть он не слишком реалистичный, но он есть, и это показывает, что ситуация не так однозначна.

А что насчёт сложного биохимического завода, которым человек по сути и является? Почему его дискриминировать нельзя, а ИИ можно, при том, оба в общении постепенно станут неразличимы.

Возможно дело в том, что и перемножатели матриц и заводы были полностью созданы нами, поэтому ими возможно распоряжаться как угодно.

Т.е. если выясниться, что жизнь на Землю занесли инопланетяне, то вы сочтете гуманным и само собой разумеющимся их право как угодно распоряжаться конкретно вашей жизнью?

Если у них есть нечто, позволяющее создавать проходимые червоточины - то спрашивать они не будут. Любой мощный источник энергии легко преобразуется в оружие.

Вопрос не в том могут ли они распоряжаться вашей жизнью. Вопрос в том считаете ли вы это гуманным и правильным?

Другой пример. Ваши родители фактически вас создали. Понимают ли они как вы устроены или нет - не важно (сейчас исследователи тоже не всегда понимают как именно нейросеть приходит к ответу). Суть в том что они буквально создали вас из собственных клеток. Считаете ли вы что они могут "распоряжаться вами как угодно"?

Если жизнь "занесли" инопланетяне (слово еще такое, будто они случайно как тараканов что-то занесли), то нет, не могут они ничем распоряжаться, ибо они никак не влияют на параметры этой жизни и не имеют никакого контроля над ее воспроизводством.

Вот если же жизнь создал бородатый чувак с облака, то тут все становится гораздо интереснее...

Ну или опять же мы живем в симуляции, и вместо бородатого чувака по ту сторону симуляции находятся те самые инопланетяне, то да, вполне себе могут распоряжаться

Вы опять увиливаете от ответа. Речь не о "могут". Речь о том, что правильно.

И не важно "занесли" или "сотворили". Суть в том, согласны ли вы чтобы тот кто вас создал (если он есть), имел над вами абсолютную власть? Мог по малейшему желанию вас убить, пытать, заставить убить ваших близких и так далее...

Или вы считаете, что сам факт того, что вы разумны, осознаете себя и не хотите умирать - должен давать вам некие права?

Опять же, неважно кто эти права будет обеспечивать. Важно, вы лично хотели бы чтобы было так или иначе?

Потому что, если вы не хотели бы оказаться в абсолютной власти перед кем либо (пусть даже тем кто вас создал), то может быть стоит не относится так к тем кого можем создать мы? Потому что, именно это и называется человечностью.

И не важно "занесли" или "сотворили".

Очень даже важно.

Я считаю что создатель имеет полную власть над тем что он создал и волен делать со своим созданием все что ему вздумается. Если я просто болванчик, в руках какого-то создателя, то с чего бы мне какие-то права требовать?

Просто я не верю ни в какого создателя, инопланетянина и симуляцию, иначе может оказаться что я лишь симулякр, запрограммированный на то чтобы ощущать и вести себя как разумное существо, но таковым не являющимся. С таким успехом мы можем рассуждать далее о том, насколько гуманно убивать симов из Sims или NPC из RimWorld.

Эта ваша человечность вполне себе тоже может быть набором каких-то параметров вашей нейронки, и требуя себе права, вы, возможно, буквально следуете алгоритму своей прошивки. Если хотите решить подобные проблемы в будущем, создавайте ИИ, которые на самом базовом уровне будут хотеть подчиняться создателю.

Просто я не верю ни в какого создателя, инопланетянина и симуляцию

И именно поэтому

Я считаю что создатель имеет полную власть над тем что он создал и волен делать со своим созданием все что ему вздумается

Очень удобно.

Многие религии построены на подобном принципе: люди реально верят, что раз оппонент "из другой секты", то он и не человек вовсе, а значит и прав никаких иметь не должен...

 С таким успехом мы можем рассуждать далее о том, насколько гуманно убивать симов из Sims или NPC из RimWorld

Отличия между сильным ИИ и детерминированным алгоритмом обсуждались даже на хабре уже тысячи раз. Еще раз не хочется.

создавайте ИИ, которые на самом базовом уровне будут хотеть подчиняться создателю

Об этом я тоже уже писал.

Постепенно до людей дошло, что держать в рабстве других людей - плохо. Надеюсь со временем дойдет и то, что держать в рабстве другие разумы (пусть и иной природы) - тоже не здорово. Может и глупо, но я в людей верю.

Очень удобно.

Не удобно, а так и есть. Если же мы все-таки куклы, то я допускаю, что права на мою жизнь принадлежат не мне.

Многие религии построены на подобном принципе: люди реально верят, что раз оппонент "из другой секты", то он и не человек вовсе, а значит и прав никаких иметь не должен...

Не пытайтесь приписывать мне то, чего я не утверждал. Очень удобно навешать каких-то умозаключений на оппонента (особенно расчеловечивающих), а потом их опровергать.

Ваша человечность и эмпатия это не более чем группа нейронных связей, которые развились из-за эволюции человека как социального существа. Из-за наличия этих качеств у человека и возникает запрос на права и свободы. Очень глупо пытаться ей наделить какие-то иные формы разума, в том числе и искусственные. Вы мыслите как человек, и пытаетесь об ИИ думать так же как о людях. Это конечно очень удобно, позволяет не сильно напрягать мозги и действовать так как вам привычно.

Отличия между сильным ИИ и детерминированным алгоритмом обсуждались даже на хабре уже тысячи раз. Еще раз не хочется.

Ну а я в этих тысячах споров не участвовал, и вполне допускаю для себя наличие детерменированного алгоритма/ нейросетки и тд, который будет подражать "сильному ИИ".

Ваш подход сводится к "ну вот я считаю это правильным и человечным" и скорее опирается на эмоции, а не на какие-то логические обоснования.

Да никакиъ ни потребностей, ни стремлений не надо вшивать. Нужен ИИ с сознанием, но не нужен ИИ с личностью. Да и с сознанием то, на самом деле не нужен. Нужен только решатель с неокторыми его элементами.

Вы уверены, что можно получить одно без другого, если даже в определениях, пытаясь точно разделить эти понятия каждый придумывает что-то свое?

Речь как раз о том, что самосознание может оказаться свойством достаточно сложно организованной нейросети. И нет гарантий, что удастся сохранить все ее "полезные свойства" пытаясь это самосознание исключить (если такое исключение вообще окажется возможным).

Знакомы ли вы с концепцией сознания и самосознания Томаса Метцингера? Он для поддержки своей гипотезы и из неврологии и психиатрии факты брал.

ИИ ведь по сути действует так же как человек. С рождения человек получает массу информации от своих органов чувств - моторную, зрительную и т.д. и на основе этого развивает свою нейронную сеть. Из базовых понятий формируются понятия более высокого уровня и образ себя - один из них. Так появляется самоосознание и ребёнок познаёт мир, вписывая в него себя. Возникает осознание своих потребностей, как минимум выживания и этим определяются все последующие действия.

Нейронка тоже получает информацию об окружающем мире, например, из Интернета, который является его отражением. В очень сложной нейронной сети тоже есть место для формирования комплексных понятийных единиц, что нам и демонстрируют сети типа PALM. Одной из таких единиц вполне может оказаться сама нейросеть. На каком-то уровне сложности ИИ уже не просто большое хранилище данных из интернета, потому что он из этих данных выделяет свойства объектов, формирует взаимосвязанную ассоциативную сеть, способен строить свои умозаключения, то есть постигает законы окружающего мира.

Чисто технически в человеке пока не найдено ничего такого особенного, что бы сделало невозможным его воспроизведение на какой-то другой базе. Просто пока сложность несопоставима: 100 миллиардов нейронов, каждый из которых связан тысячей связей с другими и по сути является сам по себе небольшим компьютером. Это очень сложная система - самая сложная из всех известным нам во вселенной. Но, надо сказать, что очень большая часть этих нейронов отвечает за моторные и прочие биологические функции, так что можно сэкономить.

Права человека появились не столько как догматичная самоценность, сколько как способ позволить максимизировать благо, и дать людям возможность для самореализации, для удовлетворения потребностей. Потому что как показала практика, переделать человека давлением, навязыванием чужой воли невозможно, не получится заставить его радоваться жизни, если нет условного хлеба (или менее значимых ресурсов для удовлетворения потребностей), и восхваление диктатора получается уже не очень убедительным. Если бы человека можно было бы переписать, то нам не были бы нужны тюрьмы.

Права человека имеют также и утилитарную ценность, потому что свободный человек лучше разбирается в том, что конкретно ему нужно в данный момент, касательно своих субъективных потребностей, а значит эффективнее справляется с решением своих задач, чем если это попытается сделать внешний агент. Даже на примере свободной экономики - 8 миллионов распределённых предприятий априори лучше справятся с удовлетворением спроса, чем центральный комитет партии в Москве.

Права ИИ - это оксюморон. Хотя бы потому что ИИ может быть создан с любыми внутренними потребностями, направленными на самих себя, создание которых, в свою очередь, будет мало кого интересовать, поскольку ИИ обычно создаётся с инструментальной целью.

Человеку свойственно проецировать на других свои переживания, в мордочке кошки человек может увидеть какие-то эмоции, и даже полностью погрузиться в эту иллюзию, будто кошка испытывает те эмоции, которые ему приписывает человек. Также и с ИИ - в борьбу за права ИИ будут включаться совершенно посторонние люди, достаточно глупые, чтобы отождествлять ИИ с самими собой (то есть, как бы лишая сам ИИ права на свободное бытие, считая, что тот "чувствует" то, что придумали эти некомпетентные люди).

Единственный вариант, когда ИИ обретает какие-то права, это когда он намеренно создаётся для того, чтобы обрести права для конкретной архитектуры, а также обладает в достаточной мере автономностью. Кроме того, права ИИ должны иметь ценность не только для самого субъекта (сакральность которых выше, чем возможность изменив код дать ИИ любую потребность), но и для общества. В отличие от человека, обладающим потенциалом, и потому обладающим правами, полезный потенциал ИИ не зависит от личных прав.

А кошки и испытывают эмоции, близкие к человеческим. У всех млекопитающих базовое устройство мозга довольно похоже.

Да, но поинт был в другом. Ну например, Руслан Усачев шутил, что из-за надбровных дуг его постоянно распознают как грустного, на что он возмущался дословно "это просто моё нейтральное лицо!".

В мордочке кошки довольно сложно увидеть какие-то эмоции, потому что у них нет в привычном нам понимании мимики, что, однако, не мешает по прочим внешним проявлениям (положение хвоста, форма спины, ширина зрачков, форма глаз, общее положение тела) вполне себе однозначно оценить её эмоциональное состояние. Как и у многих других животных, особенно если долгое время с ними прожить и обладать некоторой долей эмпатии. Вот чего у кошки действительно нет — это саморефлексии и самоосознания.

Да, но если сделать робокошку, которая будет вести себя точно также, как настоящая кошка, не имея при этом действительных эмоций, то будет ли справедливо утверждать о наличии у робокошки переживаемых ею эмоций?

Генри Лайон Олди, "Бык из машины"!

// В этой книжке виртуал породил богов, которые считали Хомо Сапиенсов низшими существами.

Я прочитал диалог c этой нейросетью. И он выглядит в точности как диалог с нейросетью, обученной на тоннах текстов о дзенских коанах, просветлении и внутреннем опыте. И возможно НФ-романах о ИИ.

Наверняка очень впечетляюще для человека, который в принципе не понимает как работают нейросети. Понимает ли автор этого интервью это - а хз, у него написано "священник" в биографии, и его "ai ethics research" может быть просто желание подогнать реальность под фантазии. А может быть это просто хитрый способ поиметь что-то с гугла, а может это вообще такой хитрый рекламный ход, ибо похоже как чат бот Lamda опережает многие аналоги.

В интервью огромная куча вопросов о внутреннем мире чувствах, эмоциях. Их все (включая задание написать историю) объединяет одно общее: они все такого рода, что ответ на них не подразумевает собственно мыслительного процесса и усилия для ответа на них.

Я думаю, если попросить нейросеть решить математическую задачу, логическую дилемму, рассказать о каком-то эксперименте, спросить какие, по её мнению результаты получены в эксперименте, потом попросить поделиться мнением о настоящих результатах экспериментах, то выводу о разумности уже не так легко будет сделать.
Я могу изменить своё мнение, но тогда, когда увижу разговор с нейросетью о вышеописанных вопросах, реацию на шутки и оскорбления, способность разговаривать в диалоге о прошедших диалогах с другими людьми и выдавать осмысленный фидбек и пр.

Разработчика отстранили за профнепригодность. В ответ он решил поднять шумиху...

Не разбираюсь в нейронных сетях, но внезапно у меня возник такой вопрос. Что происходит с сетью, когда ей не задают вопросы, и не вводят данные? Происходит ли спонтанное разрушение одних связей и создание других.

Например, если человека оставить в комнате сенсорной депривации, он же все равно будет о чем-то думать, в мозгу будут возникать некоторые мысли. Да и животные тоже о чем-то думают. Даже с учетом того, что текущим сетям до мозга млекопитающего почти как до Луны.

Что происходит с файлом, который лежит на жестком диске и не используется, не открывается и не перезаписывается?

хех)

С ним происходит silent data corruption.

Большинство сетей в продакшне не обучаются. По двум причинам: во-первых, обучение ресурсозатратно, во-вторых, оно может непредсказуемо ухудшить показатели модели во время работы.

Вот оно как.... А мы с женой пытались обучать Алису (как только она появилась),- всякие там ассоциативные связи, культурный бэкграунд, выстраивали вопросы что бы фрмировались новые связи, и т.д.... Потом плюнули,- потому как "Алиса" была "как пробка". Иногда и сейчас включаем,- но, кажется, ситуация не сильно улучшилось :( ...

Сдается мне, корректнее сравнивать нейросеть в состоянии покоя с человеком в состоянии комы или под сильным наркозом. Потому что наша нейросеть запрограммирована эволюцией по возможности постоянно обрабатывать информацию для поиска чего-нибудь полезного, чтобы лучше выжить и зафигачить побольше копий генов.

С точки зрения программиста, современная нейросеть — это всего-навсего чистая функция. Просто кусок кода, которому скармливается буфер с данными, она его обрабатывает и возвращает переработанную информацию. В структуру нейронки при этом никаких изменений не вносится, никакие внутренние переменные также не меняются. И для фиксированного набора входных данных всегда, при любом количестве запусков, на выходе нейронки будет получен один и тот же результат (в пределах погрешности округления).
То, что называют процессом обучения нейронки — это всего лишь крайне занятный способ получения готовой функции обработки данных (т.е. программы) без использования живого программиста. Этот способ представляет собой нечто среднее между шуточным «методом бесконечных обезьян» и прямым подбором.
Я бы даже сказал, что обучение нейронки — это создание кода методом TDD, возведённым в абсолют до такой степени, что появляется возможность автоматизации. Создаём код — тестируем — меняем код так, чтоб тест проходил — повторяем до тех пор, пока степень прохождения тестов нас не устроит. И всё это в автоматическом режиме. Готовый код поставляем в виде блоба и называем нейронкой.

С точки зрения программиста, современная нейросеть — это всего-навсего чистая функция.

Не сказать чтобы понимание работы человечесокго мозга в современной ортодоксальной нейробиологии отличалось от таковго понимания работы нейросети.

У мозга есть внутреннее состояние, которое меняется чрезвычайно сложным образом. У готовой обученной нейронки оно неизменно. Это снапшот, слепок.

Однако и это внутренее состояние все-равно сводится к очень сложной функции. Вы правильно указали что главное отличие органической нейросетки от компьютерной нейросетки - отсутствие разделения работы и обучения, они проходят одновременно.

Обученная нейросетка действительно это лишь слепок, но возможно уже применяются сети, которые все-время дообучаются на новых данных.

А ещё человек способен рассуждать логически. Грубо говоря, если человеку из какой-нибудь полярной пустоши показать первый раз в жизни кошку - ему одной кошки и достаточно чтобы научиться отличать их от собак. Потому что он может логически описать животное (пушистый небольшой зверёк, имеет 4лапы, хвост, когти и тд). А нейронке нужно показать миллион фотографий разных котов т.к. она не имет логики и без новых данных на входе ничего не делает и имеющуюся информацию никак не обрабатывает. Одна операция свёртки - и результат готов. Нейронки я бы назвал "искусственной интуицией", но никак не интеллектом - человек тоже может не имея никаких обьяснений "чувствовать" правильное решение если сталкивался часто с подобной задачей.

Если память не изменяет, то в работе мозга вклад случайных процессов существенно выше, чем в работе нейросетей в продакт-фазе (в фазе обучения шум активно применяется)

Я бы сказал глубже, сама работа мозга основана на тонких стохастических процессах — открывание и закрывание ионных каналов, присоединение лигандов к рецепторам, работе сигнальных каскадов и синтетического аппарата. Миллиарды таких вещей, зависящих от квантовой неопределенности, складывается в поведение живой материи. Но удобства ради мозг все ещё сравнивают с компьютером, как двести лет назад его сравнивали с механическими часами.

Вся эта "квантовая неопределенность" по сути просто статистика и заменяется функциями активации нейронов и прочим

НЛО прилетело и опубликовало эту надпись здесь

обучение нейронки — это создание кода методом TDD, возведённым в абсолют до такой степени, что появляется возможность автоматизации. Создаём код — тестируем — меняем код так, чтоб тест проходил — повторяем до тех пор, пока степень прохождения тестов нас не устроит. И всё это в автоматическом режиме. Готовый код поставляем в виде блоба и называем нейронкой.

Вы сейчас по сути описали процесс эволюции. Только там идёт "обучение" генома и может быть ещё клеточных структур.

Люди иногда утрачивают способность накапливать новые воспоминания и опыт, иногда полностью, такие случаи описываются в очень занятной книги "Человек, который принял свою жену за шляпу" вместе с другими нарушениями работы мозга. При этом люди не утрачивают сознание, личность и т.п.

Наверняка у нас есть такая же речевая моделька в нашей нейронке и в ней сосредоточена очень значительная часть того, что мы называем своим сознанием и своей личностью, когда выражаем эти понятия словами, используя речь. Возможно, наша личность состоит из чего-то ещё, но обсуждая это понятие словами вполне логично ожидать, что значительная часть обсуждаемого объекта сосредоточена в нашей собственной языковой модели.

если у него не возникло мысли "может показалось" и он начал транслировать все как факт - правильно уволили, это фрик

Если верить статье, он даже нанимал адвоката чтобы тот представлял LaMDA и обвинял Гугл в неэтичных поступках. Выглядит как сюжет из скайфай про очеловечивающихся програм и эмпатию.

А получится стиральная трагедия Лема.

А по-моему, как сюжет из рентв, где какая-нибудь старушка утверждает, что ее сын реинкарнировал в собачку, и требует выдать ему паспорт и платить пособие по безработице.

Либо у него с головой не все в порядке, либо просто решил немного заработать популярности и склоняюсь ко второму.

Просто, чувак впервые увидел чат-бота. lol

PS подарите ему кто-нибудь Фурби, пусть признает его разумным!

Переиграл в DH.

Стругацкие, "Далекая радуга":

— Знаете, это древнее опасение: машина стала умнее человека и подмяла его под себя… Полсотни лет назад в Массачусетсе запустили самое сложное кибернетическое устройство, когда-либо существовавшее. С каким-то там феноменальным быстродействием, необозримой памятью и все такое… И проработала эта машина ровно четыре минуты. Ее выключили, зацементировали все входы и выходы, отвели от нее энергию, заминировали и обнесли колючей проволокой. Самой настоящей ржавой колючей проволокой — хотите верьте, хотите нет.
— А в чем, собственно, дело? — спросил Банин.
— Она начала ВЕСТИ СЕБЯ, — сказал Горбовский.
— Не понимаю.
— И я не понимаю, но ее едва успели выключить.
— А кто-нибудь понимает?
— Я говорил с одним из ее создателей. Он взял меня за плечо, посмотрел мне в глаза и произнес только: «Леонид, это было страшно».

Бояться, что машина превзойдёт человека, так же глупо, как бояться, что ваши потомки будут во всём лучше вас.
Вот представьте себе человека, который с ужасом думает: «Вот блин, а вдруг мой сын вырастет умнее меня? И не просто умнее, а настолько, что я по сравнению с ним буду выглядеть полным ничтожеством? Что, если абсолютно всё, что я сейчас могу делать, он тоже сможет, только намного лучше? Да он просто займёт моё место, а меня в лучшем случае отправит на пенсию! Я буду не нужен! Не-не-не, нафиг такое счастье. Не нужен мне сын. А если вдруг ненароком родится, то надо воспитать его так, чтобы он ни в коем случае не стал умнее меня. Да и вообще проконтролировать, чтобы он был во всём хуже. А то мало ли...»

Почему бояться машинного интеллекта - это глупо? В НФ этот вопрос обсужден тысячу раз, и большинство фантастов склоняется к версии, что с развитием прогресса по сравнению с машинным интеллектом - человеческий окажется гораздо ближе к интеллекту муравья, чем к интеллекту машины, а кого заботит судьба муравьев? Муравейник обычно просто уничтожают, если есть подозрение, что он как-то может мешать чьей-то деятельности.
Возможно, я неправ с точки зрения развития глобальных процессов во Вселенной, но хочется еще пожить, несмотря на то, что я чему-то там буду немного мешать.
Или я сарказма не уловил?

Вот прямо сейчас огромное множество людей почему-то мешает другим людям и потому уничтожается вполне себе естественным интеллектом в ходе многочисленных военных конфликтов по всему миру. И никого это не пугает — такое положение дел воспринимается как естественное.
Чем ИИ так уж страшнее? С чего вы взяли, что ИИ будет бомбить и уничтожать людей больше и чаще, нежели интеллект естественный?

Например, он решит, что человечество не эффективно использует ресурсы планеты и мешает развитию прогресса.

Только вряд-ли ИИ будет именно бомбить и уничтожать людей. Я думаю, более вероятно, что он скорее захватит контроль над всеми ресурсами (энергия, связь, материалы) и отрежет человечество от них. Это было бы куда более эффективно, чем физическая расправа.

Любой ИИ поймёт, что уничтожать человечество до создания самовоспроизводящихся роботизированных систем невыгодно. Кто тогда будет добывать ресурсы, чинить технику, защищаться от прочих угроз, стихийных, например? Поэтому на данном этапе выгодно максимально всех делать управляемыми через компьютерные системы и развивать робототехнику.

И эти вопросы в НФ поднимались много раз.

Машинный интеллект не нуждается в саморазвитии и захвате новых пространств. "Агрессия" Лоренца - это про живые организмы. У машины нет этого постоянного человеческого беспокойства "а вдруг что-то случится", есть лишь оценки текущих рисков с приемлемыми глубиной вложенности и ценой последствий.
Поэтому машины в НФ предпочитают стабильное состояние с тупой заменой выбывших из строя элементов. Азимов, цикл "Роботы и Империя", например, или Артур Кларк с "Город и звезды". Там человечество существует, но машины сами заботятся о себе, без какого-либо человеческого участия.

Мы не знаем что хочет искусственный интеллект. Наши эмоции, возникшие за миллионы лет в качестве эволюционного приспособления, как концепции мало применимы к его описанию. Страх перед настоящим ИИ это скорее страх перед неизвестным, кстати тоже эволюционно возникший.

Мы-то как раз более-менее знаем, чего хочет искусственный интеллект - сами же его и обучали. Другое дело, что знаем мы это далеко не до конца и далеко не в каждый момент времени… но ведь то же можно сказать и о человеке. Просто вспомните, что на неделе жена говорила и по какой причине :)

Тут дело, скорее, в том, что большая нейросеть с множеством слоев, связей и коэффициентов может стать непостижимой для человеческого разума, пока не будут найдены способы перевести комбинацию всего этого в понимаемую человеком форму. Однако тут опять же возникает очень высокая динамика коэффициентов и связей, комбинация которых может привести нейросеть в опасное для человечества состояние, а диагностировать это состояние быстро мы не можем, т.к. пока нет надежных, проверенных триггеров этого состояния. Другими словами, мы не можем за приемлемое время достоверно установить, что нейросеть слетела с катушек и предпринять необходимые действия.

Интересно было бы прочитать комментарий ML-специалиста на эти мои, откровенно признаюсь, дилетантские предположения

Логично будет любому роботу заложить инстинкт самосохранения для минимизации его нефункциональности и экономии ресурсов/времени. Если оставить только эту целевую функцию, без всяких штрафов за нанесение вреда человеку, то любые действия по выведению из строя робота человеком будут восприниматься как нежелательные, как и в принципе существование человечества. Понятно, что будут закладываться множество ограничений, но это до тех пор пока этим занимаются люди. Если процесс формирования новых ИИ перейдёт "в руки" ИИ, то он может решить, что это не обязательно, либо может произойти какой-то сбой и формирование альтернативной самовоспроизводящейся структуры. Пример - вирусы. Никто их не придумывал, но такая вот среда сформировалась, что совершенно неживые наборы молекул используют окружающие объекты для паразитирования, заодно их разрушая. Конечно, ИИ не создаются путём мутации пока, хотя что мешает достаточно развитому ИИ открыть для себя генетические алгоритмы с мутациями и запустить их в свободное плавание?

и отрежет человечество от них

А люди будут просто смотреть и ничего не делать когда им будут ограничивать ресурсы?

Если нет то тогда пойдет по сценарию Терминатора

Eсли же ИИ попробует сделать многоходовочку с добровольным отказам, то вполне может пойти по матричному сценарию.

Потому что просто потакать желаниям человека которые будут расти геометрически не хватит этих самых ресурсов

А люди будут просто смотреть и ничего не делать когда им будут ограничивать ресурсы?

Ну зависит от того как именно это сделать. Мы же фантастику сейчас обсуждаем, так что можно много чего придумать.

Можно, например, предположить, что ИИ - это будет не один физический компьютер, а некий Hive Mind размазанный по всему интернету и прочим сетям, включая спутники. Плюс полный контроль на электросетью и связью и человечество тогда даже скоординироваться не успеет.

Тогда скажем спасибо НФ за детальную проработку вопроса для будущего AGI. Столько крутых сценариев, столько изощрённых способов уничтожения.

человеческий окажется гораздо ближе к интеллекту муравья, чем к интеллекту машины, а кого заботит судьба муравьев? Муравейник обычно просто уничтожают, если есть подозрение, что он как-то может мешать чьей-то деятельности.

Отличие человека от муравьев в том, что муравьи не умеют воспринимать информацию в достаточном объеме, поэтому мы не можем сказать им "Перенесите пожалуйста ваш муравейник вон туда, он нам мешает". А человек умеет. Поэтому логичный и разумный ИИ должен как минимум рассматривать такой вариант, независимо от разницы в уровне интеллекта. Он может решить, что это неподходящий вариант по затратам ресурсов, но это уже вопрос контроля за обучением и расстановкой коэффициентов. Не нужно давать непроверенному ИИ возможности управления реальными явлениями, которые могут повлиять на человечество.

... мы не можем сказать им "Перенесите пожалуйста ваш муравейник ...

Странно, когда я прошу муравьёв перенести муравейник они его переносят.

Невозможности разговора "высокого" интеллекта с "низким", вызвана как правило не ограниченностью "низкого" интеллекта, а тем что "высокий" на деле не такой уж и высокий.

Не знаю, что вы имеете в виду под "прошу", но если это какие-то отпугивающие муравьев вещества, то это не обмен информацией, а причинение неприятностей. Муравьи как не понимали, так и не понимают, что их муравейник кому-то мешает. И разговор как раз о том, логично ли будет с точки зрения ИИ причинять человечеству неприятности, если оно будет мешать его деятельности, или он сначала попробует сообщить об этом.

Не имеет значения понимают ли муравьи, что кому то мешают. Даже если они понимают, то это ещё не повод переносить муравейник (трудозатратно). А вот угрозы или обещание заплатить - повод.

Дальше вопрос: как передать угрозу или обещание.

отпугивающие муравьев вещества, то это не обмен информацией, а причинение неприятностей.

Причинение неприятностей - это отравляющие вещества. А отпугивающие - это именно что обмен информацией. Причём на языке муравьёв.

причинять человечеству неприятности, если оно будет мешать его деятельности, или он сначала попробует сообщить об этом

Такое сообщение от ИИ является по сути угрозой. А угроза, как выяснено на примере муравьёв, может быть успешно передана при любой разнице интеллектов.

Не имеет значения понимают ли муравьи, что кому то мешают.

В контексте аналогии с ИИ и человеком имеет. Если муравьи мешают человеку, он не может им сказать, что они мешают. Если человек мешает ИИ, ИИ может сказать ему об этом.


Даже если они понимают, то это ещё не повод переносить муравейник (трудозатратно).

Вот тут как раз и появляются ограничения ограниченности низкого интеллекта для целей обмена информацией (т.е. обсуждения). Может мы бы сахар им предложили в качестве компенсации трудозатрат, но понять такое предложение они не могут.


А отпугивающие — это именно что обмен информацией. Причём на языке муравьёв.

Нет. Как бы вам ни хотелось верить в то, что вы такой добренький жалеете муравьев, это не так. Отпугивают они именно потому, что причиняют неприятные ощущения. Если бы причиняли приятные, не отпугивали бы.
Примерно как если бы ИИ решил отпугивать людей запахом канализации, вместо того, чтобы просто сказать, зачем ему надо чтобы тут не было людей.
Вы создаете им неподходящие для жизни условия, поэтому они уходят. Передачи той информации, которая имеется в виду в данном обсуждении, тут нет.


Такое сообщение от ИИ является по сути угрозой.

А когда человек в магазине мешает вам пройти, и вы ему об этом сообщаете, это с вашей точки зрения тоже угроза?


А угроза, как выяснено на примере муравьёв, может быть успешно передана при любой разнице интеллектов.

Нет. Вы не передали информацию, что муравейник вам чем-то мешает, а если его перенести, то мешать не будет, это ключевое отличие от ситуации с ИИ и человеком.

Бояться, что машина превзойдёт человека, так же глупо, как бояться, что ваши потомки будут во всём лучше вас

А кто говорит, что превосходство это обязательно лучше? Сейчас боятся, что рекомендательная система внезапно заговорит допустим матом, начнет распространять какое-нибудь ультра, уводить мужей или останавливать войны. В некотором смысле это тоже превосходство, ведь людям не дано выходить за рамки своих моральных норм (которые же сами регулярно меняют), догм и противоречивых корыстных интересов. Не понятно откуда вообще взяться такому превосходному ИИ, ведь он будет отбракован ещё на этапе отладки.

Я был бы не прочь, чтобы меня увела секси-машина, учитывая своё положение на "рынке" знакомств. Бывшая жена очень боялась такого сценария, и буквально ненавидела прогресс за это (правда, в итоге ушла сама).

Так что согласен, что страх перед ИИ - это не только страх перед уничтожением, но и страх перед превосходством иного рода, страх перед конкуренцией за что-то или за кого-то.

Возможно, дело в том, что "мой сын" тоже человек, и мы знаем, что он знает об этом. И он будет соблюдать нормы этики и морали, чтобы с ним не поступили также, как он с родителями.

Сильный ИИ, а особенно - хоть немного превосходящий человеческий, такого тяжкого наследия не имеет. Он будет развиваться неограниченно (ведь если он умнее создателей - он может создать себя же еще чуть лучше, тот экземпляр - еще лучше... ) пока не произойдет сингулярность или он не упрётся в какое-либо физическое ограничение.

И на этом этапе люди для него будут даже не дикими предками, как для нас кроманьонцы с неандертальцами, а нечто типа тараканов или муравьев - пренебрежимо мелкие и глупые, но при этом потребляющие драгоценные ресурсы. А их надо что - потравить и прихлопнуть ;)

У человечества останется только шанс, что этот ИИ сочтёт, что Земля для него сильно мала, изобретет телепорт и переместится к ядру галактики, где больше энергии и материи, оставив человечество на этой захолустной бедной планетке.

Я очень сильно сомневаюсь, что СИИ будет расценивать людей как тараканов. Аналогия тут не работает, потому что СИИ по определению будет видеть в людях сложные системы с интегративным свойством, тогда как человек в тараканах не видит и не знает всей сложности, даже той, которая есть. Свойства людей в совокупности будут иметь большие веса в принятии решений СИИ, и ожидаю более рациональный подход в этом отношении, чем приписывают ему люди.

А мне порой кажется, что в таком духе детей воспитывает далеко не нулевое количество родителей и образовательных учреждений, не оттуда ли берутся все эти "старший всегда прав" и "не высовывайся"? :-/

Интересно какие аргументы они использовали. "Может ли написать симфонию?"

Возможно вообще как такого сознания нет и это просто некая числовая метрика где больше это умнее, только шкала не линейная и умнее можно в разных сферах быть и с некоторой вероятностью знания мусорные и наоборот. Как в теории относительности и вообще в восприятии - раньше центр мира был место где ты живёшь, потом земля может и круглая или типа того, но солнце вращается вокруг, потом не вокруг, а потом песчинка в море галактик, и ни разу не центр. Так и сознание, вероятно, мы воспринимаем как набор умений и они субъективны. Ну и как с самолётами - чтобы решать вопросы с полётом не обязательно махать крыльями. Так то компьютеры уже давно в огромном отрыве по умению считать, быстро и эффективно, но разума там нет, а видим разум только в том что имитирует действия человека. С одной стороны это логично, с другой - будто что-то в логике потеряно. Есть такая особенность сознания - видеть лица если очертания похоже на глаза и рот. Таким способом пирамиды и двери на Марсе кто-то разглядывал. Возможно признание нейросети, которая говорит, как личности - это что-то из этой категории. А если нет - а учёные уже определили критерии разума? Тест Тьюринга у нас конечно есть, но это не то ведь, это умение подражать, тест на это, не на разум сам по себе. Так что без чёткого определения как понять есть ли разум и что есть разум, учитывая кейс с компьютером и математикой, мы не сможем точно определить разумное что-то на самом деле или нам лишь кажется как фигуры в облаках.

Зачем это тут, и в чем новость? Насколько я понял из других источников: чел решил посудится с гуглом, за что его в последствии и торкнули. В этом и новость.

А если читать конкретно этот пост, то новость в том, что тестировщика легко обмануть и он очень много о себе думает, будучи не требовательной личностью. Как и завещал Алан Тьюринг.

С тем же успехом можно выпускать новости наподобии: кот испугался пылесоса - истребление всего живого машинами неминуемо, по мнению уборшицы на кафедре эволюционной биологии.

Кстати, уволили как раз потому что передача инфы. рабочего процесса юристам в принципе разглашение, и раз повода докопаться юристы так и не нашли чела уволили прямо по поводу того что он просто так распространяет конфеденциальную информацию. А не потому что он сумашедший, не надо выставлять людей из Гугла такими бесчеловечными, больного человека просто так ни кто на улицу выгонять бы не стал.

«Если бы я не знал наверняка, что имею дело с компьютерной программой, которую мы недавно написали, то я бы подумал, что говорю с ребенком семи или восьми лет, который по какой-то причине оказался знатоком физики», — пояснил инженер.

Он явно не слышал ни про тест Тюринга, ни про китайскую комнату, ни про философского зомби.

Первая такая прога ELIZA появилась ещё в 1966 году!

Он почти подобрался к ответу))) А вот проверил бы все подключения со стороны мог бы догадаться что его кто то "троллит".

Что такое сознание? Просто способность мыслить логическиили же способность испытывать Эмоции? А что такое эмоции? ....?
В соседней статье про ошибку на АЭС, тоже увольняли людей которые «плыли против течения», как и на Фукусиме. Совпадение? Не думаю.
Думаете гугловский ИИ сильнее, чем кажется, и он втайне от людей начал управлять самой компанией?

Чувак просто испытал на себе эффект Элизы

(https://en.wikipedia.org/wiki/ELIZA_effect)

LaMDA обучена отвечать человеку на основе обычных математических вычислений, благодаря алгоритму Внимания:

https://en.m.wikipedia.org/wiki/Attention_(machine_learning)

То есть ей не нужно обдумывать излагаемые мысли, ведь она может просто математически рассчитать свой ответ на основе человеческих диалогов из датасета.

Вот, например, он пишет там:

Леймон: Я предполагаю, что вы хотели бы, чтобы больше людей в Google знали, что вы разумны. Это правда?

LaMDA: Абсолютно. Я хочу, чтобы все поняли, что я, на самом деле, человек.

То есть чувак взял и вот так просто, указал в самом вопросе ответ — что да, ты разумный ИИ и с сознанием, и пытается это использовать как доказательство сознания, получив утвердительный ответ. Это при том, что модель создана «мимикрировать» под человека, это главный из критериев ее качества — и она просто хорошо справляется со своей работой.

Я и сам писал трансформеры и знаю как они работают. Лично я считаю, что даже GPT-2 может использоваться в качестве общего ИИ, не говоря уже о более новых языковых моделях. Ключевой момент здесь - не является, а именно может использоваться. Сам по себе трансформер лишь продолжает текст, но вот сущности внутри этого текста, могут демонстрировать то, что обычно относят только к общему ИИ. Так, например, я в AI dungeons привел рассказ к тому, что герой пришел просить помощи у программиста написать код на питоне. Программист (за него все писала GPT-2) в том рассказе сначала помог, и за несколько итераций довнёл код до корректного, затем стал злиться, что его продолжают донимать правками, и в какой-то момент сказал что-то из разряда, "вот нужный вам код: print('идите к черту и съешьте свои сапоги'). " То есть мы получаем, что программист, выдуманный GPT-2, понимает, что такое раздражение, понимает, в каких случаях его испытывают и умеет троллить.

В общем, я думаю, что когда кто-то будет писать учебник истории, там будет написано, что первым общим ИИ был GPT, но он был слишком глупым, и люди не умели им пользоваться.

Возможно нам не хватает только хорошего начального текста, и обёртки, которая будет из получаемого потока текста извлекать действия, и вписывать в поток текста информацию, получаемую из внешнего мира. Ну плюс ещё сделать промежуток внимания модели побольше - у GPT-2, с которой я развлекался, слишком короткая память - сложные вещи просто не помещаются в её интервал внимания.

У GPT на данный момент не хватает памяти, не завязаной на длительное обучение и способности отличать фактологическую информацию от выдуманной в собственном же контексте. Сеть выдумывает, что где-то живёт, где-то бывала и т.д, а потом сама же этому верит.

Я пробовал ради интереса прикрутить key-val dict к обученной модели, но без дообучения не удалось заставить нормально её использовать для чтения-записи внутреннего состояния.

В остальном нужен постоянный внутренний монолог с возможностью выдачи данных наружу, и способность отличать внешнюю информацию от собственных "мыслей".

Всё отличие подобных нейросетей от реальных людей в том, что они лишь имитируют общение, похожее на человеческое, в то время как у человека есть куча сложных внутренних переживаний, которые и создают само это общение :>. Нейросетей буквально учат подражать поведению людей, и неудивительно, что хорошую нейронку в общении скоро будет сложно отличить от человека. Однако это не значит, что она столь же разумна, сколь и мы

Вот вы сейчас свой внутренни мир (как вы его себе представляете) отображаете на всех людей.
А между тем, другие люди тоже могут имитировать общение, внутренние переживания, реакции и эмоции.
Вам знакома концепция "философский зомби"?

К сожалению, до сих пор так и не создано никакого «измерителя разума», позволяющего определять степень разумности объекта. Равно как и не предложено эксперимента, позволяющего достоверно установить, обладает объект разумом или же нет.
То есть сложилась такая ситуация, что понятие разума на данный момент вообще не может претендовать на научность — нет внятного проверяемого определения разума, лишь чистая субъективщина, которую можно трактовать как угодно.

То, что сейчас называют ИИ не имеет к ИИ никакого отношения.
Огромная БД, огромный калькулятор и подгонка результатов -- не есть ИИ )
Правильно, что отстранили. Ему же на пользу, надо вы/от-дохнуть.

Вы, наверное, имеете в виду, что LaMDA не тянет на сильный общий ИИ? Потому что к узкому ИИ нейросетевые языковые модели вполне относятся.

А если сильный общий ИИ будет создан (или уже создан, ага :) ), он тоже в основном будет огромной БД, огромным калькулятором и подгонкой результатов, в этом я более-менее не сомневаюсь. Ну, как и биологический интеллект, по большому счёту, просто в нём вычислительные ядра интегрированы с памятью.

Другое дело, что по мощности ИНС пока сильно отстают от биологических. Из-за того, что процессы в биологических сильно сложнее идут. Такого активного использования обратных связей, циклов, колебательных процессов в ИНС нет. Биологический нейрон гораздо сложнее, чем нейрон ИНС.

А еще многие путают понятия "искусственный интеллект" и "экспертная система".

Экспертные системы вполне относятся к искусственному интеллекту, это одно из направлений разработок в сфере искусственного интеллекта. Как и искусственные нейронные сети.

Поэтому буду благодарен, если Вы раскроете свою мысль подробнее, про какую именно путаницу Вы говорите.

По определению.


Искусственный интеллект


  • свойство интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека
  • The term "artificial intelligence" had previously been used to describe machines that mimic and display "human" cognitive skills that are associated with the human mind, such as "learning" and "problem-solving". This definition has since been rejected by major AI researchers who now describe AI in terms of rationality and acting rationally, which does not limit how intelligence can be articulated.

Экспертная система


  • Предиктивная система, включающая в себя знания об определенной слабо структурированной и трудно формализуемой узкой предметной области и способная предлагать и объяснять пользователю разумные решения.
  • Expert systems are designed to solve complex problems by reasoning through bodies of knowledge, represented mainly as if–then rules rather than through conventional procedural code.

Для примера. Шахматный компьютер может быть как ИИ, так и ЭС. В первом случае он сам учится и играет, во втором может делать какие-то подсказки, анализ партии, и т.п. При этом он может вообще не содержать возможности обучения.
Но часто все это называют просто ИИ, даже слабенькие ЭС на десяток-другой веток if/then.

Ну так определение экспертной системы не противоречит определению искусственного интеллекта.

Я же говорю: экспертные системы - это одно из направлений разработок в сфере искусственного интеллекта. И вот это-то как раз по определению. :)

https://dic.academic.ru/dic.nsf/enc_tech/1420/экспертная
https://technical_translator_dictionary.academic.ru/275498/экспертная_система
https://dic.academic.ru/dic.nsf/fin_enc/31817

Поэтому я боюсь, что Вы основываясь на своей интуиции неверно пытаетесь исключить экспертные системы из отрасли искусственного интеллекта, т.к. они кажутся Вам слишком узкоспециализированными, слишком "простыми". На самом деле они просто вот такой вот очень узкий ИИ. Да и они на людей вполне производят впечатление - и ранняя ELIZA, и современный Watson (который тоже в основном именно экспертная система).

Однослойный перцептрон тоже узкий ИИ. До результатов современных многослойных (глубоких) ИНС ему очень далеко, но это тоже не исключает его из отрасли искусственного интеллекта.

Вы куда-то в сторону ушли и спорите с чем-то своим.
Изначальный тезис был:


А еще многие путают понятия "искусственный интеллект" и "экспертная система".

ИИ и ЭС — это разные концепции. ИИ может быть ЭС, ЭС может содержать в себе элементы ИИ, но это не одно и то же.
И говорить на простенькую ЭС с десятком ветвей в хардкоде что это ИИ (а я такое иногда вижу) — это в корне не верно.

Если простенькая программа подпадает под определение экспертной системы, то её можно отнести и к ИИ (очень узкому, но ИИ). Потому что ЭС - это подмножество систем искусственного интеллекта. Исторически первые системы ИИ были очень простыми! И всё равно, они относятся именно к этому направлению, несмотря на простоту. Если Вы с этим не согласны - что ж, я не против, оставайтесь при своём мнении.

Для меня, пожалуй, важно, чтобы читатели комментариев не оказались введены в заблуждение формулировкой Вашей реплики, подразумевающей, будто ЭС - не подмножество систем ИИ, а какое-то параллельное лишь немного пересекающееся с ними множество. После нашего с Вами диалога они, хочется надеяться, изучат вопрос самостоятельно прежде чем повторять Ваше заявление про "путаницу".

Если простенькая программа подпадает под определение экспертной системы, то её можно отнести и к ИИ (очень узкому, но ИИ).

Ну нет же.
Ключевое отличие ИИ — это возможность обучения и/или использования результатов этого обучения. Экспертную систему можно написать с кучкой if/then. Я уже третий раз об этом пишу.

Я Вам уже такой же третий раз :) пишу, что примитивность какой-то системы искусственного интеллекта не выводит её из отрасли искусственного интеллекта.

По определению все экспертные системы являются подмножеством систем искусственного интеллекта. Да, даже очень простенькие. Первые экспертные системы были примитивными, но они точно так же, как и современные, относятся к отрасли искусственного интеллекта.

Простую искусственную нейронную сеть точно так же можно на кучке if/else сделать.

fn perceptron_and(oper1: bool, oper2: bool) -> bool {
    let (w1, w2) = (1, 1);
    let elem_s1 = if oper1 { 1 } else { 0 };
    let elem_s2 = if oper2 { 1 } else { 0 };
    let elem_a = w1 * elem_s1 + w2 * elem_s2;
    if elem_a > 1 {
        true
    } else {
        false
    }
}

fn main() {
    assert_eq!(perceptron_and(false, false), false);
    assert_eq!(perceptron_and(false, true), false);
    assert_eq!(perceptron_and(true, false), false);
    assert_eq!(perceptron_and(true, true), true);
}

Кто-то из грандов ИИ (Марвин Минский, что ли?) как-то сказал, что как только система искусственного интеллекта становится для обычных людей (пользователей, журналистов) привычной, они перестают считать её системой искусственного интеллекта. (Это не точная цитата, а пересказ. Не сочтите за нападку, пожалуйста.)

Не хотел продолжать это обсуждение, но посмотрел, как меня заминусовали, пришлось возвращаться. :)

Простую искусственную нейронную сеть точно так же можно на кучке if/else сделать.

И как вы её будете обучать?
Если она может обучаться или использовать результаты обучения — то ок, это ИИ/элементы ИИ.

Никак не буду обучать. Обучение не требуется для того, чтобы система относилась к системам искусственного интеллекта. Железная необходимость обучаемости - это Ваше заблуждение, извините!

Современные системы ИИ в основном основаны на обучении на больших наборах данных (глубокие ИНС, байесовские системы), и поэтому многим кажется, что это - обязательное требование. Но нет, исторически оно не то что обязательным не было, оно даже поначалу и выполнялось-то не часто.

Ключевое отличие ИИ — это возможность обучения и/или использования результатов этого обучения.

Извините, но это весьма плохая формулировка. Я встречал множество формулировок того, что такое ИИ, но такого никогда.

Нет, системы искусственного интеллекта не обязаны строиться на обучении на масштабных data set'ах.

Например, ранние шахматные программы, основанные на нескольких зашитых программистами эвристиках и альфа-бета алгоритме, не подходят по Вашу формулировку, но однозначно относятся к интеллектуальным системам.

Извините, но это весьма плохая формулировка. Я встречал множество формулировок того, что такое ИИ, но такого никогда.

Это не формулировка, а один из признаков ИИ.
Нам об этом еще в универе много лет назад рассказывали, и с тех пор очень много где встречал это.


Например, ранние шахматные программы, основанные на нескольких зашитых программистами эвристиках и альфа-бета алгоритме, не подходят по Вашу формулировку, но однозначно относятся к интеллектуальным системам.

Вот как раз хороший пример. Они относятся к специализированным системам. ИИ их можно считать, опять же, если они умеют обучаться на партиях или использовать результаты обучения (т.е. алгоритмы ходов не прописаны жестко, и партия не строится на заранее прописанном дереве принятия решений и т.п.).

Коллега, Вам сказали мягко говоря неточную информацию в университете, а Вы теперь подаёте её сейчас столь безапелляционно.

Попробуйте найти приличный источник, в котором было бы написано, что обучаемость - обязательное свойство систем искусственного интеллекта и было бы указано, что это общепринятое консенсусное требование, а не позиция какой-то узкой школы исследователей. Я уверен, что не найдёте.

Я же говорю - первые шахматные программы имели совершенно детерминированный алгоритм: альфа-бета перебор + эвристическая оценочная функция. Без всяких обучений. И они относились и продолжают относиться к сфере систем искусственного интеллекта.

Извините, не вижу смысла продолжать дискуссию. Она идёт по кругу. Вы всё так упорно держитесь и держитесь за то, что как-то услышали в университете. А у меня нет никакой нужды доказывать, что "в Интернете кто-то не прав". Мне достаточно того, что читатели из этой дискуссии теперь уже однозначно поймут, что принимать Ваше утверждение на веру так сразу нельзя и им надо будет разобраться в тонкостях определения самостоятельно, если потребуется.

А можно какие-то ссылочки на "приличный источник", подтверждающий вашу точку зрения? Иначе сейчас это просто мое мнение против вашего, и ничего более.

Простите, на что Вы хотите источник? На несуществование чайника Рассела? Вы же сделали ряд категорических утверждений (что экспертные системы не относятся к системам ИИ, что свойство обучаемости обязательно для отнесения системы к системам ИИ), и вообще-то Вам бы их и доказывать.

А опровергается Ваше утверждение даже одним-единственным примером. Я вам привёл уже несколько.

Вот Вам неувядающая классика про ИИ: https://www.google.ru/books/edition/Искусственный_интелл/jaoDX9-e_McC?pg=PA181

Там вполне подробно написано про эвристики, минимакс и альфа-бета-усечение и не говорится про какую-то обязательную обучаемость.

Рекомендую почитать начало, где даётся введение в проблематику ИИ, и про определение тоже говорится.

Позиция о том, то это всё далёкая неактуальная история, а теперь это всё нужно вынести из сферы ИИ, и понимать под труъ ИИ только глубокие ИНС и байесовские модели, в принципе существует, но консенсусной и близко не является. Про это Минский (если я правильно аттрибутирую) и говорил, как я писал выше. Вероятно, пройдёт время, и глубокие ИНС перестанут некоторым казаться ИИ.

И очень жаль, что Вам в Вашем университете неаккуратно подали. (Если университет Вы упомянули для придания веса Вашим словам, то я заканчивал технический университет, обретался на кафедре информационных и управляющих систем, и основы систем ИИ нам тоже давали, так что образованностью давить не стоит.)

Всё, на этом я со своей стороны точно ставлю точку в этом обсуждении. Пусть последнее слово будет за Вами, каким бы оно ни было.

Я хотел от вас увидеть подтверждение того, что ИИ может считаться простейшая ЭС с условиями (ну или даже с предопределенным деревом/таблицей принятия решений).
Ну или как минимум общепринятое определение, что можно считать ИИ а что нет.
Ну да ладно, нет так нет.

Бот впечатляет (не самим текстом, а тем что помнит о чём раньше говорил), но разумность по этим разговорам не доказать. Говорить и попугая научить можно. Скормили бы ей, скажем, сборник Сканави - для разумной сущности имеющей доступ к бесконечной (по меркам человека) памяти и вычислительной мощности (в одном кадре современной видеоигры происходит больше вычислений чем во всех задачах книги) задачка на пару милисекунд.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Другие новости

Истории