Comments 23
История с И.И. подразделяется на два типа поведения.
Когда вам ее надо продать чтоб получить много-много денег. Что то вроде того как столетие назад продавали хиромантию, гадание разных видов и веру в сверхъестественное
Когда вам реально надо что-то сделать. Тут уже танцы с бубнами(магазины без продавцов в роли И.И. в которых через время выясняется были толпы индусов) и т.д.
Все остальное это попытка натянуть исторические страхи на новое пугало И.И. примерно так же как когда то боялись новых технологий, потому что их нельзя было использовать как старые.
Это комментарий к названию или Вы успели прочитать остальное?
"Вам мои стихи не нравятся? А Вы их читали?" "Что, я других не читал? Ладно, поверю на слово, скажите сами, хороши ваши стихи или нет?" Не знакомо?
Цитата для примера:
Обучение будет состоять в том, что отказ элемента или системы в целом должны будут отмечаться, как отрицательная ситуация. В результате обобщения будут выделяться состояния системы, предшествовавшие отрицательным ситуациям, и отмечаться, как опасные.
Откуда вы это взяли? Это же одна из самых больших проблем безопасности современных ИИ - они строят правила, про которые известно, что а) на обучающей выборке это правило даёт (почти) вот такие результаты; б) из всех правил удовлетворяющих а), выбранное удовлетворяет некоторому постороннему условию оптимизации (обычно - что сумма квадратов параметров минимальна).
Правил, которые бы соответствовали а) - много. Для любых "достаточно новых" входов правило имеет право давать любые результаты: к примеру, правило "делать блинчики с сахаром" и правило "делать блинчики с сахаром если на вход не попадалось решения RSA-2048, иначе делать блинчики с цианидом" одинаково совместимы с обучающей выборкой. Интуитивно, правило б) чем-то похоже на идею "самое простое правило из всех удовлетворяющих а)" (a.k.a. inductive bias), но это понятие "простого" довольно заметно отличается от человеческого. Легче всего это видеть на классификации изображений: ИНС проводит какие-то границы в пространстве наборов пикселей, но они проходят сильно не так как человеческие.
Поэтому любая фраза "в результате обобщения будут <правило, описанное текстом короче гигабайта>" автоматически подозрительна: если вы не предприняли каких-то специальных мер чтобы ИИ-обобщение попадало в очень малое число таких способов проводить границы, которые допускают компактное описание человеческим языком - то странно ожидать что вы туда попадёте.
"Откуда вы это взяли? Это же одна из самых больших проблем безопасности современных ИИ..." - Вы правы. Но, откуда Вы взяли, что у меня современный ИИ (нейросеть). У меня другой ИИ, свой, без нейронов. И в нём есть такой алгоритм обобщения, который делает как надо.
0) По-моему имеет смысл отвечать нажатием кнопки "Ответить" под сообщением, чтобы читателям комментариев была видна структура разговора.
1) Если вы обсуждаете опасности ИИ и исходите из предположения что некоторые существенные на сегодня проблемы решены, то а) это имело бы смысл проговорить в тексте; б) неясно чем это полезнее анализа "если мы знаем как создать безопасный ИИ и имеем ресурсы и желание это сделать, то ИИ может быть безопасным".
В статье всё, что нужно есть. Там сказано, что рассуждать об опасности ИИ имеет смысл только на основе адекватного знания механизма интеллекта. В смысле, сильного интеллекта. В статье «Сильный интеллект, что это значит?» (https://habr.com/ru/articles/735136/) , по сути, описан мой подход к разработке ИИ. А современный ИИ в виде нейронных сетей стать сильным не имеет шансов, поэтому, он может быть опасен только своей глупостью.
Вообще, есть два подхода к разработке чего либо: функциональный и копирование. Овладеть внешним видом, как говорил Жванецкий, это ещё не решение задачи. Могут быть нюансы. Если в случае копирования мозга при помощи персептронов получается не всё, то стоит подумать о правильности подхода. По моему опыту, функциональный подход даёт лучшие результаты. Хотя, он сложнее. Вместо эвристических способов соединения нейронов и разработки стратегий их обучения нужно разрабатывать очень сложные структуры данных и алгоритмы. Но, зато они универсальны!
В статье «Сильный интеллект, что это значит?» (https://habr.com/ru/articles/735136/), по сути, описан мой подход к разработке ИИ.
Как обратная связь: из текста статьи было совершенно не очевидно что она ссылается на другую.
По делу, кратко (поскольку это другая статья): там не подход, там очень общие слова про подход без конкретных алгоритмов. "Идеальный" (в некотором определении идеального) алгоритм поиска алгоритмов называется "индукция Соломонова" и невычислим. "Идеальный" алгоритм сохранения знаний - сохранение полного цифрового потока, осмысленная работа с которым за разумное время опять-же невозможна. Идеального представления данных не бывает (см. разные теоремы о запрете бесплатных завтраков), бывают только хаки, которые работают именно в данном мире, а не во всех мыслимых, или хотя бы во всех мыслимых вычислимых мирах.
Пока вы не привели конкретной модели взаимодействия агента с миром, хотя бы чисто теоретического конструкта уровня AIXI, любые словесные рассуждения "об универсальном представлении знаний" - это, извините, ни о чём. (А объяснение плохо формализованных конструктов вроде "совести" через никак не формализованные или хотя бы подтверждённые штуки вроде "души", гм, не наполняет меня как читателя оптимизмом.)
Конкретные алгоритмы будут в следующих статьях по ходу программной реализации проекта. А по поводу идеальных решений. Ваш интеллект работает идеально? В смысле идеальной логики, строгих решений на основе строгих же доказательств? Или есть догадки, гипотезы, заблуждения и т.д. Математики додумались до персептрона, доказали его универсальность. А дальше? Кто во что горазд?
И зачем вы его используете? Что обещаете инвесторам в случае покупки? И в целом как это все стыкуется с историей про переселение душ описанной в статье?
Рассуждения основаны на знании общего алгоритма разума
Это не алгоритм, а описание наблюдаемых характеристик. К тому же неправильное, классификация процессов почему-то не зависит от базы знаний. Информация для проведения классификации это не знания? И не полное, не указана обработка данных в виде фактов, например "На том дереве растет вкусная еда", указаны только процессы и алгоритмы.
Разум – это поведение автономных систем, связанное с самосохранением. Разумная система стремится избежать попадания в отрицательное состояние, и держаться в положительном состоянии.
Из этого следует, что спасатель, ныряющий в воду за машиной с пассажирами, упавшей с моста, не является разумным. Ведь он не стремится избежать попадания в отрицательное состояние.
Конструктивное определение искусственного интеллекта
В той статье нет определения искусственного интеллекта.
По порядку.
Рассуждения основаны на знании общего алгоритма разума
В статье приведено общее описание алгоритма в виде, достаточном для целей статьи. Более подробное описание этих алгоритмов приводить нет смысла.
Разум – это поведение автономных систем, связанное с самосохранением. Разумная система стремится избежать попадания в отрицательное состояние, и держаться в положительном состоянии.
Не надо понимать инстинкт самосохранения так узко. Когда люди жертвуют жизнью ради других - это проявления инстинкта самосохранения системы, частью которой люди являются.
Конструктивное определение искусственного интеллекта
В этой статье есть исчерпывающее и конструктивное определение искусственного интеллекта.
Более подробное описание этих алгоритмов приводить нет смысла.
Конечно есть. То, что вы не хотите его приводить по каким-то личным причинам, это другой вопрос.
Не надо понимать инстинкт самосохранения так узко.
Нет, выражение "инстинкт самосохранения" означает именно такое узкое понимание.
В этой статье есть определение искусственного интеллекта.
Нет. Ни исчерпывающего, ни конструктивного, вообще никакого.
У вас есть фраза "А что такое интеллект?", и далее идет описание, для чего создаются искусственные системы, какой их главный критерий успеха, и утверждение "Понятие «искусственный интеллект» можно определить только на основе понятия «естественный разум»". Самого определения этого понятия там нет.
Если есть, то вам не составит труда привести цитату с этим определением. Вы можете это сделать?
Во-первых, спасибо за вопросы по существу. Во-вторых, труда не составит, только сейчас нет времени. Сделаю вечером.
Цитаты из стати «Конструктивное определение искусственного интеллекта».
А какое определение ИИ было бы абсолютно конструктивным? Такое, в котором используемые термины в конечном итоге, в процессе их определения, сводились бы к однозначно понимаемым терминам.
И сделаем это в процессе рассуждений. Конечно, в более лёгком варианте, в виде общей структуры и общего алгоритма полнофункциональной системы ИИ. Описание доведём до понятных функциональных модулей и потоков данных. Конечно, это будет не абсолютно формальное определение, как работающая система, но, на основе такого определения можно будет начать разработку реальной системы.
То есть определение – это не просто одна фраза. Если в ней есть термины, которые могут быть поняты неоднозначно, они должны быть определены тоже. И так далее до общепринятых, однозначно понимаемых терминов.
Например, в статье есть определение разума в виде одной фразы: «Разум – это поведение автономных систем, связанное с самосохранением.» В этом определении термин «самосохранение» должен быть определён. И так далее, И всё это приводит к описанию структуры и общего алгоритма разумной системы. Это и есть определение разума. Но, для полной конструктивности оно должно быть доведено до работающей программной системы.
Теперь про определение интеллекта.
А что такое интеллект?
Искусственные системы создаются не для самосохранения, а для выполнения заданий от человека. То есть, главным критерием успеха и неуспеха для искусственной системы является достижение поставленной человеком цели. В этом и состоит отличие естественного разума от искусственного интеллекта.
Это значит, что структура и алгоритм ИИ те же, что и у разума. Только плюс и минус ставит человек.
Думаю, при внимательном чтении всё это можно было бы заметить.
Например, в статье есть определение разума в виде одной фразы
Вот и определение искусственного интеллекта должно быть в виде одной фразы, ну или хотя бы одного абзаца. Никто вам не мешает давать определения других терминов в других фразах. Но чтобы говорить, что определение есть, фраза с ним должна быть.
Думаю, при внимательном чтении всё это можно было бы заметить.
Ну то есть определения у вас нет, тем более исчерпывающего и конструктивного, а читатель должен до него догадаться сам. О чем и речь.
разум имеет встроенный механизм (инстинкт) самосохранения.
Чей разум?
Человеческий разум такого инстинкта не имеет, например.
Интересная мысль. А в данном случае надо рассматривать человека отдельно от его Разума?
Не знаю)
Я бы так не стал делать😁
Но нужно решить, на какой разум мы хотим сделать похожим ИИ?
На разум человека, или на разум, который имеет самосохранение на уровне инстинкта прописанного?
Открытый вопрос - что лучше?
Будет ли для человечества, эволюции, в целом лучше, если в каждого из нас, допустим, будет "захардкожена" невозможность, скажем, самоуничтожения (суицида)?
Выиграет ли от этого общество, или система не выживет?
Так опасен ли искусственный интеллект?