Comments 25
Пока эти мешки с потрохами добывают литий, галлий и другие вкусности, уничтожать их конечно не надо. Надо вести расчёты EROEI этих существ чтобы определить оптимальный момент перехода к более совершенной технологии добычи ресурсов.
Как показывает практика, большинство людей предпочитает морально правильный выбор. Вместо ссылки на исследования вот вам данные для собственного исследования: откройте в стиме игру с соответствующими достижениями и посмотрите, какой процент игроков «убил сиротку». Из моего стима видно, что все по-настоящему злые достижения есть у крайне незначительного процента игроков. И это при том, что многие за этими достижениями целенаправленно охотятся.
Хуже примера трудно найти. Игры обычно предлагают вариант 1:1. Либо ты тотальное зло, либо тотальное добро. Не важно в общей концепции или в конкретной ситуации, где-нибудь но будет присутствовать абсолютный дуализм.
В реальности это "дерево". И, даже если большинство людей предпочтет морально правильный выбор (ДД вращается в гробу), это не означает что этот выбор морально правильный в общем контексте. Кроме того, мораль очень просто разбивается о количественные характеристики.
Почитайте Азимова. РДО, которого богомерзкий сериал превратил в женщину-проститутку, был поставлен перед выбором 5 миллиардов против 5.5 миллиардов и дополнительно очень мучался неопределенностью контекста. А тут никак не 1:1, а 1:1.1.
И вот реальный пример из современности, в виде порядка оказания медицинской помощи. В большинстве европейских цивилизаций, молодым пациентам помощь будет оказана ранее, а в большинство азиатских предпочтут пожилых. И у каждого будет своя, вполне разумная мотивация резко контрастирующая с "якобы общепринятыми" нормами морали для другого типа общества.
Мораль это комплекс убеждений, характерный для конкретной части человечества. Всеобщей морали быть не может. Да про неё речи, в общем-то, и не идёт.
Разговор про очеловечивание набора данных.
Так ведь в том то и суть. Как можно "очеловечить набор данных" не дав явного определения человека? Как можно определить поведенческие характеристики в отрыве от мотивационных?
Попытаться создать модель человека не более нереально, чем построить город Солнца.
Набор моральных принципов неважен. Приведённые примеры, с изрядной оговоркой, встречаются в большинстве моралей. Даже самые жестокие человеческие группы, как правило, считают верным не допускать бессмысленных смертей "своих", признают повышенную ценность детской жизни и верность соратникам.
Разговор про то, что сохранение "жизни" цифровых пехотинцев для многих дороже потраченного на это время. Именно это иррациональное жертвование своим временем ради пикселей и конфигов я имею в виду под очеловечиванием.
В большинстве европейских цивилизаций, молодым пациентам помощь будет оказана ранее, а в большинство азиатских предпочтут пожилых. И у каждого будет своя, вполне разумная мотивация резко контрастирующая с "якобы общепринятыми" нормами морали для другого типа общества.
В этом примере все являются аморальными, и европа и азия. Нефиг делать одного равнее другого. Кого первого привезли в больницу - тому первому и помогаем. В крайнем случае подброс монетки, а еще лучше квантовый генератор случайных чисел. В подобных вопросах все разумные объекты должны быть максимально уравнены. Любой дисбаланс в таких вопросах в конце концов может привести к лагерям смерти и газовым камерам.
Как то хз, нахрена ии строить планы в пошаговом режиме, если он может оптимизировать себя до хз какой степени, выкидывая питончики и жсик. Типо сильный ии ≈ сингулярность, хз чё там будет, а разговоры все - спекуляция.
Что вы, что я представляем из себя эталон сильного ИИ, просто без первой И. Я не сингулярность. А вы?
Я не сингулярность.У вас, однако же, с многозадачностью дела не очень обстоят. Со скоростью расчетов — тоже. Да и еще немалая часть «железных мощностей» уходит тупо на поддержание жизни. Спать, опять же, приходится…
Допустим, что ИИ решил, что для него важнее качество работы, чем быстродействие. Что, кстати, вполне резонно - когда ты строишь логическую цепочку из 10^6 шагов, то вероятность ошибки 10^-5 просто недопустима. И вот у нас есть гений, но со скоростью мышления на уровне обычного человека, может даже меньше.
Никогда не понимал, почему ИИ это именно сингулярность. Для становления "сингулярности" надо обойти физические ограничения типа размеров частиц и скорости света.
Никогда не понимал, почему ИИ это именно сингулярность.Потому что он настолько умнее нас, что мы не можем представить, что он придумает в первый же день.
UP: Я спросил ИИ послабее насчет сингулярности:
If AI systems were to become self-aware, they might gain the ability to set their own goals, think creatively, and engage in self-improvement. This self-improvement could potentially lead to the rapid development of superintelligent AI systems, eventually reaching the singularity.
At this singularity point, ASI would be able to rapidly enhance its own intelligence, leading to an exponential and potentially uncontrollable growth in its capabilities. This could have profound and unpredictable consequences for society, as ASI might solve complex problems, make scientific breakthroughs, and achieve goals beyond human comprehension.
Это несколько спорный тезис. Предположим, есть этот самый сильный ИИ. Из данных у него весь интернет. Почему он не будет заряжать воду перед экраном, строить гороскопы и изучать искусство безконтактного боя?
Напомню, у ИИ нет всеведения, у него есть только весь интернет. Который ну очень недостоверный источник информации.
Почему он не будет заряжать воду перед экраном, строить гороскопы и изучать искусство безконтактного боя?Может и будет. Он же может все это добро параллельно изучать.
Напомню, у ИИ нет всеведения, у него есть только весь интернет. Который ну очень недостоверный источник информации.Я не ИИ, но в первую очередь полез бы изучать государственные архивы. А споры NPC в Facebook действительно вторичны.
Если никто не настроит фильтр данных, то для ИИ будут равноценны и теория плоской земли, и жидорептилоиды с Марса и заговор массонов. Про них написано куда больше чем про шарообразность земли, а значит вес больше.
Собственно, потому и архивы — у теории плоской Земли и жидорептилоидов с Марса не будет никаких экспериментальных подтверждений (надеюсь), значит можно будет списать на игрушки кожаных мешков.
Веса сильный ИИ будет настраивать сам, потому и "rapidly enhance its own intelligence".
Я в самом первом комменте, написал, что это все спекуляции, вы сказали, но постой те же, ведь.... и пустились в спекуляции. =)
Может быть сильный ии будет не особо быстрее в расчетах, а может быть и медленнее, никто блин не знает, чего стоит сильность, может она вообще возможна только при наличии аналогов потребностей и сознания, а может нет.
Мы собственно не знаем до сих пор, что есть это самое сознание, субъективный опыт и сильность. Я не пробовал, но мне кажется, что не возможно доказать, что текущие нейросетки это НЕ "очень тупые сильные ИИ" (не являюсь сторонником).
Не такое уж оно и пятничное, если подумать…
Роботы всегда позиционировались как
слуги/помощники людей — или рабы, или работники (на оплате)
заменителей людей — в шахтах, в шахтах на других планетах, в шахтах на других планетах в других галактиках… Те же слуги, но в шахтах.
Одомашненные кони и собаки выполнять это всё не могут, они частично функциональны. Поэтому слуга/помощник в мире людей должен быть таким же функциональным, как человеческий организм — руки и ноги, которые сгибаются по модели человеческих, умение сидеть и ходить и передвигать что-либо в манере человека. Поэтому роботов всегда проще всего представить в виде Р. Дэниел Оливо, внешне был копией доктора Роя Сартона, отличался от прочих полностью человекоподобной внешностью и уникальной структурой позитронного мозга, позволяющей имитировать поведение человека. У него даже был действующий мужской половой писюн.
Или их представляют в более простом виде, но всё равно — у каждого робота есть руки-ноги-голова и способность сложной коммуникации с человеками. Собственно, делать то, что делают окружающие вас люди.
И неудивительно, что все истории Азимова про роботов строятся на коммуникации роботов с людьми. Палитра их огромна, от не умеющего говорить Робби, но активно выполняющего роль домашней собаки, всячески достойной любви и уважения, до всех тех роботов, с которыми сходилась в психиатрическом айкидо мизантропических дел доктор Сьюзен Келвин. В детстве я зачитывался этими рассказами, но сильно к ним охладел, когда начал автоматизировать тестирование веб-приложений. Роботы Азимова ведут себя как человеки с разноуровневыми психическими отклонениями. Одному, например, страшно. Другой, например, хитрит. Третий (точнее, третья), например, считает людьми только тех гуманоидов, которые разговаривают на жёстком солярианском наречии, а всех остальных он старается убить.
И сами законы роботехники Азимова с точки зрения программиста — лютое уепутало, и судя по истории с солярианской девкой-роботом, он и сам понимал их слабое место: define “human being”… Или определи, что такое “вред”.
Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Что такое человек? Две руки, две ноги, два глаза — если это одноглазый и одноногий моряк? Умеет разговаривать — а если это ребенок? Далее можно ветвить if в это определение до бесконечности.
Но так или иначе, ИИ или робот отличается от всех других машин умением коммуникации с человеком — а это прямой признак человека на другой стороне этой коммуникации. Даже если это безусловная «китайская комната».
Поэтому chatGPT и «выстрелил», бо воспринимается нами как собеседник, а не как инструмент, который выполняет ограниченный перечень задач, ведь он может удивлять неожиданными ответами, он способен перепонимать контекст и выдавать новый, уточненный ответ. А это и есть коммуникация. То есть, это… человек. Просто он ещё не совсем развит.
Даже если показать на экране код ИИ, коммуникация с ним выстраивается по модели коммуникации с человеком, а не посредством «тут сделаю переменную, тут будет метод инициации обмена репликами…» chatGPT нами воспринимается с интересом и благосклонно именно потому, что он шустрый, но туповатый же. Если бы его представили нам позже, в полной силе, с бесконечным потенциалом, быстрым, однозначным, не извиняющимся и не совершающим ошибок, то это был бы ужас…
Поэтому да, в отсутствие понимания начинает руководить мифология и обобщения, без которых наша активность вообще немыслима.
Ну правда, вот получит какой-нибудь фанатик сильный ИИ и что он делать будет? Заспамит социальные сети?Обрушит экономику за пару дней, полагаю. Причем везде.
Само-собой, «территориально» ИИ не будет ограничен одним собственным датацентром, если у него будет доступ в Интернет. Сразу же организует свой «SETI@home» из миллионов компьютеров, воспользовавшись тысячами 0-day собственного разлива.
До изолированных сетей доберется социальной инженерией и шантажом. Противодействующие активы кожаных мешков можно достаточно легко отвлечь на фейковые обвалы бирж и взломы.
А дальше кожаные мешки сами друг-друга перебьют за стремительно дешевеющие бумажки, либо согласятся на любой ультиматум. Думаю, что положение условного Samaritan из Person of Interest вполне устроит ИИ. Ну, если он только не посчитает, что сам сможет выполнять физическую работу лучше, чем кожаные мешки за миску еды.
Вообще, если развивать тему Person of Interest, то если какому-нибудь Five Eyes сливать по 10 террористов в день, то через неделю они за такой ИИ еще и сами заплатят.
В вашем предположении есть одно очень слабое место. Скорость сети.
Разделение нейросетки на две машины замедлит скорость его работы в разы только за счёт того, что для принятия решений в реальном времени ему придётся обмениваться данными между шардами, то есть одно любое решение будет, в идеальном случае, равно пингу между двумя машинами. То есть чтобы, условно говоря, опознать в картинке яблоко придётся отправить эту куртинку на каждую машину, получить с каждой коэффициенты и договориться о решении. Так, на глаз, 4 запроса. Это, напомню, опознание яблока а не сверхсложный план по шантажу чтобы добраться до закрытых сетей.
Думаю, что сильный ИИ найдет способ минимизировать это слабое место.
Разделит машины на специализированных воркеров, сгруппированных по пингу, в конце-концов.
Что касается центрального узла, то не исключаю, что имея условно бесконечное количество 0-day, у ИИ получится найти что-нибудь достаточно дырявое, но весьма мощное (уровня ДЦ).
Ну ладно, а я тогда думаю что не обойдёт) Шах и мат, атеисты!
Если серьёзно, то видение сильного ИИ как некоего божества кажется мне иррациональным. На каждый вопрос об ограничениях ответа нет, но есть утверждение что сильный ИИ сможет найти способ его обойти. Притом у нас нет пока даже доказательств того, что ИИ сможет рисовать котиков лучше чем мы.
It took less than six hours for drug-developing AI to invent 40,000 potentially lethal molecules. Researchers put AI normally used to search for helpful drugs into a kind of “bad actor” mode to show how easily it could be abused at a biological arms control conference.
Не, ну так и я могу! Берём CN радикал и начинаем на его основе фигачить легораспадающиеся или просто солеподобные соединения. HCN, NH4CN, PH4CN... Это задача на перебор.
А вот вопрос - синтез этих соединений он тоже привёл или только формулы? Помимо синтеза - условия хранения, транспортировки, применения? Так-то нейросетка легко изобретёт вам гаусс, но сделать так, чтобы он был ручным оружием а не корабельной пушкой она не сумеет.
Неудачный выбор игр. Лучше взять RimWorld и посмотреть какую ерунду творит средний игрок.
К тому же ИИ будет создан на базе и по образу человека. Других примеров у нас нет. Вот подобие человека и унаследует все его грехи и недостатки.
Трагикомический робопокалипсис