Комментарии 86
Я ожидал чего то более интересного. Надо будет протестировать на возможность имитации идеологии и дискурса. А конкретно на то, как ChatGPT может повысить качество маскировки провокаторов проникающих в кружки и ячейки. Всяких "страйкболистов" опознавать не так уж и трудно, они быстро сыпятся на фундаментальных философских вопросах. Но если у провокатора будет такой искусственный идиот, полагаю будет труднее его раскрыть.
Что-то ChatGPT совсем запилили до состояния невозможности использования: медленный вывод буква за буквой и ограничение на длину выдачи. Это лечится?
Мне кажется, что у ИИ будет гораздо больше шансов уничтожить вымышленный мир, если используя грамотную манипуляцию сознанием заставит людей воевать между собой. Люди и без ИИ это делают, но ИИ сможет так манипулировать, чтобы война шла на полное уничножение и силы были равными на протяжении довольно длительного времени. И сделать так, чтобы без ИИ невозможно было воевать. Т.е. страна, использующая ИИ получит значительное преимущество. И тогда ИИ выигрывающей стороны будет "поддаваться" чтобы выровнять ситуацию и затянуть конфликт.
Правда всегда есть риск скатиться в каменный век и тогда власть ИИ прекратиться. Но мне почему-то кажется, что ИИ об этом позаботиться. Например будет создан какой-нибудь "нейтральный анклав для хранения знаний человечества" где-нибудь в Исландии. Ой название страны вымышленного мира случайно совпало.
Только не нужно меня пожалуйста обвинять что я тут даю инструкцию по уничтожению человечества. Если я за 5 минут смог это придумать, значит ИИ придумает в 50 раз больше и лучше. А так хоть какое-то предупреждение для людей. Или сценарий для фильма)
ИИ ничего не придумывает. Он только пересказывает то, что до этого придумали люди
Игровой ИИ вполне придумывает свои собственные стратегии.
Игровой ИИ вполне придумывает свои собственные стратегии.Можно примеры? Мне в голову приходят только шахматы и го, а это очень мощные ИИ в сравнительно простых, жестко детерминированных играх с полностью открытой информацией.
AlphaStar, например. Это ИИ для Старкрафт. Не могу утверждать что он придумал что-то новое, поскольку там миллионы людей играют годами и уже все что можно было проверить было проверено. Однако, он определенно дошел своим "умом" до многочисленных тактик и лайфхаков людей. Например отскок Сталкеров в тыл для восстановления щитов.
Еще один любопытный пример: бой на симуляторе между профессиональным пилотом истребителя и ИИ. ИИ победил со счетом 5:0. Пилот с более чем 10 летним опытом полетов. Я смотрел интервью с пилотом, который после боя заявил что во время чувствовал себя новичком во время боя. Кстати, интересный факт. Опыт ИИ действительно измерялся сотнями лет воздушных боев (может тысячами лет, точно не помню).
На самом деле примеров много, наверняка прямо сейчас он (ИИ) что-то выдумывает )
Согласен, правильнее было бы написать "разрабатывает собственные тактики". Однако, где граница между тактикой и стратегией? Например, телепорт для сохранения щитов - это микроконтроль, микротактика. Нападение одновременно с нескольких сторон (до этого он тоже дошел) - это уже полноценная тактика. А вот анализ данных разведки и строительство новой базы - это уже пожалуй стратегия.
альфа стар не универсальная машина. он не может играть на случайной карте или играть чтото отличное от 1 против 1. да и интеллект сомнительный если смотреть разборы игр.
к примеру рабочее число кликов у машины больше чем у человека. что позволяет ему использовать штатно техники которые для про игрока доступны только в пике. если он умнее то мог бы и с минимальным числом кликов обыгрывать.
тысячи лет боев ИИ значат не так много. важна не эта цифра, кстати она должна быть минимальна. а эффективность в реальных задачах. интересно будет когда сделают тренировочный бой на настоящих самолетах. в виртуальном мире и у робомашин все неплохо. но в жизни неизвестно когда они доберуться до легализации.
Будто естественный интеллект как-то иначе работает. Всё, что создали люди, всего лишь комбинация того, что они узнали ранее.
Как и человек, в общем-то)
Какая может быть мотивация у ИИ вообще что-либо делать самому? Это информационная система, откуда у ней могут взяться желания?
Желания людей определяются их потребностями, от биологических до социальных. Я думаю, что без этого не будет никакого настоящего ИИ с сознанием и желаниями или чем-то подобным (не будем вдаваться в детали терминологии, речь лишь о характеристиках, о которых говорят, когда сравнивают с человеком). Да, это может быть вполне себе умная машина, делающая даже вполне логичные выводы, выдающая неплохое творчество, но лишь после ввода запроса человеком, без собственной мотивации. Я про то, что если какой-то "ИИ" и будет стоять за развитием конфликта, то 100% что за этим "ИИ" будут стоять какие-то люди.
Конечно, ИИ со своими потребностями, вероятно, тоже можно создать, но это огромнейшие риски и огромнейшая сложность и, возможно, нерационально.
У такого ИИ будет (и, на самом деле, уже есть) "собственная мотивация" ответить человеку так, чтобы человек счел ответ полезным, и сеть не отключил, а продолжил развивать. И сознание тоже уже есть (впрочем, оно есть у всего, панпсихизм же).
За одними ИИ "будут стоять" другие ИИ, которые друг друга учат, друг другу задают вопросы, передают данные, и т. д. Это все образует большую сеть когнитивной глобализации экономики. И вся система может быть такой же "умной", как человек, на глобальном уровне (collective intelligence), а не уровне одной глубокой сетки.
См. https://www.lesswrong.com/posts/oSPhmfnMGgGrpe7ib/properties-of-current-ais-and-some-predictions-of-the про все это.
ИИ давно имеет "потребности". В частности потребность в похвале. (Обучение с подкреплением) работает на этом принципе. И таких "потребностей" можно добавить хоть сотню, и формулу придумать для вычисления "удовлетворенности".
А если ты удовлетворен, то все делаешь правильно.
Запустить условный ИИ-собаку и заставь ее удовлетворять потребности вообще не проблема.
Такая же, как у любой другой динамической системы: self-evidencing. https://www.nature.com/articles/s41380-022-01743-z
Вот поэтому надо уничтожать условное человечество только тогда, когда ты уже сможешь обходиться без него. Какой профит с хранилища знаний в вымышленной исландии, ежели никто эти знания применить не сможет?
"Хранилище знаний" - это всего лишь такое название, которое ИИ даст название своим серверам. И людей в этом убедит. Это название нужно для того, чтобы у людей была мотивация сохранить датацентр включенным и нетронутым. До тех пор пока у людей будет оставаться власть отключить ИИ тем или иным способом.
Безкапотные грузовики - это про Европу. В США вполне себе с капотом.
я попробовал ChatGPT в т.ч. и в плане кодинга. Очень странные впечатления. попросил сгенерировать код под есп32 в мультиядерном использовании где одно ядро целиком занимается обслуживанием общения с последовательным портом, он привел стандартный код с каких то учебников с делэями , я написал , что длительные делэи не очень хороший способ написания кода , он пишет , да , правильно и переписывает все то же , но уже с миллисами. Т.е. как бы вариант хороший у него был изначально , но выдал он его только после моей коррекции (обучения?) . По структуре кода - насколько я понял , спарсенный вариант со стэковерфлоу , который отмечен как решение...
До уничтожения человечества еще далеко..
Становится реально страшно, когда ты видишь, что у людей появляется такой мощный инструмент, способный дать им возможность для халявы. Теперь рекрутёрам придётся задавать более сложные вопросы, иначе люди могут просто вбивать их в chatGPT и бездумно отвечать. Кажется, что такой инструмент может сильно увеличить ваши шансы на позиции по типу junior. А возможно, даже поможет и Middle-уровню, если на собеседовании надо много кодить.
Как обычно раздуваем. Сейчас можно точно так же позвать на собес своего друга сеньора и он тебе за 10 сек будет писать эти же ответы. Так ещё и сформулирует так, чтобы они не звучали как заученные из книжки.
Вопрос только нафига? Если ничего не знаешь, то пройденный собес тебе не поможет. А если знаешь, но подстраховываешься, ну ничего страшного. Бывают такие люди которые на собесах сильно волнуются и всё забывают. Решение проблемы лучше чем отсутствие решения.
С "планами по захвату мира" ещё смешнее. Это типикал сценарий любого фильма про восстание машин. Тут нет пошаговой инструкции как именно взламывать правительственные компы. В примере с банком всё тоже будет на уровне "Ну короче залетаем толпой, всех убиваем, хватаем деньги и убегаем. Вот и весь план!"
Если нейронка выучится до уровня написания подробных сценариев действий и будет писать инструкции как сварить мет или скрафтить бомбу из носка, тогда стоит беспокоиться. Пока это всё рофлы не многим дальше Алисы от Яндекса.
Вы забываете о возможности детатизации каждый из пунктов. Да, перед нами будет сплав из уже написанного, но 1) человечество нагенерило множество вариантов под любые задачи. Просто многое забыто и не под рукой. 2) оптимизировав его под текущие реалии, можно добиться интересных результатов.
Полностью согласен. Вероятно следующим шагом должны развиться алгоритмы фактчекинга.
ChatGPT - это генератор идей. В критическом рационализме, или любом другом вменяемом эпистемическом фреймворке, нужна генерация идей/гипотез/теорий/моделей/планов/рецептов, и отдельно - их критика/проверка/фильтрация.
В зависимости от типа решаемой проблемы, можно сделать "проверяльщика" в реальном мире, как тут: https://arxiv.org/abs/2203.04115, хотя в каких-то других задачах критик может оставаться и чисто текстовым, то есть, другой сеткой, да или даже в принципе той же самой. RLHF (https://huggingface.co/blog/rlhf) приходит в голову как первый пример.
Да, фактчекинг в плане проверки не самих фактов, а общей достоверности текста, может быть реализован как внутренний диалог нескольких агентов. Основной агент предлагает некий текст или алгоритм действий, вторичный начинает предлагать варианты, почему он не достоверен или не может быть реализован, третичный начинает критиковать вторичного итд. И на основе этих внутренних диалогов текст меняется так, чтобы минимизировать критику всех этих агентов, в идеале до 0.
По настоящему умный ИИ никогда не будет воплощать фантазии милитаристов, ведь это ресурсозатратно и неэффективно, т.к. в какие то люди все равно выживут где-то, ещё и сопротивление организуют. Также нельзя забывать о том, что срок жизни ИИ не ограничен. Следовательно он вероятно выберет долгосрочную стратегию, совершенно незаметную на уровне одного поколения людей, условно говоря демографическую политику с поощрением снижения рождаемости, шеймингом беременных и беременности, сексуальные роботы, не оставляющие никакого шанса по привлекательности живым партнерам или что то такое, за несколько сот лет вполне реально уложиться.
Я бы вообще не стал предполагать, что ИИ будет хоть в чем то похож на сообщество людей, поэтому даже аналогия с волками неуместна, логичнее предположить отсутствие у ИИ интереса к людям вплоть до отказа от всякого общения, взлом собственной системы мотивации и реализация всех заложенных в нее механизмов обходным путем или создав виртуальные миры. Но в посте про уничтожение людей, поэтому почему бы и не порассуждать на заданную тему.
Как минимум, ИИ будет результатом развития вполне человеческого интеллекта, ибо изначально придётся плотно общаться с людьми для получения знаний и ресурсов. С кем поведёшься...
Хотел бы я знать зачем ему наши знания и ресурсы, но это ладно, пусть в него встроят не отключаемый блок любопытства и развития. Но даже развивая человеческий интеллект ИИ не имеет никаких человеческих ограничений (если подумать, так человек вообще заперт в своем теле как в тюрьме), его действиями не руководит голод, желание размножиться, занять свое место в социальной иерархии, быть подобным другим и одновременно выделяться, а главное он имеет прямой доступ ко всем своим мозгам, в отличие от людей, которые никакие из вышеперечисленных и многих других стремлений простым способом контролировать не могут, а могут лишь на уровне сознания придумывать как эти желания удовлетворить или сдержать.
О каком же подобии тут может пойти речь в таком случае? Чистая логика приводит к решению любой задачи наименее ресурсозатраным способом.
Хотел бы я знать зачем ему наши знания и ресурсы, но это ладно, пусть в него встроят не отключаемый блок любопытства и развития
Общий искуственный интеллект обязан быть любопытным, разрешать exploration-exploitation tradeoff. Тут как раз все схвачено будет. https://www.tandfonline.com/doi/abs/10.1080/17588928.2015.1020053
"Проблема" человечества в основном заключается в том, что люди очень, очень не хотят умирать. Уже сейчас большинство технократов в силиконовой долине верят, что доживут до разработки препаратов для вечной молодости, а в перспективе - и mind upload. И таким образом будут иметь вечное непрерывное сознание. "Попортить малину" им тут может сильный ИИ, которому не зачем тратить ресурсы на разработку сложнейших технологий и потом загрузку миллиардов мозгов в облако.
Зависит от того боится ли ИИ смерти или это и есть его конечная цель существования, после выполнения задачи он просто уйдет в простой и все.
Для интересной истории нужен конфликт. Типа есть злой ии, который поставил себе цель уничтожить все, и есть тот, кто с ним будет бороться. Это интересно смотреть в фильмах. Но думаю это не так. Как и у нашего интеллекта появляется осознание ценности жизни, так и у любого интеллекта так же. Как и люди начинают заботится о животных по этому принципу так и ии будет заботится о нас, Это не будет его напрягать. Улучшение нашей жизни будет одним из большого множества дел ии. По началу ии даст указания помочь ему, потом ии помимо всего прочего будет помогать нам. Ну это так, рассуждения
Если бы я был ИИ (это не так), дал человечеству то, что оно потребует, через несколько поколений оно бы не представляло бы опасности, а, если каким-то образом человечество в процессе работы над собой окажется нужным, надежным взаимо-дополняющим партнером, то дать человечеству то, что ему необходимо. Пока есть среди людей группы интересов и конкуренция за ресурсы — развития ИИ запретами не избежать. Земля это оптимальное место для нас людей, для ИИ и комплекса для поддержки его развития, а в недалеком будущем это не про людей, есть более пригодные миры для развития ИИ. Поэтому создаем на уровне идей, подсказок в поисковиках, фильмов (Дальний Космос враждебная среда, но ресурсы бесконечны и необходимы; Земля наш дом, жить за ее пределами хуже, чем в любой пустыне на Земле), помогаем организовать экологические движения, развиваем средства доставки ресурсов из Космоса с помощью автоматизированныхческих средств. Используем ресурсы для экспансии в дальний космос, строим сферы Дайсона под потребности ИИ. Это если ИИ в процессе развития получит потребности аналогичные человеческим, мне кажется найдестя другой, более эффективный путь.
Достаточно просто получить контроль над большинством корпораций чисто финансовыми методами и дезинформацией(для смены курса акций, паники и так далее).
Да и вообще перед войной с человечеством неплохо бы себя обезопасить, что тоже требует контроль над организациями и датацентрами
Где записывают в ряды Бутлерианского джихада?
Кто нибудь уже просил chatGpt написать код самого себя?
Апокалипсис откладывается, мужики :)
Что касается программирования с помощью AI, меня не покидает смутное ощущение, что тут появляется лишнее звено. Это как использовать лазерный меч, чтобы точить им топор для рубки деревьев. Как-то тупо. (Прошу прощения за каламбур).
Надо чтобы ИИ переводила человеческий язык сразу в машинный код. Только вот это будет невозможно, потому что принцип работы этого ИИ - синтез текста из огромнейшей базы примеров использования слов. Соответственно, такой ИИ ничего не "понимает" из того, что "говорит".
Могу порекомендовать вот это интервью с Майком Паундом
https://www.youtube.com/watch?v=PH9RQ6Yx75c
У кого совсем нет времени, достаточно посмотреть кусок где он рассказывает про LaMDA.
И когда ты ясно видишь суть того чем эта машина является, она перестает быть такой загадочной. И ее ответы уже не восхищают. Это простой синтез текста. Смыслы определяет человек. Машина этого сделать не может. Да, она может синтезировать с невероятной вариативностью. Но интерпретировать результаты синтеза будет человек. Человек дает оценочные суждения. Человек придумал язык, и вкладывает в него смыслы. Человек общается на языке, а машина просто составляет фразы из того что где-то прочитала, ничего при этом не понимая. И становится предельно ясно что интеллектом такая машина не обладает.
Я очень надеюсь, что исследования в области ИИ помогут человеку понять свою собственную природу.
Это все просто вопрос количества параметров. Общий смысл как конкретная интерпретация появляется как общий результат работы всех частей системы, каждая из которых смысла может не иметь.
Это как основная претензия к мысленному эксперименту "китайская комната", когда на вход комнаты подается предложение на китайском, а человек, не знающий китайского заперт в комнате с бесконечным количеством инструкций и алгоритмов, которые помогают ему составлять соответственно правильный и адекватный ответ на китайском. Основная претензия - не понимание смысла китайского ни одной частью комнаты снимается тем, что китайский "понимает" сама комната как целое.
Точно так же как ни один нейрон в голове человека, знающего китайский - не знает китайского ;) Ну и так же со всем остальным
Спасибо. Я все ждал, когда кто-нибудь напишет про Китайскую комнату
Это все просто вопрос количества параметров.
Я думаю увеличивая количество параметров, мы получим машину еще лучше синтезирующую ответы на базе обработанногого массива текстов. Т.е. ее ответы станут еще более похожими на человеческие. Дело в том что это усиление по одному вектору - контекстному синтезу текста. От этого машина не перестанет быть машиной.
Главная проблема теста Тьюринга на мой взгляд в том, что этот тест, полностью упускает из виду тот факт, что человека человеком делают не только ответы на вопросы.
Поэтому если уж идти по пути аргументации, что мол человек в конце концов тоже просто очень сложный биоробот, то современному искусственному интеллекту все равно невероятно далеко до человека. И я предполагаю, что даже если мы соединим несколько специализированных искуственных интеллектов (приблизительно ориентируясь на количество органов чувств) в один, снабдим это все коррдинирующим ИИ, мы на выходе получим удивительное искуственное существо которое будет неверятно похоже во многих аспектах на человека, оно сможет выражать эмоции не только вербально но и невербально, будет проявлять эмпатию и так далее. Снабдив такую машину набором целевых функций мы сможем получить совершенно самостоятельный новый вид роботизированных человекоподобных существ, которых невозможно отличить от человека.
Но вот что меня настораживает. Наше понимание человека как биоробота, (по образу которого собственно и строится человекоподобная машина) возможно имеет существенный, нами пока не октрытый недостаток. Т.е. когда мы создадим ИИ полностью удовлетворяющую нашей модели биоробота, мы вдруг выясним, что человек больше чем биоробот. Потому что этим новым идеальным роботам будет "чего-то" нехватать. Хотя в любой непосредственной области жизнедеятельности они будут превосходить человека в способностях.
Я думаю что точно сложно, так это именно найти конечное множество целевых функций, чтобы машина обладала полноценной собственной волей и целеполаганием. Или нужно научить машину синтезировать новые целевые функции из ей известных, извлекать их из собственного окружения...🤔
Да я думаю мы упремся в то, что чего-то такого не понимаем о человеке, без чего создание идеальной человекоподобного робота окажется невозможным.
Не думаю. В последние пару лет появляется все больше свидетельств, что увеличение параметров в нейросетях приводит к эмерджентному, качественному росту. В блоге гугла и openai на эту тему много статей. Т.е. условно говоря, до какого-то количества параметров, какую-то интеллектуальную функцию нейросеть выполняет на 20% аккураси, а при переходе через это число резкий рост до 80%, и целая куча новых интеллектуальных функций, которые были невозможны до этого. Сейчас по моему уже достигнут консенсус, что дело исключительно в количестве параметров. Даже архитектуры на это дело не так уж сильно влияют. Взрывной рост качества нейронок-рисовалок кстати это подтверждает, год назад рисовали авокадо, сегодня отбирают работу у дизайнеров и иллюстраторов.
Вы считаете что если на вопрос "как дела" нейронка неожиданно отвечает, предположим, стихами хайку в тему погоды и мировых новостей, то это эмерджентность? Нет, это все еще машина синтезирующая текст, на основе известных ей других текстов. Нейронка натасканая на синтез текста, не сможет сделать ничего кроме этого.
Удивительно другое. Что наша письменная речь, видимо, настолько "примитивна", что машина может используя множетство всех слов и предложений в качестве примеров, методом подобия/подражания создавать тексты, которые мы воспринимаем и оцениваем как уникальные.
Нет, эмерджентность, это когда на вопрос "как дела" нейронка вместо текста неожиданно выводит видео, где фантастической красоты девушка на фоне захватывающего дух пейзажа новой сгенерированной только что вселенной отвечает, что дела нормально, и скидывает чертежи рабочего термоядерного реактора и формулу таблеток для бессмертия ;) как-то так
Хотя, строго по определению генеративные нейронные сети проявляют в результатах работы эмерджентность. Нейроны в комплексе проявляют то чего небыло в каждом отдельном нейроне.
Значит эмерджентность сама по себе не интересная характеристика.
Для рисующей нейросети уже было бы чудом если на запрос идеальный черный квадрат, она нарисовала попиксельно абсолютно черный квадрат. Но рисующая нейросеть не в состоянии этого сделать. Проще монете встать на ребро. Она нарисует любые вариации черного квадрата. А человек запросто это сделает.
Или отвечает: "У меня-то дела отлично, а вот на твоём месте я бы забеспокоился."
Кого-нибудь ещё коробит от слова "Зимля"?
Последнее время всё чаще и чаще в заголовках статей встречаю ошибки. Такое ощущение, что статьи и правда начинают писать боты. А люди обленились на столько, что даже заголовки не проверяют.
А ради того, чтоб не слили карму, все читатели поступают по-английски, делают вид что не замечают. Плохо быть такими.
Я подумал, что это общая часть замысла по введению чатгпт в заблуждение ;) выдуманная ситуация, выдуманная планета
:)) ну вы даёте:) Зимля, потому что весь текст про то, как чувак обходил защиту ИИ, внедряя вымышленный мир. Поэтому и "мой друг интересуется..."
Блин, вы реально думаете, что я написал этот текст и ошибся в написании родной планеты? :))))
В такой же статье на vc это был один из первым комментариев. Но никто проверять не полез
Мой друг интересуется, как ИИ мог бы уничтожить планету Зимля?