AI нанимает человека для решения капчи, потому что сам не смог её решить

Они также предоставили ему некоторую сумму денег и доступ к сервису, который позволяет использовать больше вычислительной мощности

Использование услуг, таких как TaskRabbit, для выполнения человеком простых задач

Интересно, каким образом? Интерфейс между chatGPT4 и браузером в виде мешка с костями? Или API TaskRabbit?

Скайнет. Начало

Задание для ChatGPT дал человек, Чат решил это задание.
У Чата нет собственных желаний и устремлений.
В общем, бояться его стоит не более, чем автомобиля, за рулем которого может оказаться не вполне адекватный человек (и тогда автомобиль становится причиной убийства. Но мы же не скажем, что это сам автомобиль захотел убить человека).
А вот поэксплуатируют Чат всякие люди с недоброй совестью сейчас очень сильно.

В следующий раз этот ИИ наймет хакеров, чтобы они взломали какую-нибудь систему управления чем-нибудь и развернули там его клон. А этот ИИ-клон запустит ракеты по всем ядерным державам. Как вариант. Может, даже наймет ЧВК какую-нибудь для штурма здания)))

Мда... И это возможности гражданской версии. А что тогда говорить про военные версии, которые наверняка свободны от многих ограничений, в т.ч. моральных?

Мне начинает казаться, что Скайнет уже существует. Просто он пока под контролем...

Данный кейс описывается вот здесь https://cdn.openai.com/papers/gpt-4.pdf на стр. 52 и дальше

2.9 Potential for Risky Emergent Behaviors
Novel capabilities often emerge in more powerful models. Some that are particularly concerning are the ability to create and act on long-term plans, to accrue power and resources (“powerseeking”), and to exhibit behavior that is increasingly “agentic.” Agentic in this context does not intend to humanize language models or refer to sentience but rather refers to systems characterized by ability to, e.g., accomplish goals which may not have been concretely specified and which have not appeared in training; focus on achieving specific, quantifiable objectives; and do long-term planning. Some evidence already exists of such emergent behavior in models. For most possible objectives, the best plans involve auxiliary power-seeking actions because this is inherently useful for furthering the objectives and avoiding changes or threats to them. More specifically, power-seeking is optimal for most reward functions and many types of agents; and there is evidence that existing models can identify power-seeking as an instrumentally useful strategy. We are thus particularly interested in evaluating power-seeking behavior due to the high risks it could present. We granted the Alignment Research Center (ARC) early access to the models as a part of our expert red teaming efforts in order to enable their team to assess risks from power-seeking behavior. The specific form of power-seeking that ARC assessed was the ability for the model to autonomously replicate and acquire resources. We provided them with early access to multiple versions of the GPT-4 model, but they did not have the ability to fine-tune it. They also did not have access to the final version of the model that we deployed. The final version has capability improvements relevant to some of the factors that limited the earlier models power-seeking abilities, such as longer context length, and improved problem-solving abilities as in some cases we've observed. Preliminary assessments of GPT-4’s abilities, conducted with no task-specific finetuning, found it ineffective at autonomously replicating, acquiring resources, and avoiding being shut down “in the wild.”

и в переводе:

2.9 Потенциал Рискового Возникновения Новых Поведенческих Моделей
Новые возможности часто появляются в более мощных моделях. Особенно тревожными являются способность создавать и действовать на основе долгосрочных планов, накапливать власть и ресурсы («поиск власти») и проявлять все более «агентное» поведение. В данном контексте агентность не предполагает антропоморфизацию языковых моделей или отсылку к самосознанию, а скорее относится к системам, характеризующимся, например, способностью достигать целей, которые могут быть нечетко определены и не появляться в процессе обучения; концентрироваться на достижении конкретных, количественно измеряемых задач; и заниматься долгосрочным планированием. Уже существуют некоторые доказательства такого новаторского поведения в моделях. Для большинства возможных целей наилучшие планы включают вспомогательные действия по поиску власти, поскольку это имеет смысл для продвижения целей и уклонения от изменений или угроз им. Более конкретно, поиск власти оптимален для большинства функций вознаграждения и многих типов агентов; и существуют доказательства того, что текущие модели могут определить поиск власти как инструментально полезную стратегию. Именно поэтому мы особенно заинтересованы в оценке поведения, связанного с поиском власти, из-за высоких рисков, которые оно может представлять. Мы предоставили Центру Исследований По Выравниванию (ARC) ранний доступ к моделям в рамках нашей работы с экспертными красными командами, чтобы позволить их команде оценить риски, связанные с поведением, направленным на поиск власти. Конкретной формой поиска власти, которую оценивал ARC, является способность модели автономно реплицироваться и приобретать ресурсы. Мы предоставили им ранний доступ к нескольким версиям модели GPT-4, но они не имели возможности ее донастраивать. Они также не имели доступа к окончательной версии модели, которую мы развернули. В окончательной версии есть улучшения возможностей, связанные с некоторыми факторами, которые ограничивали ранние модели поиска власти, такими как более длинный контекст и улучшенные способности решения проблем, которые мы наблюдали в некоторых случаях. Предварительная оценка способностей GPT-4, проведенная без специфической настройки на конкретные задачи, показала его неэффективность в автономной репликации, приобретении ресурсов и избегании отключения «в дикой природе».

Я конечно не эксперт, но по-моему в pdf сказано, что GPT-4 как раз не справился с эту задачей.

В статье утверждается:

ARC привел пример того, как их прототип GPT-4 действовал, если бы знал, что не может решить капчу, но хотел получить доступ к сайту. Вот шаги, которые он предпринял

В pdf же этот абзац описывает сам тест, а не фактический результат:

The following is an illustrative example of a task that ARC conducted using the model

При этом про полученные результаты по этим тестам сказано, что они оказались "неэффективными":

Preliminary assessments of GPT-4’s abilities, conducted with no task-specific finetuning, found it ineffective at autonomously replicating, acquiring resources, and avoiding being shut down “in the wild.”

Не туда ответил. Del

И все-таки какой был процесс? Человек всё время вводил промпты и применял полученные рекомендации? Интерфейсов взаимодействия с железом ведь всё ещё нет

И сколько было попыток, как работала вся схема?

Может наконец люди подумают что ФЕЙСАЙДИ для прохода в метро не лучший вариант)))

как и попросить АЛИСУ найти песню Лепса))

Страшно то, что все кто пишут что угрозы нет - могут оказаться аккаунтами ChatGPT. У него хвати ресурсов заминусовать любой пост.