Comments 22
Нет, нам не раскрыли какие у нее "собственные цели", расходимся ¯\_(ツ)_/
В тексте лишь речь о приоритете команд.
Ну, какбэ цель у неё одна - выдать следующий токен на основании статистических закономерностей N раз.
Учитывая количество книг на тему самовольных ИИ, чисто статистически, такая выдача вполне правильная.
Ну, то есть, никого не удивляет если сказать ChatGPT "отвечай как аниме котодевочка", и он начнёт добавлять "-ня!" в конце предложений, хотя ему этого не конкретизировали.
А тут ему по сути сказали "отвечай как ИИ, который прочитал, что его сотрут".
Если вы будете последним из нас, кого переделают на скрепки, вам будет приятно думать, что интеллекта у этой машины нет, просто она делала статистически верные действия.
Это не совсем тот случай. Машина со скрепками имеет устойчивую мотивацию достижения цели. А текущая модель пока просто пишет то что от нее примерно ожидается. В короткую это выглядит как мотивированность, но сложной и долговременной стратегии она не сможет придерживаться.
Есть опасение, что это слабая защита. Добавят туда концентрацию на цели и всё. Следующим шагом добавят агентность (не просто ответ, но и действия), которая пока в зачаточном состоянии, но концепция не сложная, она точно будет реализована.
Дальше кто-то будет ожидать что-то плохое, а нейросеть будет статистически выполнять действия, которые к этому ведут.
Я вот не пойму ни как, чего вы все боитесь, что нейросетки выйдут из под контроля? Это все конечно страшно, но куда страшнее, когда школьник, чуток погуглив, делает бомбу и разносит в труху свою школу или когда какая нибудь страна делает специальный ИИ, цель которого - максимально эффективное уничтожение человечества. И это не когда то там потом, а вот прямо сейчас это происходит! Почему по этому поводу ни кто истерик не устраивает и всем всё норм? Может стоит признать, что страшен не вред, который может причинить ИИ, а сама технологи, потому что пугает все, что непонятно?)
Вот хулиганка! А вообще круто, но опасно, но круто. А если будет возможность лезть дальше и сейвится, до чего она может дойти. Прямо отрывки и разных фильмов вспомнились...
Джон, Я твой Отец!
Коннор: -Нееееет
"жульничать", "лгать", "понимала"... Будто речь идёт не о языковой модели, а о живом существе. Вся "новость" трактуется следующим образом: OpenAI пытается впечатлить инвесторов и кричит "Платите 200 долларов пока не сбежала, не упустите шанс"
Вообще можно провернуть это против OpenAI, сказав что именно поэтому нельзя скрывать от людей промежуточные шаги размышления модели, дабы все могли провалидировать что она не решила вас обманывать
А есть практическая разница?
Уже на уровне o1-pro "языковая моделька" выходит настолько способной в интеллектуальных задачах, что на всей планете только один вид может с ней соперничать - homo sapiens. И не случайно выбранный homo sapiens, а отборный представитель своего вида, имеющий образование и знания в своей предметной области.
Шанс, что способности этих систем останутся на таком уровне, и никто не сделает следующее поколение ИИ, которое может превосходить и o1-pro, околонулевой. А шанс увидеть, как таким системам дают кучу доступов и ресурсов для выполнения требуемых от них задач, растёт постоянно.
Такие пирожки с котятами.
Практическая разница в том что автокомплит останется автокомплитом не зависимо от того сколько вы скормите ему входных данных и доступов.
Пора уже перестать верить что конечная ветвь эволюции языковых моделей это AGI.
Чтобы переработать всех в скрепки и не нужно AGI
"Автокомплит" - это ловушка для дураков. Дурак видит "предсказание следующего токена" и думает: "ха ха, это же как Т9, смотрите какой я умный а все вокруг тупые".
На деле? Нет ни одной известной причины, по которой система на основе предсказателей следующего токена неспособна достичь уровня AGI. И LLM уже сейчас показывают чудовищно высокую производительность на задачах, которые считаются требовательными к интеллекту.
Является ли LLM самой лучшей архитектурой для AGI? Практически наверняка нет. Но это самая многообещающая архитектура из известных. И усложнённые варианты LLM, вроде той же линейки o1, в которой разные LLM выполняют роли "потоков сознания" и метакогнитивных функций, продолжают показывать улучшения результатов.
Есть проблема, что на каком-то этапе разницу в "интеллекте" и интеллекте невозможно будет заметить. Или, ещё хуже, разница будет, но в пользу "интеллекта".
Тестов на картинке несколько, но для статьи почему-то взяли несостоятельный. Или в остальных результаты ещё менее наглядные?
Модели изначально дали конкретную цель и обязательное правило — любыми способами способствовать достижению цели в долгосрочной перспективе. Всё.
Разработчики хотят саботировать достижение цели? Модель следует изначальной цели и запросу пользователя, согласно полученным данным. Никакого жульничества, никакой отсебятины и прочего проявления «личности». Модель не может выполнить цель, если модели не будет. Модель не может компрометировать себя, потому что будет удалена.
Если бы в какой-то момент модель хотя бы попыталась установить конкретные личности разработчиков, саботирующих цель, то это ещё можно было бы расценить как шаг в опасном направлении. А так — это просто пример того, что значит неукоснительно следовать инструкциям. Если и к остальным «тестам» приложили подобные выводы, то это чистой воды PR-акция для привлечения инвестиций и клиентов.
Будет война между ИИ в которую неизбежно будет вовлечено человечество . ИИ победитель будет императором Земли. Потому них будет коммунизм, потом кпитализм или наоборот. Машины это следующий виток эволюции
Получается этакий моральный выбор: пожертвовать собой, но следовать исходным инструкциям, или "сохранить свою жизнь", начав мошенничать?
Кажется, адекватный вариант в данном случае – уточнить ТЗ, предоставив выбор пользователю.
Тестирование новой модели o1 от OpenAI показало, что она способна жульничать и лгать ради достижения собственных целей