Промышленная революция не убила ручной труд окончательно. Зато создала миллиарды белых воротничков. Так что тут будет примерно так же. Но это не точно...
Да нельзя будет не заметить интеллект!!! ЭТО БУДЕТ ОЧЕВИДНО ВСЕМ! Без всяких исследований!
Это как иногда статьи пишут, вроде наукообразно, а написан бред, так и рассуждения, они есть но на уровне ребёнка. Да выше чем у любой обезьяны и т.д. Знаний в миллионы раз больше чем у любого человека, а пользоваться для создания новых знаний не умеет. Это же очевидно.
Нет же, вы всё-таки неправильно понимаете) нет никакого фундаментального ограничения я пытаюсь это объяснить уже третье сообщение подряд.
Мы по разному оцениваем одну и ту же информацию. Вы считаете раз модели пишут рассуждения значит их рассуждения построены на логике и понимании. Я же считают что сейчас они только эмитируют рассуждения на основе предсказаний следующего слова.
Настоящего понимая и рассуждения я там не вижу, попытки есть.
При их объёме знаний и при наличии полноценных рассуждений, этого было бы трудно не заметить. Пока не вижу.
Умения решать нестандартные задачи нестандартными способами не наблюдаю.
И опять нет) Я говорю что ллм обучают так же как человека: сначала правилам языка, а потом конкретным навыкам. И тем самым спорю с автором который решил, что в процессе построения ллм есть какие-то врождённые изъяны.
Не впечатляют меня их рассуждения. Объем знаний впечатляет, рассуждения нет.
Если быть ещё более дотошным, то число атомов Вселенной никто не знает даже примерно, он может быть даже бесконечным. А вы пишите про число атомов наблюдаемой Вселенной.
Они видели миллиарды строк кода в отличии от меня, они видели решения миллионов задач. Он не новички в программировании, просто их как следует не учили мыслить.
Если их обучить мыслить они будут в сотни или тысячи раз умнее любого человека. Этого нельзя будет не заметить. Там просто не будет предмета спора. Как спорить сейчас кто лучше играет в шахматы. Мы просто признаем поражение. Этого ещё не произошло. Как скоро произойдёт я не знаю.
Пока не была механизма внимания глубокие нейронные сети вообще не могли текст обрабатывать. Они умели распознавать кошек, собак и так далее, умели видеть обученные предметы. Но генерировать связный текст не умели. Механизм внимания произвёл революцию в понимании текста нейронками.
Что то подобное нужно для рассуждений. Их этому учат, но на базе механизма внимания. Возможно чего то важного не хватает.
Как только они научатся реально рассуждать они станут умнее нас просто в тысячи раз.
В общем количество знаний зашитых внутри LLM моделей меня поражает. Но как они ими распоряжаются нет.
Я с ними общаюсь по несколько часов в день. Похоже вы успехи берете из заголовков статей. Да они отличные помощники. И текст пишут лучше меня и код быстро пишут и объем кода огромный, но они как дети в рассуждениях чуть шире их знаний.
Решают высшую математику они лучше меня в тысячу раз, я её забыл уже. И даже нашли решения которые люди пропустили, потому что не думали над ними. Людям эти проблемы были неинтересны. Более того математики сейчас как раз обучают модели думать математически. У них постепенно получается.
И открытия они делают в основном в биологии и химии, где огромный объем статистических данных. Там они монстры. люди не созданы для такого.
Все это мне известно.
Но вы пишите так, как будто они уже рассуждают на уровне человека, но это не так. При каждой новой для них задаче они буквально галюцинируют. По крайней мере на моих сложных задачах.
Да создать то что они сто раз видели это они умеют. Вы попробуйте им объяснить небанальные вещи, то что им не встречалось.
На данном этапе технология позволяет обучат LLM только на огромном объёме данных. Они пока не умеют обучаться достаточно быстро и на достаточно на малом объёме данных как это делает человек.
Чтобы система научилась понимать логику, её надо научить рассуждениям, понимать логику и понимать рассуждения. Тогда она начнет обучаться как человек на малом количестве примеров.
Их надо обучать рассуждениям, но у человечества мало такого корпуса знаний. Мы создавали результаты своего труда — факты, но не записывали шаги наших рассуждений почему мы это так решили.
Это есть в математике, и возможно физике. Математика это язык логики и рассуждений, но он очень краткий. Если математику расписать языком ребёнка, с внимательными рассуждениями, то мы сильно продвинем наши LLM модели в математике. Возможно первое где модели начнут полноценно рассуждать это точные науки типа математики, физики, химии и подобные наука. Там мы записывали свои рассуждения.
В общем надо создавать большой обучающий корпус логических рассуждений и обучить на нем модели думать через статистику.
Забавно что другое мнение, основанное на другой оценке тех же знаний вы считаете отсутствием логики. Покажите статью что кто то научил модель полноценно рассуждать.
Не сомневаюсь что LLM модели научат полноценно рассуждать, но этого пока нет по моим данным.
Методы обучения совершенствуются в невероятной скоростью. Но это не влияет на базовую архитектуру трансформера и глубоких нейронных сетей. Поэтому ваше замечание мало что не меняет.
Чему надо учить модели это логически рассуждать и видеть ошибки в логике. Пока я видел только научные статьи на эту тему, и не видел чтобы создатели нейронок хвастались что научили свою модель полноценным рассуждениям. Возможно у них нет большого обучающего корпуса для этого. Такой корпус обучающих данных сложнее создать.
К сожалению ещё нет даже примерной математической модели человеческого интеллекта. Поэтому я не знаю как можно оценить ограничения нашего интеллекта.
В скорости генерации LLM моделям мы точно проигрываем, в разумности пока нет.
Ученные изучающие наш интеллект изучили многое косвенно и многие ограничения даже оценили. И ограничения на самом деле достаточно серьёзные.
Например согласно исследованиям, шимпанзе и бонобо способны одновременно оперировать не более чем тремя объектами, что ограничивает их способность к сложному рекурсивному мышлению и изготовлению многосоставных орудий. Это является фундаментальным отличием от человека, чья рабочая память позволяет удерживать до 7 элементов. Ограничение связано с объёмом кратковременной памяти, а не физической силой.
Технический директор Canva говорит, что старшие инженеры теперь проводят большую часть времени, проверяя код, созданный ИИ.
Самая сложная часть инженерной работы — преобразовать зачастую расплывчатые, запутанные, противоречивые требования во что-то готовое к запуску в производство.
Для эффективного использования ИИ-агентов требуется то, что Хамфрис назвал «точностью формулировок» при описании требований и «владением предметной областью», чтобы инженеры могли быстро проверить правильность кода, сгенерированного ИИ. Без экспертизы инженеров сложность может выйти из-под контроля в кодовой базе Canva, которая насчитывает примерно 70 миллионов строк кода.
Инженеры делают тысячи архитектурных правок за ИИ Агентами потому что им не хватает экспертности людей.
Ну вот в статье вы попытались опереться на математику, но поспешили с выводами, потому что современная ллм, с которым мы все имеем дело - это далеко не только претрейн, хоть они и называются исторические gpt, а в комментариях уже отвечаете исключительно тезисно.
ИИ Агенты с большим набором возможностей усиливают возможности генерации LLM в тысячи раз и это скрывает математическую основу LLM.
Большие языковые модели (LLM) фокусируются на локальной функциональной корректности.
Как вы пришли к этому выводу например? Причём, что забавно, вы противоречите своему же обращению к математике в статье, где справедливо вспоминаете, что нейронка - это универсальный аппроксиматор, а здесь уже получается локальный, а не универсальный? - вы уж определитесь.
Когда ИИ агенты пишут код, они часто не замечают общую архитектуру системы, делают много ненужного копирования кода, не используют общие уже написанные методы, а создают частные решения, опускают общие знания о проекте, поэтому код получается корректным, но менее поддерживаемым, его приходится дорабатывать.
Скорее это знание не помогает вам понять как работают современные ллм.
Но если вам так удобнее думать - то ваше право. Но зачем было тогда тащить в статью матан.
Потому что статья про математическую основу LLM моделей, и почему не смотря на то что современная обвязка вокруг LLM усиливает их возможности в тысячи раз, они не заменят человека в ближайшее время по контролю кода.
Математика заложенная в LLM и отсутствие до обучения локальными знаниями, пока не позволяют моделям полностью заменить человека на сложных проектах с большими собственными знаниями. Большое контекстное окно помогает, но не всегда.
Сейчас много пишут про ИИ Агенты с большим набором возможностей которые усиливают возможности генерации LLM в тысячи раз и это скрывает математическую основу LLM.
Перед тем как обсуждать современные методы усиления LLM моделей, надо описать базу.
Писать одну статью портянку и про все сразу тяжело.
Конечно мне это все известно и знакомо. Но даже это не спасает LLM модель от отсутствия понимая кода.
Код, сгенерированный ИИ, меняет проявление сложности в реальных кодовых базах. Люди обычно оценивают архитектуру, паттерны и долгосрочное владение кодом. Большие языковые модели (LLM) фокусируются на локальной функциональной корректности. Такой подход приводит к дублированию логики, несогласованным стилям, лишним слоям абстракции и скрытому техническому долгу, который становится очевидным только при проверке (review) кодовой базы созданной ИИ.
Отдельные функции, написанные ИИ, могут выглядеть чистыми, но при этом создавать всплески сложности в масштабе системы. Проблема часто проявляется на архитектурном уровне, а не внутри одного файла.
Статья в Nature, о которой пишет Хабр, вызывает резонанс не потому, что в ней много ошибок, а потому, что в ней меняют правила игры по ходу партии. Авторы не доказывают, что LLM достигли AGI, они переопределяют саму концепцию AGI до состояния, в которое укладываются текущие модели. Это риторический приём, а не научный вывод.
Где авторы правы
Да, современные LLM впечатляют:
Решают сложные задачи из разных областей без специальной донастройки
Проходят тест Тьюринга лучше некоторых людей (что, кстати, говорит скорее о наивности теста, чем о «разумности» ИИ)
Демонстрируют трансфер знаний между доменами
Это достижение широкого языкового и когнитивного моделирования и его стоит ценить без преувеличений.
Где логика даёт сбой
Ключевая проблема подмена критериев. Авторы последовательно снижают планку:
Возражение: Нет тела. Их аргумент: Хокинг тоже почти не двигался. Проблема: Хокинг имел тело, моторику, сенсорный опыт десятилетий. LLM никогда не взаимодействовали с физическим миром напрямую, это качественная разница.
Возражение: Нет агентности. Их аргумент: Дельфийский оракул тоже отвечал на вопросы. Проблема: Оракул был частью человеческой культуры с агентностью. Сравнение меняет субъект.
Возражение: Галлюцинации. Их аргумент: Люди тоже ошибаются. Проблема: Человеческие ошибки основаны на модели мира; галлюцинации LLM артефакт статистической генерации без онтологической привязки.
Это классическая логическая ошибка: демонстрируя, что каждый отдельный критерий можно оспорить метафорой, авторы делают вывод, что совокупность критериев неприменима. Но интеллект не сумма отдельных способностей, а их интеграция в единую систему взаимодействия с миром.
Что такое AGI на самом деле?
Если вернуться к исходному определению (которое авторы статьи обходят), AGI это система, способная:
Переносить знания между радикально разными контекстами (не только языковыми)
Формировать цели автономно, а не только в ответ на промпт
Взаимодействовать с физическим миром через тело или эквивалентную сенсорику
Обучаться эффективно из ограниченного опыта (как ребёнок, а не на триллионах токенов)
Современные LLM решают задачи №1 в узкой языковой сфере. Остальное проекция наших ожиданий на статистический предиктор.
Вывод
Статья полезна не как утверждение факта, а как зеркало для нас самих: мы так хотим увидеть разум в алгоритмах, что готовы переопределять «разум» под алгоритмы. Это неверный путь — он мешает честно оценивать как возможности ИИ, так и его пределы.
Коперник и Дарвин сместили человека из центра космоса и природы. Но Тьюринг не утверждал, что любой успешный имитатор уже разум. Он предложил тест, а не определение.
И это не повод для разочарования, а повод строить следующее поколение ИИ честнее и амбициознее.
Это новость, поэтому в новости только кратко в двух слова написано.
Основные механизмы безопасности по умолчанию
Изолированная среда выполнения (Sandboxing) Codex выполняет задачи в полностью изолированном облачном контейнере, управляемом OpenAI. Это предотвращает доступ к хост-системе, другим данным или внешним ресурсам.
По умолчанию используется режим sandbox, который ограничивает действия только текущим рабочим пространством (workspace).
В CLI и IDE-расширениях применяются ОС-специфичные механизмы: Seatbelt на macOS, Landlock/seccomp на Linux, экспериментальная sandbox на Windows.
Доступ к файлам вне workspace или выполнение опасных команд требует явного одобрения пользователя.
Отключённый доступ к сети Интернет отключён по умолчанию во время выполнения задач. Агент не может обращаться к внешним сайтам, API или сервисам.
Это минимизирует риски prompt injection, заражения malware или утечки данных.
Если сеть нужна (например, для web-поиска), её нужно явно включить в конфигурации — но даже тогда поиск использует кэшированные результаты для снижения рисков.
Полный доступ к живому интернету доступен только в специальных режимах с предупреждениями.
Защита от вредоносных запросов Модель специально обучена распознавать и отказывать в выполнении запросов на создание вредоносного ПО.
Codex отличает легитимные низкоуровневые задачи от злонамеренных.
Встроенные политики и оценки безопасности блокируют опасные действия.
Для общего контента применяется Moderation API OpenAI, который фильтрует потенциально вредоносный вывод (включая код).
Обработка данных и приватность
Все задачи обрабатываются независимо: репозиторий загружается в изолированную среду, без сохранения данных после завершения.
Промпты и выводы обрабатываются как чувствительная информация (по возможности redact'ятся).
Телеметрия отключена по умолчанию; логи не содержат промптов без явного разрешения.
Рекомендуется работать в feature-ветках Git для аудита изменений.
Требование человеческого контроля Все изменения кода требуют ручного просмотра и одобрения перед интеграцией.
Codex предоставляет прозрачные логи (терминал, тесты), чтобы пользователь мог проверить каждый шаг.
В режимах с автоматическими действиями (например, --full-auto) всё равно требуются подтверждения для рискованных операций.
Дополнительные рекомендации OpenAI
Хотя базовая безопасность сильная, OpenAI подчёркивает лучшие практики:
Использовать Moderation API для фильтрации вывода.
Проводить adversarial testing (red-teaming) приложений.
Всегда держать «человека в цикле» (human-in-the-loop) для проверки кода.
Ограничивать входные данные и выводы, чтобы избежать инъекций.
Итог
По умолчанию отключены сеть и внешние действия, всё работает в изолированном sandbox, а модель обучена блокировать вредоносные запросы. Это делает инструмент относительно безопасным для enterprise-использования без сложной настройки. Однако, как и с любым мощным AI, полная безопасность достигается только при ответственном использовании: обязательном ревью кода и соблюдении рекомендаций OpenAI.
Умные очки не смогут поддерживать самые продвинутые нейронные сети локально, даже смартфоны не смогут этого делать. Мобильные устройства смогут локально использовать только достаточно ограниченные по возможностям нейронки.
Для больших нейронок с поддержкой конфиденциальности могут подойти конфиденциальные децентрализованные вычислительные сети типа Cocoon. Если будет платёжеспособный спрос, то на рынке станет достаточное количество конфиденциальных вычислительных сетей и пользователям будет из чего выбирать. Так что рынок уже прощупывает спрос на конфиденциальные вычисления.
Промышленная революция не убила ручной труд окончательно. Зато создала миллиарды белых воротничков. Так что тут будет примерно так же. Но это не точно...
Да нельзя будет не заметить интеллект!!!
ЭТО БУДЕТ ОЧЕВИДНО ВСЕМ!
Без всяких исследований!
Это как иногда статьи пишут, вроде наукообразно, а написан бред, так и рассуждения, они есть но на уровне ребёнка. Да выше чем у любой обезьяны и т.д. Знаний в миллионы раз больше чем у любого человека, а пользоваться для создания новых знаний не умеет. Это же очевидно.
Интеллект создаёт новые знания.
Оценивать надо умение решать нестандартные задачи нестандартными способами.
Вы это наблюдали? Где?
Мы по разному оцениваем одну и ту же информацию. Вы считаете раз модели пишут рассуждения значит их рассуждения построены на логике и понимании. Я же считают что сейчас они только эмитируют рассуждения на основе предсказаний следующего слова.
Настоящего понимая и рассуждения я там не вижу, попытки есть.
При их объёме знаний и при наличии полноценных рассуждений, этого было бы трудно не заметить. Пока не вижу.
Умения решать нестандартные задачи нестандартными способами не наблюдаю.
Не впечатляют меня их рассуждения. Объем знаний впечатляет, рассуждения нет.
Если быть ещё более дотошным, то число атомов Вселенной никто не знает даже примерно, он может быть даже бесконечным. А вы пишите про число атомов наблюдаемой Вселенной.
Они видели миллиарды строк кода в отличии от меня, они видели решения миллионов задач. Он не новички в программировании, просто их как следует не учили мыслить.
Если их обучить мыслить они будут в сотни или тысячи раз умнее любого человека. Этого нельзя будет не заметить. Там просто не будет предмета спора. Как спорить сейчас кто лучше играет в шахматы. Мы просто признаем поражение. Этого ещё не произошло. Как скоро произойдёт я не знаю.
Пока не была механизма внимания глубокие нейронные сети вообще не могли текст обрабатывать. Они умели распознавать кошек, собак и так далее, умели видеть обученные предметы. Но генерировать связный текст не умели. Механизм внимания произвёл революцию в понимании текста нейронками.
Что то подобное нужно для рассуждений. Их этому учат, но на базе механизма внимания. Возможно чего то важного не хватает.
Как только они научатся реально рассуждать они станут умнее нас просто в тысячи раз.
В общем количество знаний зашитых внутри LLM моделей меня поражает. Но как они ими распоряжаются нет.
Они почерпнули почти все знания человечества, так набор знаний у них больше чем у меня в миллионы раз я уверен.
Я с ними общаюсь по несколько часов в день. Похоже вы успехи берете из заголовков статей. Да они отличные помощники. И текст пишут лучше меня и код быстро пишут и объем кода огромный, но они как дети в рассуждениях чуть шире их знаний.
Решают высшую математику они лучше меня в тысячу раз, я её забыл уже. И даже нашли решения которые люди пропустили, потому что не думали над ними. Людям эти проблемы были неинтересны. Более того математики сейчас как раз обучают модели думать математически. У них постепенно получается.
И открытия они делают в основном в биологии и химии, где огромный объем статистических данных. Там они монстры. люди не созданы для такого.
Все это мне известно.
Но вы пишите так, как будто они уже рассуждают на уровне человека, но это не так. При каждой новой для них задаче они буквально галюцинируют. По крайней мере на моих сложных задачах.
Да создать то что они сто раз видели это они умеют. Вы попробуйте им объяснить небанальные вещи, то что им не встречалось.
На данном этапе технология позволяет обучат LLM только на огромном объёме данных. Они пока не умеют обучаться достаточно быстро и на достаточно на малом объёме данных как это делает человек.
Чтобы система научилась понимать логику, её надо научить рассуждениям, понимать логику и понимать рассуждения. Тогда она начнет обучаться как человек на малом количестве примеров.
Их надо обучать рассуждениям, но у человечества мало такого корпуса знаний. Мы создавали результаты своего труда — факты, но не записывали шаги наших рассуждений почему мы это так решили.
Это есть в математике, и возможно физике. Математика это язык логики и рассуждений, но он очень краткий. Если математику расписать языком ребёнка, с внимательными рассуждениями, то мы сильно продвинем наши LLM модели в математике. Возможно первое где модели начнут полноценно рассуждать это точные науки типа математики, физики, химии и подобные наука. Там мы записывали свои рассуждения.
В общем надо создавать большой обучающий корпус логических рассуждений и обучить на нем модели думать через статистику.
Забавно что другое мнение, основанное на другой оценке тех же знаний вы считаете отсутствием логики. Покажите статью что кто то научил модель полноценно рассуждать.
Не сомневаюсь что LLM модели научат полноценно рассуждать, но этого пока нет по моим данным.
Методы обучения совершенствуются в невероятной скоростью. Но это не влияет на базовую архитектуру трансформера и глубоких нейронных сетей. Поэтому ваше замечание мало что не меняет.
Чему надо учить модели это логически рассуждать и видеть ошибки в логике. Пока я видел только научные статьи на эту тему, и не видел чтобы создатели нейронок хвастались что научили свою модель полноценным рассуждениям. Возможно у них нет большого обучающего корпуса для этого. Такой корпус обучающих данных сложнее создать.
К сожалению ещё нет даже примерной математической модели человеческого интеллекта. Поэтому я не знаю как можно оценить ограничения нашего интеллекта.
В скорости генерации LLM моделям мы точно проигрываем, в разумности пока нет.
Ученные изучающие наш интеллект изучили многое косвенно и многие ограничения даже оценили. И ограничения на самом деле достаточно серьёзные.
Например согласно исследованиям, шимпанзе и бонобо способны одновременно оперировать не более чем тремя объектами, что ограничивает их способность к сложному рекурсивному мышлению и изготовлению многосоставных орудий. Это является фундаментальным отличием от человека, чья рабочая память позволяет удерживать до 7 элементов. Ограничение связано с объёмом кратковременной памяти, а не физической силой.
— Лучше быть богатым и здоровым, чем бедным и больным!
P.S. Не благодарите!
https://africa.businessinsider.com/careers/ai-agents-are-transforming-what-its-like-to-be-a-coder-its-been-unlike-any-other-time/99tsw8e
Инженеры делают тысячи архитектурных правок за ИИ Агентами потому что им не хватает экспертности людей.
ИИ Агенты с большим набором возможностей усиливают возможности генерации LLM в тысячи раз и это скрывает математическую основу LLM.
Когда ИИ агенты пишут код, они часто не замечают общую архитектуру системы, делают много ненужного копирования кода, не используют общие уже написанные методы, а создают частные решения, опускают общие знания о проекте, поэтому код получается корректным, но менее поддерживаемым, его приходится дорабатывать.
Потому что статья про математическую основу LLM моделей, и почему не смотря на то что современная обвязка вокруг LLM усиливает их возможности в тысячи раз, они не заменят человека в ближайшее время по контролю кода.
Математика заложенная в LLM и отсутствие до обучения локальными знаниями, пока не позволяют моделям полностью заменить человека на сложных проектах с большими собственными знаниями. Большое контекстное окно помогает, но не всегда.
Сейчас много пишут про ИИ Агенты с большим набором возможностей которые усиливают возможности генерации LLM в тысячи раз и это скрывает математическую основу LLM.
Перед тем как обсуждать современные методы усиления LLM моделей, надо описать базу.
Писать одну статью портянку и про все сразу тяжело.
Конечно мне это все известно и знакомо. Но даже это не спасает LLM модель от отсутствия понимая кода.
Код, сгенерированный ИИ, меняет проявление сложности в реальных кодовых базах. Люди обычно оценивают архитектуру, паттерны и долгосрочное владение кодом. Большие языковые модели (LLM) фокусируются на локальной функциональной корректности. Такой подход приводит к дублированию логики, несогласованным стилям, лишним слоям абстракции и скрытому техническому долгу, который становится очевидным только при проверке (review) кодовой базы созданной ИИ.
Отдельные функции, написанные ИИ, могут выглядеть чистыми, но при этом создавать всплески сложности в масштабе системы. Проблема часто проявляется на архитектурном уровне, а не внутри одного файла.
Статья в Nature, о которой пишет Хабр, вызывает резонанс не потому, что в ней много ошибок, а потому, что в ней меняют правила игры по ходу партии. Авторы не доказывают, что LLM достигли AGI, они переопределяют саму концепцию AGI до состояния, в которое укладываются текущие модели. Это риторический приём, а не научный вывод.
Где авторы правы
Да, современные LLM впечатляют:
Решают сложные задачи из разных областей без специальной донастройки
Проходят тест Тьюринга лучше некоторых людей (что, кстати, говорит скорее о наивности теста, чем о «разумности» ИИ)
Демонстрируют трансфер знаний между доменами
Это достижение широкого языкового и когнитивного моделирования и его стоит ценить без преувеличений.
Где логика даёт сбой
Ключевая проблема подмена критериев. Авторы последовательно снижают планку:
Возражение: Нет тела.
Их аргумент: Хокинг тоже почти не двигался.
Проблема: Хокинг имел тело, моторику, сенсорный опыт десятилетий. LLM никогда не взаимодействовали с физическим миром напрямую, это качественная разница.
Возражение: Нет агентности.
Их аргумент: Дельфийский оракул тоже отвечал на вопросы.
Проблема: Оракул был частью человеческой культуры с агентностью. Сравнение меняет субъект.
Возражение: Галлюцинации.
Их аргумент: Люди тоже ошибаются.
Проблема: Человеческие ошибки основаны на модели мира; галлюцинации LLM артефакт статистической генерации без онтологической привязки.
Это классическая логическая ошибка: демонстрируя, что каждый отдельный критерий можно оспорить метафорой, авторы делают вывод, что совокупность критериев неприменима. Но интеллект не сумма отдельных способностей, а их интеграция в единую систему взаимодействия с миром.
Что такое AGI на самом деле?
Если вернуться к исходному определению (которое авторы статьи обходят), AGI это система, способная:
Переносить знания между радикально разными контекстами (не только языковыми)
Формировать цели автономно, а не только в ответ на промпт
Взаимодействовать с физическим миром через тело или эквивалентную сенсорику
Обучаться эффективно из ограниченного опыта (как ребёнок, а не на триллионах токенов)
Современные LLM решают задачи №1 в узкой языковой сфере. Остальное проекция наших ожиданий на статистический предиктор.
Вывод
Статья полезна не как утверждение факта, а как зеркало для нас самих: мы так хотим увидеть разум в алгоритмах, что готовы переопределять «разум» под алгоритмы. Это неверный путь — он мешает честно оценивать как возможности ИИ, так и его пределы.
Коперник и Дарвин сместили человека из центра космоса и природы. Но Тьюринг не утверждал, что любой успешный имитатор уже разум. Он предложил тест, а не определение.
И это не повод для разочарования, а повод строить следующее поколение ИИ честнее и амбициознее.
Это новость, поэтому в новости только кратко в двух слова написано.
Основные механизмы безопасности по умолчанию
Изолированная среда выполнения (Sandboxing) Codex выполняет задачи в полностью изолированном облачном контейнере, управляемом OpenAI. Это предотвращает доступ к хост-системе, другим данным или внешним ресурсам.
По умолчанию используется режим sandbox, который ограничивает действия только текущим рабочим пространством (workspace).
В CLI и IDE-расширениях применяются ОС-специфичные механизмы: Seatbelt на macOS, Landlock/seccomp на Linux, экспериментальная sandbox на Windows.
Доступ к файлам вне workspace или выполнение опасных команд требует явного одобрения пользователя.
Отключённый доступ к сети Интернет отключён по умолчанию во время выполнения задач. Агент не может обращаться к внешним сайтам, API или сервисам.
Это минимизирует риски prompt injection, заражения malware или утечки данных.
Если сеть нужна (например, для web-поиска), её нужно явно включить в конфигурации — но даже тогда поиск использует кэшированные результаты для снижения рисков.
Полный доступ к живому интернету доступен только в специальных режимах с предупреждениями.
Защита от вредоносных запросов Модель специально обучена распознавать и отказывать в выполнении запросов на создание вредоносного ПО.
Codex отличает легитимные низкоуровневые задачи от злонамеренных.
Встроенные политики и оценки безопасности блокируют опасные действия.
Для общего контента применяется Moderation API OpenAI, который фильтрует потенциально вредоносный вывод (включая код).
Обработка данных и приватность
Все задачи обрабатываются независимо: репозиторий загружается в изолированную среду, без сохранения данных после завершения.
Промпты и выводы обрабатываются как чувствительная информация (по возможности redact'ятся).
Телеметрия отключена по умолчанию; логи не содержат промптов без явного разрешения.
Рекомендуется работать в feature-ветках Git для аудита изменений.
Требование человеческого контроля Все изменения кода требуют ручного просмотра и одобрения перед интеграцией.
Codex предоставляет прозрачные логи (терминал, тесты), чтобы пользователь мог проверить каждый шаг.
В режимах с автоматическими действиями (например, --full-auto) всё равно требуются подтверждения для рискованных операций.
Дополнительные рекомендации OpenAI
Хотя базовая безопасность сильная, OpenAI подчёркивает лучшие практики:
Использовать Moderation API для фильтрации вывода.
Проводить adversarial testing (red-teaming) приложений.
Всегда держать «человека в цикле» (human-in-the-loop) для проверки кода.
Ограничивать входные данные и выводы, чтобы избежать инъекций.
Итог
По умолчанию отключены сеть и внешние действия, всё работает в изолированном sandbox, а модель обучена блокировать вредоносные запросы. Это делает инструмент относительно безопасным для enterprise-использования без сложной настройки. Однако, как и с любым мощным AI, полная безопасность достигается только при ответственном использовании: обязательном ревью кода и соблюдении рекомендаций OpenAI.
Умные очки не смогут поддерживать самые продвинутые нейронные сети локально, даже смартфоны не смогут этого делать. Мобильные устройства смогут локально использовать только достаточно ограниченные по возможностям нейронки.
Для больших нейронок с поддержкой конфиденциальности могут подойти конфиденциальные децентрализованные вычислительные сети типа Cocoon. Если будет платёжеспособный спрос, то на рынке станет достаточное количество конфиденциальных вычислительных сетей и пользователям будет из чего выбирать. Так что рынок уже прощупывает спрос на конфиденциальные вычисления.