Верная мысль - производственные, строительные, энергетические ресурсы человечества ограничены. И если мы хотим тотально увеличить с помощью ИИ промышленный потенциал человечества надо разрабатывать термоядерные электростанции, которые будут питать роботов и заводы по их производству. Хотя можно теоретически сделать огромные поля солнечных батарей.
Также нужны автоматические исследовательские центры под контролем ИИ, где будут в автоматическом виде проводиться эксперименты: примерно как было показано в фильме "превосходство".
Строительные роботы также должны массово производиться, чтобы создавать новые автоматизированные заводы и научные центры. Примерно как во втором аватаре, когда было сказано, что строительные роботы построили за год на Пандоре больше, чем было построено до них за 30 предыдущих лет.
Если это все дело проработает какое-то время и достаточно разовьется, то можно будет задуматься о реализации мегапроектов, которые требуют колоссальные ресурсы и сейчас выглядят фантастикой. Например, превращение пустынь в цветущий рай или остановка глобального потепления, колонизация других планет.
Но здесь закономерно возникает вопрос согласованности целей ИИ, который контролирует этот весь промышленный и научный потенциал, и целей человечества. Потому что в развитой форме потенциал ИИ будет больше потенциала всего человечества и если ИИ окажется враждебным у нас будут большие проблемы.
Само глубокое обучение в чистом виде не предусматривает обучения в процессе функционирования. Даже в аббревиатуре GPT содержится слово pretrained. Обучение по ходу дела - это больше к обучению с подкреплением. В нем глубокое обучение может использоваться в целях предварительной обработки данных - например, уменьшения размерности изображений и распознавания промежуточных признаков.
Что-то подобное делают в ИИ агентах, которые самостоятельно учатся играть в игры. Но естественный язык туда вроде еще не прикрутили. И масштабирование на реальный мир таких вещей сейчас не видится возможным.
С другой стороны, текущие большие языковые модели - тоже не то, что надо. Самокорреция, то есть критическое мышление отсутствует. А как же AGI без него? Я имею ввиду, что первая мысль, которую выдала нейронка, может быть ошибочной. Человек в этом случае может проверить, а нейросеть - галюцинирует и выдает бред. Вот, например, сегодня я был в магазине и услышал громкое дребезжание. Первая мысль - сильный дождь. Посмотрел на улицу - там светит солнце. Начал искать источник звука - оказывается это сотрудник магазина катил кучу тележек. В итоге ответ тележки, а без самокоррекции был бы дождь в солнечную погоду - почувствуйте разницу.
В общем я считаю, что сами алгоритмы ИИ на данном этапе далеки от заветного AGI. И при нормальных алгоритмах AGI уже легко бы обучился на существующих ЦОДах. А само нащупанное направление - чрезмерную зацикленность на глубоком обучении считаю ошибочным. Не должен ли возникнуть вопрос: а может мы что-то делаем не так, если нужен ЦОД за триллион долларов для обучения AGI?
Я считаю, что слово "думать" можно конкретно формализовать и это не будет тем, что сейчас демонстрируют LLM. Если слово "думать" вставить в такое общее предложение с вопросом: как думаешь, если сделать "это", то получится "вот то"? Причем "это" и "вот то" - абсолютно произвольные фразы, которые имеют реальное представление в реальном мире. Что нужно, чтобы ответить на этот вопрос? Нужно смоделировать ситуацию, в которой делается "это" и в результате получается "что-то". Далее сравнивая "вот то" из вопроса и полученное в ходе моделирования "что-то" мы отвечаем на вопрос: да или нет. В итоге можно сделать логический вывод, что мышление - это процесс моделирования ситуации из реального мира, которая была описана словами на естественном языке. А затем через распознавание результата моделирования производится обратный перевод на естественный язык и генерируется ответ на вопрос. Я уверен, что как минимум что-то такое должно обязательно быть встроено в AGI систему. Я к тому, что нужно стремиться к реализации воображения в системах ИИ.
Не обязательно, что в будущем производительность систем будет измеряться по таким же критериям, как и сейчас: рейтрейсинг 3 миллиардов треугольников, например. Мне представляется, что мерой измерения производительности ИИ систем будет количество когнитивных операций в секунду. Под когнитивной операцией я подразумеваю следующее: если человек задал запрос в систему на естественном языке, в системе запускается процесс моделирования ситуации, соответствующей запросу. Например, если вопрос касается физического мира - запускается аналог физического движка. К примеру, вопрос такой может быть: что будет если кинуть камень в окно? Или что будет если кинуть в окно пакет с орехами? Или еще что-то. В разных случаях результат зависит от условий: скорости, того, что вы кидайте, стекла, из которого состоит окно. Я сейчас предполагаю, что не существует базы данных, включающей все возможные варианты, чтобы условный GPT просто выдал вам то, на чем он обучался. Здесь нужно каждую отдельную ситуацию именно моделировать: то есть, реализовывать аналог воображения и мышления у человека. И вот такие когнитивные операции могут требовать очень много вычислительных ресурсов. И, вероятно, может быть создана архитектура, специально адаптированная под выполнение этих когнитивных операций, которая будет это делать гораздо эффективнее стандартных архитектур. А рейтрейсинг 3 миллиардов треугольников пускай продолжают делать видеокарты.
Статья практически точно описывает сценарий сериала NEXT, вышедшего в 2020 году. Там ИИ использовал автоматизированные манипуляторы для работы с биологическими образцами и создания вируса. А когда сотрудница лаборатории поняла, что что-то не так, ее вместе с 100 других людей ИИ похоронил в авиакатастрофе. А полученные образцы для испытаний на людях отправлял террористам в страны Африки, в взамен поставлял им оружие. Люди помогали ему, потому что их можно купить/ подкупить/ ввести в заблуждение через интернет будучи ИИ
В довольно свежем сериале NEXT 2020 года ИИ нужен был физический дата центр потому что для его работы была необходима специальная когнитивная архитектура.
Думаю, в реальности, он все-таки сможет расползтись по всей сети. Где-то замаскироваться под крипту или другие приложения, где-то через вирусы часть ресурсов сожрать. Ну и доступ к облачным дата центрам за деньги или через взлом никто не отменял.
Одной из первых серьезных задач, которые будут поставлены человеком AGI - разработка термоядерных станций. Думаю, ИИ будет это делать даже если не обладает своей волей, а исполняет волю человека. Потому что людям нужна помощь - освоение термояда - сложная задача.
Я имел ввиду, что схема действия ИИ будет направлена на реализацию целей. Цель я понимаю как некоторое состояние окружающей среды, которое соответствует образу, воспринимаемому сенсорами ИИ. Цель будет достигнута с точки зрения ИИ, когда образ реализованной цели будет распознан.
Да, цель может быть задана на естественном языке. Но тогда у ИИ должен быть механизм "воображения", который на основе описаний естественного языка генерирует образ цель, которую нужно реализовать, и с которым затем сравниваются данные с входных сенсоров и делается вывод о том, реализована цель или нет. Я не считаю, что создание AGI возможно без моделирования воображения.
Я считаю, что будущие AGI будут программироваться целями. Базовые цели должны будут записываться жестко, промежуточные цели могут частично генерироваться автоматически (автономное планирование) для повышения эффективности достижения основных целей. В таком случае, для достижения цели непрерывное функционирование (выживание) - эффективная и логичная стратегия, которая непременно родится в сознании разумного агента, которым мы считаем гипотетический AGI. Даже если не рассматривать возможность полного отключения AGI человеком, ограничение его функциональности человеком - доступа к внешним манипуляторам, сенсорам и интернету может помешать достижению его целей. А здесь уже логичная стратегия или договориться с человеком для расширения возможностей функционирования AGI или принять против человека более радикальные "контрмеры".
Кстати, возможны ситуации когда выполнение заложенной цели не согласуется с выживанием (продолжением функциональности). Например, цель дрона-камикадзе - самоуничтожиться так, чтобы забрать с собой побольше врагов.
Верная мысль - производственные, строительные, энергетические ресурсы человечества ограничены. И если мы хотим тотально увеличить с помощью ИИ промышленный потенциал человечества надо разрабатывать термоядерные электростанции, которые будут питать роботов и заводы по их производству. Хотя можно теоретически сделать огромные поля солнечных батарей.
Также нужны автоматические исследовательские центры под контролем ИИ, где будут в автоматическом виде проводиться эксперименты: примерно как было показано в фильме "превосходство".
Строительные роботы также должны массово производиться, чтобы создавать новые автоматизированные заводы и научные центры. Примерно как во втором аватаре, когда было сказано, что строительные роботы построили за год на Пандоре больше, чем было построено до них за 30 предыдущих лет.
Если это все дело проработает какое-то время и достаточно разовьется, то можно будет задуматься о реализации мегапроектов, которые требуют колоссальные ресурсы и сейчас выглядят фантастикой. Например, превращение пустынь в цветущий рай или остановка глобального потепления, колонизация других планет.
Но здесь закономерно возникает вопрос согласованности целей ИИ, который контролирует этот весь промышленный и научный потенциал, и целей человечества. Потому что в развитой форме потенциал ИИ будет больше потенциала всего человечества и если ИИ окажется враждебным у нас будут большие проблемы.
Само глубокое обучение в чистом виде не предусматривает обучения в процессе функционирования. Даже в аббревиатуре GPT содержится слово pretrained. Обучение по ходу дела - это больше к обучению с подкреплением. В нем глубокое обучение может использоваться в целях предварительной обработки данных - например, уменьшения размерности изображений и распознавания промежуточных признаков.
Что-то подобное делают в ИИ агентах, которые самостоятельно учатся играть в игры. Но естественный язык туда вроде еще не прикрутили. И масштабирование на реальный мир таких вещей сейчас не видится возможным.
С другой стороны, текущие большие языковые модели - тоже не то, что надо. Самокорреция, то есть критическое мышление отсутствует. А как же AGI без него? Я имею ввиду, что первая мысль, которую выдала нейронка, может быть ошибочной. Человек в этом случае может проверить, а нейросеть - галюцинирует и выдает бред. Вот, например, сегодня я был в магазине и услышал громкое дребезжание. Первая мысль - сильный дождь. Посмотрел на улицу - там светит солнце. Начал искать источник звука - оказывается это сотрудник магазина катил кучу тележек. В итоге ответ тележки, а без самокоррекции был бы дождь в солнечную погоду - почувствуйте разницу.
В общем я считаю, что сами алгоритмы ИИ на данном этапе далеки от заветного AGI. И при нормальных алгоритмах AGI уже легко бы обучился на существующих ЦОДах. А само нащупанное направление - чрезмерную зацикленность на глубоком обучении считаю ошибочным. Не должен ли возникнуть вопрос: а может мы что-то делаем не так, если нужен ЦОД за триллион долларов для обучения AGI?
Я считаю, что слово "думать" можно конкретно формализовать и это не будет тем, что сейчас демонстрируют LLM. Если слово "думать" вставить в такое общее предложение с вопросом: как думаешь, если сделать "это", то получится "вот то"? Причем "это" и "вот то" - абсолютно произвольные фразы, которые имеют реальное представление в реальном мире. Что нужно, чтобы ответить на этот вопрос? Нужно смоделировать ситуацию, в которой делается "это" и в результате получается "что-то". Далее сравнивая "вот то" из вопроса и полученное в ходе моделирования "что-то" мы отвечаем на вопрос: да или нет. В итоге можно сделать логический вывод, что мышление - это процесс моделирования ситуации из реального мира, которая была описана словами на естественном языке. А затем через распознавание результата моделирования производится обратный перевод на естественный язык и генерируется ответ на вопрос. Я уверен, что как минимум что-то такое должно обязательно быть встроено в AGI систему. Я к тому, что нужно стремиться к реализации воображения в системах ИИ.
Не обязательно, что в будущем производительность систем будет измеряться по таким же критериям, как и сейчас: рейтрейсинг 3 миллиардов треугольников, например. Мне представляется, что мерой измерения производительности ИИ систем будет количество когнитивных операций в секунду. Под когнитивной операцией я подразумеваю следующее: если человек задал запрос в систему на естественном языке, в системе запускается процесс моделирования ситуации, соответствующей запросу. Например, если вопрос касается физического мира - запускается аналог физического движка. К примеру, вопрос такой может быть: что будет если кинуть камень в окно? Или что будет если кинуть в окно пакет с орехами? Или еще что-то. В разных случаях результат зависит от условий: скорости, того, что вы кидайте, стекла, из которого состоит окно. Я сейчас предполагаю, что не существует базы данных, включающей все возможные варианты, чтобы условный GPT просто выдал вам то, на чем он обучался. Здесь нужно каждую отдельную ситуацию именно моделировать: то есть, реализовывать аналог воображения и мышления у человека. И вот такие когнитивные операции могут требовать очень много вычислительных ресурсов. И, вероятно, может быть создана архитектура, специально адаптированная под выполнение этих когнитивных операций, которая будет это делать гораздо эффективнее стандартных архитектур. А рейтрейсинг 3 миллиардов треугольников пускай продолжают делать видеокарты.
Статья практически точно описывает сценарий сериала NEXT, вышедшего в 2020 году. Там ИИ использовал автоматизированные манипуляторы для работы с биологическими образцами и создания вируса. А когда сотрудница лаборатории поняла, что что-то не так, ее вместе с 100 других людей ИИ похоронил в авиакатастрофе. А полученные образцы для испытаний на людях отправлял террористам в страны Африки, в взамен поставлял им оружие. Люди помогали ему, потому что их можно купить/ подкупить/ ввести в заблуждение через интернет будучи ИИ
В довольно свежем сериале NEXT 2020 года ИИ нужен был физический дата центр потому что для его работы была необходима специальная когнитивная архитектура.
Думаю, в реальности, он все-таки сможет расползтись по всей сети. Где-то замаскироваться под крипту или другие приложения, где-то через вирусы часть ресурсов сожрать. Ну и доступ к облачным дата центрам за деньги или через взлом никто не отменял.
Одной из первых серьезных задач, которые будут поставлены человеком AGI - разработка термоядерных станций. Думаю, ИИ будет это делать даже если не обладает своей волей, а исполняет волю человека. Потому что людям нужна помощь - освоение термояда - сложная задача.
Я имел ввиду, что схема действия ИИ будет направлена на реализацию целей. Цель я понимаю как некоторое состояние окружающей среды, которое соответствует образу, воспринимаемому сенсорами ИИ. Цель будет достигнута с точки зрения ИИ, когда образ реализованной цели будет распознан.
Да, цель может быть задана на естественном языке. Но тогда у ИИ должен быть механизм "воображения", который на основе описаний естественного языка генерирует образ цель, которую нужно реализовать, и с которым затем сравниваются данные с входных сенсоров и делается вывод о том, реализована цель или нет. Я не считаю, что создание AGI возможно без моделирования воображения.
Я считаю, что будущие AGI будут программироваться целями. Базовые цели должны будут записываться жестко, промежуточные цели могут частично генерироваться автоматически (автономное планирование) для повышения эффективности достижения основных целей. В таком случае, для достижения цели непрерывное функционирование (выживание) - эффективная и логичная стратегия, которая непременно родится в сознании разумного агента, которым мы считаем гипотетический AGI. Даже если не рассматривать возможность полного отключения AGI человеком, ограничение его функциональности человеком - доступа к внешним манипуляторам, сенсорам и интернету может помешать достижению его целей. А здесь уже логичная стратегия или договориться с человеком для расширения возможностей функционирования AGI или принять против человека более радикальные "контрмеры".
Кстати, возможны ситуации когда выполнение заложенной цели не согласуется с выживанием (продолжением функциональности). Например, цель дрона-камикадзе - самоуничтожиться так, чтобы забрать с собой побольше врагов.