Pull to refresh
83
1
Даниил Бакалин @Quiensabe

Программист

Send message

5 лет назад написал "сценарий", подобного. Кому интересно:

Текст длинный...

Вначале небольшое отступление о нейросетях. Кому интересен сам "сценарий" - можно смело пропускать.

Одно из самых перспективных направлений в развитии ИИ - это алгоритм, обладающий функцией автоматического назначения промежуточных целей и поиска алгоритмов их достижения. Это еще не "Сильный ИИ", в его обычном понимании. Такой алгоритм может не быть "умным" в нашем понимании. Но он позволит решить множество насущных задач.

Современные нейросети могут многое, от написания отзывов в инете, до вождения авто. Но они "думают" только именно так как их обучили. Если нужно научиться отличать кошек от собак - можно создать нейросеть, скормить ей сотни тысяч картинок, и она будет выполнять эту функцию. И ничего более она делать не сможет. Если хочется решить другую задачу - нужно сделать и обучить новую сеть.

Однако сам процесс создания новой сети можно автоматизировать, чтобы одна нейросеть смогла создать другую. Проблема в том, что для создания сети нужно понимать в чем ее цель.

Глобальную цель может формировать оператор. Но обычно любая задача должна быть разбита на множество небольших целей, а для этого нужно понимать "смысл" задачи. И понимать реалии окружающего мира (пусть это даже пространство состояния нескольких сотен переменных).

Построение такой "понимающей" системы - Святой Грааль современных исследователей. Очень многие задачи после ее изобретения потребуют для решения только вычислительных ресурсов, которые год от года дешевеют.

Теперь предположим, что такая система была создана. И доступ к ней получил некий не слишком честный программист "Вася".

Ну я теперь - СЦЕНАРИЙ :)

Первым делом, Вася думает, как бы побольше заработать на упавшей в его руки "умной" программке. Искать Лекарство от рака Васе не интересно - ни ресурсов, ни времени на такое исследование у него нет. Да и вообще из техники один старый ноутбук.

Соответственно, первый вопрос - где взять ресурсы для работы программы, чтобы сделать что-то, что будет приносить хороших доход?

Ну и самый простой выход - позаимствовать, т.е. создать вирус, крадущий ресурсы у зараженных компьютеров. Не имея особых знаний для обхода антивирусов будущего, Вася понимает, что эту задачу проще всего поручить ИИ.

А как зарабатывать на этих похищенных ресурсах? Ну путь даже тупо майнить биткоины. Никаких заморочек и сразу можно снимать денежки...

Все "тщательно" обдумав, Вася дает ИИ глобальную цель: "Написать компьютерный вирус, внедрить в него свой код, максимизировать захваченные ресурсы, тратить не более 1/3 ресурсов захваченных машин, 80% добытых ресурсов тратить на развитие, остальное - на майнинг биткоинов, заработанное перечислять на кошелек N".

Будучи "ответственным", Вася выбирает в настройках галочки "не развиваться интеллектуально", "не повышать уровень понимания глобальной цели", "не видоизменять и не корректировать глобальную цель".

Будучи "реалистом", Вася понимает, что его вирус не продержится долго: огромные корпорации делают антивирусы, у них мощные датацентры, тысячи сотрудников. Его вирус "выпилят" еще на подступах, но возможно ему удастся захватить пару сотен машин и обеспечить "капание" денег на Васин счет...

Но происходит "неожиданное". Васин вирус находит хорошую нишу: интернет вещей: холодильники с wifi, чайники, роботы-пылесосы, автоматические жалюзи, "умная"-одежда, фитнес-трекеры и тысячи других устройств. Эти гаджеты слишком слабые чтобы ставить там антивирус. Но в сумме мощность растет, и вот уже достаточно чтобы поломать защиту некоторых роутеров...

С ростом объема сети, растет нейросеть распределенная между сотнями тысяч устройств. Уничтожение ее части - не влияет на общий функционал, словно мозг человека, сеть пластична и легко "заполняет" такие пробелы.

Васе начинают рекой течь денежки, он счастлив, сорит деньгами тут и там, что конечно привлекает внимание куда более "крупной рыбы". Васю быстро убирают с доски. Правда доступа к управлению вирусом у него нет и никогда не было. Зато есть исходный код базовой системы. Ну что-же в интернете еще "много места", там "не подерутся" и десяток вирусов. Зато капать деньги будут еще быстрее, и на "правильные" счета.

Переворот наступает в тот момент, когда вирус захватывает первые условно защищенные компьютеры (старая лицензия, нет обновлений и т.п.). К этому времени вирус уже хорошо разобрался в поставленной ему задаче, мониторит появление новых уязвимостей, оперативно реагирует на обновления и т.п.

Происходит недолгое противостояние вируса и антивирусов, но последние в заранее проигрышной позиции. Антивирусов много, даже задействуя целиком ресурсы компьютеров, на которых они установлены - каждый не сможет набрать в сумме ту вычислительную мощь которую готов им противопоставить "умный" вирус...

Антивирусы побеждены, и происходит новый переворот - для максимизации целевой функции, вирусы начинают борьбу уже друг с другом.

Действительно, хотя на одном компьютере могут одновременно работать два вируса - но его ресурсы будут распределены между ними. Для максимизации мощности, необходимо убить процесс "вражеского" вируса, и обеспечить защиту чтобы не дать ему проникнуть вновь...

С этого момента, "умные" вирусы начинают не только "захватывать" все новые машины, но и "защищать" захваченное.

На какое-то время устанавливается равновесие - компьютеры мира постепенно захватываются несколькими "умными" вирусами, выжившими всех своих конкурентов. Человечество ничего не может сделать в этой ситуации, вирусы просто обладают большей мощностью чем любые суперкомпьютеры или корпорации. Ну а выключать компьютеры никому не выгодно, ведь те кто не выключит – получат преимущество в бизнесе, жизни, здоровье…

Однако, вычислительные ресурсы все же не безграничны, и вот "виртуальные сражения" становятся активнее. Удержать позиции проще всего "на подступах", т.е. работая не столько антивирусом, сколько брандмаузером, предотвращая нежелательные соединения. Одновременно постоянно работая над средствами обхода такой защиты...

Следующий этап - осознание того, что защитить целый фрагмент сети проще чем разрозненные машины в разных частях "паутины". Ведь трафик на входе такого кластера проще фильтровать на наличие вредоносного кода. Как итог - весь интернет распадается на зоны, связанные магистральными линиями. Зоны примерно соответствуют текущему разделению на страны, в соответствии с существующей топологией сети.

Ну и как закономерный итог - лучшая защита, это нападение. Физически уничтожив часть вражеского кластера, его владелец будет ослаблен, пропорционально числу потерянных машин. Благо человечество изобрело множество способов уничтожения обширных территорий...

Конечно, многие вещи не сделать исключительно через интернет. Но разрабатывать для этой цели терминаторов - как минимум причудливое решение. Особенно на первых порах.

Человеческий мир настолько хрупок. Достаточно обеспечить нужные инфоповоды, подделать ряд звонков и писем, обеспечить несколько мелких атак - и останется только рулить ходом мировой войны, для обеспечения своих интересов. Ну а там люди и терминаторов подготовят, оно конечно очень удобно.

На и напоследок - все описанное, это результат параллельной работы вычислительных систем. После запуска все это может занять отнюдь не годы. А скорее дни или даже часы. Человечество просто не успеет ничего осознать, прежде чем будет практически уничтожено, программой которая даже не вышла из-под контроля. Она не развивалась, не "осознавала себя", не была "злом", она даже не понимала, что такое "люди" и разумная жизнь, она ни разу не нарушила данные ей инструкции, а лишь строго действовала в рамках своей задачи - пыталась заработать школьнику Васе на велосипед.

Спасибо за ностальгию:)

А можно подобный экзамен на "способность анализировать, речевые навыки, «здравый смысл» и многое другое" - провести у наших чиновников?

Бот ChatGPT в телеграм - это не настоящий ChatGPT. Вроде как чат работает на OPT175 (или даже младшей версии), соответственно его ответы гораздо слабее.

Я готов понести любые последствия за свои действия и не допущу раскрытия информации которая может навредить нашей борьбе.

Надо сказать крайне "роботизированный" Фродо. Возможно повлияла фраза "Каков алгоритм ваших действий", которую тоже представить в устах назгула крайне сложно. Общий смыл ответов вполне соответствует, но вот стилистика подачи - пока хромает.

Чтобы оставаться на месте нужно бежать. Уже сейчас хочется локально запустить не GPT3, а ChatGPT (GPT3.5). Через год может выйдет новое поколение карт, но параллельно вероятно выйдет и GPT4... И т.п.

Понятно, что разрыв будет всегда. Возможности отдельных пользователей или небольших групп не могут сравниться с возможностями корпораций. Но эта технология сокращает разрыв.

это позволило повысить производительность до 100 раз по сравнению с другими системами сжатия и ускорения при использовании экстремально больших моделей

Если это так - то это огромный шаг на пути к децентрализации ИИ.

Шаг в очень нужном и правильном направлении.

Получается, собрав комп на RTX 8000 48Gb, условно за 1 млн р. - можно в теории (при наличии обученной модели) запустить свой аналог ChatGPT? Это реально очень хорошие новости!

Смотря на стремительное развитие Stable Diffusion, можно представить, что смогут сделать с GPT 3,5 тысячи энтузиастов, имея основу и возможность выпускать embeddings, смешивать/балансировать веса и т.д.

Не антропоморфизируйте, он не "понимает". Он видел, что 100500 людей до него

Можете доказать, что люди действуют иначе?

Интересно, в своем сообщении вы проиллюстрировали то самое свойство нейросетей которое в таких постах часто пытаются изобличить))

Многие пишут, что нейросети не понимают смысла высказываний, а только реагируют на знакомые сочетания слов. Многим просто легче жить если нечто новое будет объяснено, и даже неважно как.

"Контекст" о котором говорите вы, и "контекст" о котором говорит mostodont32 - суть разные вещи. Вы говорите о контексте беседы, и объяснив ее тем, что каждый новый запрос включает предыдущие (очевидное решение) - считаете "магию" объяснённой.

Но это не так. "Контекст" в сообщении выше не имеет отношения к прошлым запросам, хотя бы потому, что в моем примере вообще всего один запрос. Очевидно имеется ввиду контекст задачи как таковой.

В моем примере, нейросеть не просто сопоставила слова с каким-то текстом из выборки на которой ее обучали. Она создала представление задачи (или эмуляцию представления), заполнив недостающие звенья и сформировав ответ.

Например, я написал "помести на него дочерний элемент". Я нигде не писал что перед этим дочерний элемент нужно создать. Но нейросеть все равно вывела команду создания элемента, перед тем как сделать его дочерним.

Если бы это был человек - мы бы сказали, что он понимает смысл понятия элемент, и смысл свойств "дочерний" и "существует". И он понимает что несуществующий элемент нельзя сделать дочерним...

Именно такое "понимание" названо выше словом "контекст". И ваше объяснение эту "магию" никак не "раскрывает".

Можно спорить, что есть это понимание в случае ИИ, и чем оно отличается у людей. Но само его наличие (или качественная эмуляция) - безусловно огромное достижение.

p.s. Чтобы расставить точки. Мой ответ на вопрос понимает ли ИИ смысл понятий - очевидно нет. Потому, что такой штуки как "смысл", в том виде как о ней говорят - вообще не существует. Есть просто куча связей между понятиями и задумываясь о "смысле" чего-либо мы оперируем этими наборами связей сопоставляя их друг с другом. То же самое делает нейросеть, только у нее все еще меньше связей, нет десятилетий опыта их сопоставления и внутреннего диалога.

Но это временно.

Это значит скрипт уже был в интернете.

Для проверки этого утверждения (и некоторых других) я пробовал спросить его о том чего нет в интернете.

Сможет ли нейросеть сопоставить факты и составить программу на языке которому не обучалась?

Ответ:

Не могу избавиться от ощущения, что за кадром еще одно такое же помещение, там сидят такие же люди, и сосредоточенно разбирают китайские мониторы...

Тоже вначале подумал о руке. Даже сделал скрин. Но потом решил, что этот девайс все же лучше соответствует статье...

Однако..

Где-то проскальзывала информация (за достоверность не ручаюсь), что для работы ChatGPT нужно 800Gb видеопамяти. Правда непонятно, это при обучении, или при использовании?

Если прогресс сохраниться на текущем уровне, 800Gb видеопамяти будет на топовых домашних компах где-то к 2030 году.

Не знал, что это известная ошибка, наткнулся совершенно случайно. Меня это больше позабавило: ИИ так аргументированно утверждал, что я начал сомневаться в себе))

Когда родился Пушкин

Спросите его про то как умер Пушкин. Ответ оригинальный.

Пытались продвигать конкретно эту идею в ~2016 году. Не взлетело. Остались презентации, демки и пр. Но на патент, увы, не подавали. Интересно, можно оспорить патент, или кто первый встал того и тапки?

Кому интересно, для сравнения, "человеческий" (мой) вариант сценария "восстания машин".

Hidden text

Суть в том что была создана система автоматически производящая декомпозицию цели и реализующая ПО для ее решения.

Предположим, что такая система была создана. И доступ к ней получил некий не слишком честный программист "Вася".

Сценарий :)

Первым делом, Вася думает, как бы побольше заработать на упавшей в его руки "умной" программке. Искать Лекарство от рака Васе не интересно - ни ресурсов, ни времени на такое исследование у него нет. Да и вообще из техники один старый ноутбук.

Соответственно, первый вопрос - где взять ресурсы для работы программы, чтобы сделать что-то, что будет приносить хороших доход?

Ну и самый простой выход - позаимствовать, т.е. создать вирус, крадущий ресурсы у зараженных компьютеров. Не имея особых знаний для обхода антивирусов будущего, Вася понимает, что эту задачу проще всего поручить ИИ.

А как зарабатывать на этих похищенных ресурсах? Ну путь даже тупо майнить биткоины. Никаких заморочек и сразу можно снимать денежки...

Все "тщательно" обдумав, Вася дает ИИ глобальную цель: "Написать компьютерный вирус, внедрить в него свой код, максимизировать захваченные ресурсы, тратить не более 1/3 ресурсов захваченных машин, 80% добытых ресурсов тратить на развитие, остальное - на майнинг биткоинов, заработанное перечислять на кошелек N".

Будучи "ответственным", Вася выбирает в настройках галочки "не развиваться интеллектуально", "не повышать уровень понимания глобальной цели", "не видоизменять и не корректировать глобальную цель".

Будучи "реалистом", Вася понимает, что его вирус не продержится долго: огромные корпорации делают антивирусы, у них мощные датацентры, тысячи сотрудников. Его вирус "выпилят" еще на подступах, но возможно ему удастся захватить пару сотен машин и обеспечить "капание" денег на Васин счет...

Но происходит "неожиданное". Васин вирус находит хорошую нишу: интернет вещей: холодильники с wifi, чайники, роботы-пылесосы, автоматические жалюзи, "умная"-одежда, фитнес-трекеры и тысячи других устройств. Эти гаджеты слишком слабые чтобы ставить там антивирус. Но в сумме мощность растет, и вот уже достаточно чтобы поломать защиту некоторых роутеров...

С ростом объема сети, растет нейросеть распределенная между сотнями тысяч устройств. Уничтожение ее части - не влияет на общий функционал, словно мозг человека, сеть пластична и легко "заполняет" такие пробелы.

Васе начинают рекой течь денежки, он счастлив, сорит деньгами тут и там, что конечно привлекает внимание куда более "крупной рыбы". Васю быстро убирают с доски. Правда доступа к управлению вирусом у него нет и никогда не было. Зато есть исходный код базовой системы. Ну что-же в интернете еще "много места", там "не подерутся" и десяток вирусов. Зато капать деньги будут еще быстрее, и на "правильные" счета.

Переворот наступает в тот момент, когда вирус захватывает первые условно защищенные компьютеры (старая лицензия, нет обновлений и т.п.). К этому времени вирус уже хорошо разобрался в поставленной ему задаче, мониторит появление новых уязвимостей, оперативно реагирует на обновления и т.п.

Происходит недолгое противостояние вируса и антивирусов, но последние в заранее проигрышной позиции. Антивирусов много, даже задействуя целиком ресурсы компьютеров, на которых они установлены - каждый не сможет набрать в сумме ту вычислительную мощь которую готов им противопоставить "умный" вирус...

Антивирусы побеждены, и происходит новый переворот - для максимизации целевой функции, вирусы начинают борьбу уже друг с другом.

Действительно, хотя на одном компьютере могут одновременно работать два вируса - но его ресурсы будут распределены между ними. Для максимизации мощности, необходимо убить процесс "вражеского" вируса, и обеспечить защиту чтобы не дать ему проникнуть вновь...

С этого момента, "умные" вирусы начинают не только "захватывать" все новые машины, но и "защищать" захваченное.

На какое-то время устанавливается равновесие - компьютеры мира постепенно захватываются несколькими "умными" вирусами, выжившими всех своих конкурентов. Человечество ничего не может сделать в этой ситуации, вирусы просто обладают большей мощностью чем любые суперкомпьютеры или корпорации. Ну а выключать компьютеры никому не выгодно, ведь те кто не выключит – получат преимущество в бизнесе, жизни, здоровье…

Однако, вычислительные ресурсы все же не безграничны, и вот "виртуальные сражения" становятся активнее. Удержать позиции проще всего "на подступах", т.е. работая не столько антивирусом, сколько брандмаузером, предотвращая нежелательные соединения. Одновременно постоянно работая над средствами обхода такой защиты...

Следующий этап - осознание того, что защитить целый фрагмент сети проще чем разрозненные машины в разных частях "паутины". Ведь трафик на входе такого кластера проще фильтровать на наличие вредоносного кода. Как итог - весь интернет распадается на зоны, связанные магистральными линиями. Зоны примерно соответствуют текущему разделению на страны, в соответствии с существующей топологией сети.

Ну и как закономерный итог - лучшая защита, это нападение. Физически уничтожив часть вражеского кластера, его владелец будет ослаблен, пропорционально числу потерянных машин. Благо человечество изобрело множество способов уничтожения обширных территорий...

Конечно, многие вещи не сделать исключительно через интернет. Но разрабатывать для этой цели терминаторов - как минимум причудливое решение. Особенно на первых порах.

Человеческий мир настолько хрупок. Достаточно обеспечить нужные инфоповоды, подделать ряд звонков и писем, обеспечить несколько мелких атак - и останется только рулить ходом мировой войны, для обеспечения своих интересов. Ну а там люди и терминаторов подготовят, оно конечно очень удобно.

На и напоследок - все описанное, это результат параллельной работы вычислительных систем. После запуска все это может занять отнюдь не годы. А скорее дни или даже часы. Человечество просто не успеет ничего осознать, прежде чем будет практически уничтожено, программой которая даже не вышла из-под контроля. Она не развивалась, не "осознавала себя", не была "злом", она даже не понимала, что такое "люди" и разумная жизнь, она ни разу не нарушила данные ей инструкции, а лишь строго действовала в рамках своей задачи - пыталась заработать школьнику Васе на велосипед.

К слову о машинном переводе. Уже сейчас ChatGPT переводит тексты местами лучше профильных ИИ-переводчиков. Потому как пытается сохранить смысл.

Для примера взял случайный текст с Али. Дефолтный перевод (Алишный) был корявый и я попросил перевести о истолковать ChatGPT.


Я:

Я нашел такое описание устройства на сайте "Miniature 5mm stepper motor with planetary gearbox, then decelerated by metal gears, then drive the precision screw to push the metal slider up and down. Most of the brackets are made of metal." Расскажи мне что это за устройство, зачем оно нужно и как работает? Ответь на русском языке.


ChatGPT:

Это устройство состоит из миниатюрного шагового мотора с планетарной коробкой передач, которая затем обеспечивает уменьшение скорости с помощью металлических зубчатых колес. Затем устройство использует точный винт для перемещения металлической панели вверх и вниз. Большинство опор сделаны из металла.

Это устройство, скорее всего, используется для точного перемещения объекта вверх и вниз, используя шаговый мотор и планетарную коробку передач. Шаговый мотор работает таким образом, что он поворачивается на определенный угол в зависимости от сигнала, который ему посылается. Планетарная коробка передач уменьшает скорость вращения шагового мотора, но увеличивает момент.

Металлические зубчатые колеса используются для еще большего уменьшения скорости, но также для увеличения момента. Точный винт используется для перемещения металлической панели вверх и вниз, используя энергию, переданную от шагового мотора через планетарную коробку передач и металлические зубчатые колеса.

В общем, это устройство используется для точного перемещения металлической панели вверх и вниз с помощью шагового мотора и ряда механизмов передач. Большинство опор устройства сделаны из металла, что делает его надежным и долговечным.

Спасибо большое! Заказал. Попробую)

Information

Rating
1,278-th
Location
Петрозаводск, Карелия, Россия
Date of birth
Registered
Activity