Комментарии 16
OpenAI сформировала команду для управления и контроля «сверхразумных» ИИ
Давайте мы сейчас первыми создадим фиктивную компанию по контролю над ИИ, что бы она контролировала другие ИИ, а все что нужно для нас умалчивалось и не афишировалось
Разработка ИИ сильнее человеческого должна быть запрещена на законодательном уровне, нужны агенства которые должны искать и останавливать исследователей.
Это не атомная бомба которой можно разбомбить пару городов, испугаться и только потом начать регулировать. И не вирус с которым можно бороться ограничивая контакты. Это билет в один конец.
Может еще превентивно запретим людям иметь интеллект выше определённой нормы? А то мало ли как они его используют.
Все-таки очень маловероятно рождение человека с интеллектом в тысячи раз мощнее среднего. Эволюция и мутации обычно движутся мелкими шагами. Появление даже дружелюбного сверхразума изменит всё, не только Землю, но и всю вселенную, до которой можно будет физически дотянуться.
Лично я за сверхразум, даже учитывая риск уничтожения человечества. Просто хочу на это посмотреть.
Инквизиция 2.0
Сара, Вас и Джона включили уже в эту команду, набирайте еще людей, скоро прибудет Т800 и вместе сможете запретить ИИ не только на законодательном но и на физическом уровне)
Разработка ИИ сильнее человеческого должна быть запрещена на законодательном уровне
Чтобы первыми его создали либо в подвалах спецслужб, либо на деньги наркомафии?
Разработка ИИ сильнее человеческого должна быть запрещена на законодательном уровне,
В чем будет измерять силу ИИ? В Нютанах? Ваттах? Кило IOPSах? Попугаях?
В мегатюрингах © KGBT+
Достаточно ввести промежуточную метрику. Сейчас основная дискуссия идёт вокруг того, чтобы запретить любой ИИ, для обучения которого суммарно было потрачено больше чем N FLOP, при N порядка 10^23. Это конечно не сможет защитить нас навсегда, потому что возможны прорывы в развитии ИИ, из-за которых возможно обучение меньшим числом операций, но это даст нам шанс выжить в течение ещё некоторого времени, а потом порог можно будет в случае чего и понизить.
Если ИИ способен дать заметный выигрыш, то туда польются огромные деньги уже не корпораций, а целых государств. И никакие запреты не помогут.
Запреты не уберут риск полностью, но заметно его снизят. Тут по сути то же самое, что и с биологическим оружеем. Если его могут делать все энтузиасты кому не лень - шанс утечки очень высокий. Если только сертифицированные специалисты - то уже меньше. Если разработка разрешена только государству - шанс утечки ещё меньше. А если даже государства это делают тайком, чтобы никто не узнал, что такие разработки вообще происходят - то таких лабораторий будет меньше, и шансы на утечку ещё сильнее сокращаются.
Ну и очень многие меры безопасности невозможны, если нет соответствующих законов. Например, если ИИ постоянно мониторят несколько человек, то ему будет гораздо труднее сделать что-то плохое. Но если законов нет, то мы не можем никого обязать мониторить ИИ - люди будут просто оставлять его считаться на ночь. Или, если есть строгие законы, то можно следить за тем, чтобы никто не дай бог не поставил перед ИИ задачу "уничтожь человечество", или "ликвидируй бедность", и давать уголовные сроки за подобные вещи. Можно следить за тем, чтобы дополнительные системы безопасности, прикрученные сбоку к ИИ никто не выключал. В случае утечки исходника, опять же, меньше людей будет пытаться распространять этот код - если будут знать, что за такую деятельность есть статья, и ФСБ с ФБР на взводе.
будут использовать специальный искусственный интеллект, предназначенный для оценки других ИИ-систем, ведь искусственный интеллект справится с этим лучше и быстрее, чем люди.
Казалось бы, что же может пройти не так?
"ИИ" за счет обратной связи как раз и может стать настоящим сильным интеллектом, даже с сознанием.
OpenAI сформировала команду для управления «сверхразумными» ИИ и контроля над ними