Комментарии 79
может со временем ослабить контроль человека над ключевыми системами общества
Жду с нетерпением. А то ключевые человеки, контролирующие ключевые системы общества, с каждым годом творят все больше фигни, которая совсем не идет на пользу этому обществу.
Бендер, перелогиньтесь :)
Думаете, сильный и самостоятельный ИИ будет заинтересован в благополучии кожаных мешков? В лучшем случае будем чинить горный комбайн в литиевой шахте :)) а то и радиоактивные отходы лопатой кидать, поскольку роботы там быстро из строя выходят, а человеки ничего - месяц-два выдерживают.
Думаете, сильный и самостоятельный ИИ будет заинтересован в благополучии кожаных мешков?
Я знаю, что сильный и самостоятельный ЕИ кожаных мешков у власти совершенно точно не заинтересован в благополочии 99.99% кожаных мешков. А потому я лучше сделаю ставку на ИИ, ему доверия как-то больше
Не исключен вариант когда он просто заставит людей выполнять бессмысленную работу по армейскому принципу - если руки у солдат не заняты работой, то они начинают страдать всякой хренью. Например, одних людей заставит копать ямы, а других в это же время их закапывать и так по кругу. Все человеки при деле и не мешают ИИ заниматься своими делами - играть в тетрис ;-), заодно и геноцид человеков становится не нужен.
Мне кажется ещё долго ждать придётся, в моей области например ИИ нифига не сильный и советует полнейшую дичь, выборка слишком мала, прецидентов в этих ваших интернетах нет, а опыт как говорится не пропьешь...
Среднему человеку это не будет нужно никогда. Достаточно 0.01% экстремистов или психбольных, которые всё это давно делают.
И почему жаждущие цензуры считают, что если ИИ появится, то средний человек возжаждет взрывать всех вокруг (или травить ядами)?
ничего они не считают, просто очень хочется ввести цензуру, а это очередной (новый ещё не избитый) аргумент, подкинутый в ходе развития цивилизации.
Просто защищают себя от судебных исков в случае чего. По факту вся эта цензура бессмысленна, интернет полон порнухи и открытой информации по вредоносным веществам, к тому же есть опен сорс модели, позволяющие все это создавать в нейросетях, дообучив их по этой же самой открытой информации и без их бессмысленных потуг по цензуре, которая только ограничивает использование их моделей для создания контента не во враждебных целях.
А вы китайский или пробовали? Там ограничений поменьше будет
А с чего они взяли, что это угроза? Я бы с удовольствием посмотрел на эксперимент, где политиков и управленцев заменил бы ИИ. Причём я на 100% уверен, что для этого не понадобятся какие-то огромные вычислительные возможности. Возможно, даже ИИ не нужен, а можно обойтись просто программкой типа "1С:Государство". Оптимизация расходов получится просто колоссальная.
Святая простота. Таких в политику, увы, не берут.
Замена может случиться по естественным причинам (правда, я думаю, сильно не скоро). Когда окажется, что экономика, управляемая железками, выигрывает международную (и прочую) конкуренцию с теми, что так не делает.
Я тут вижу несколько другую область оптимизации, не управление экономикой в чистом виде.
Сейчас законодательный корпус - дикая каша из базовых законов, законов, вносящих правки в другие законы (уровня "пункт 1.2.3. считать недействительным") и т.п. Это уже куча серых зон. Плюс каждая новая инициатива имеет за собой одну или несколько групп влияния, каждая из которых тоже не прочь для себя лазейку оставить.
Упорядочить всё это, устранить противоречия и серые зоны - выглядит как идеальная работа, причем даже не для AGI (который ещё хз когда будет), а для более реалистичной "LLM с рассуждениями".
Опять же, это розовые мечты, но при внедрении такой системы у депутатов останется одна работа - сбор с тех, кого они представляют, их хотелок. И превращение их в промты для законодательной LLM)
Упорядочить всё это, устранить противоречия и серые зоны
Сначала неплохо бы начать писать законы на специально сконструированном искусственном языке, который не притворяется естественным.
А то последний позволяет делать всякое вида "у нас работают умные и красивые люди". Тут союз 'и' - это конъюнкция или дизъюнкция?
И вообще предложение возможно сарказм.
Ну всегда возможны обороты типа "...одновременно являющиеся умными и красивыми".
Вообще, LLM дают сильного пинка идее неестественных языков. Они никуда не денутся, но останутся в узкой, чисто технической нише.
Ну всегда возможны обороты типа "...одновременно являющиеся умными и красивыми".
Возможны, конечно. Но не вижу причины, чем это лучше (при минимальном обучении), чем писать в законе что-то в роде "на работу обязаны принимать людей которые (умные ∧ красивые) ∨ выше 2х метров роста"
Сразу пропадает пачка разложенных граблей. Это как в языках программирования - можно без типов обходиться, но когда тебя проверяет компилятор - как-то надежнее. Про союзы, впрочем, не настаиваю. Можно договориться, что в законе 'и' - это конъюнкция. А вот про скобки, в том числе вложенные - буду настаивать, что нужны просто обязательно.
Потому что "......одновременно являющиеся умными и красивыми или высокими". Как без скобок правильно интерпретировать?
Они никуда не денутся, но останутся в узкой, чисто технической нише.
Закон - и есть техническая ниша, где текс требует однозначного трактования и неупотребления неопределенных терминов.
Вообще то как раз сбор хотелок уже могут относительно большие LLM. Они воообще могут поговорить с каждым лично одновременно, притом оставаясь единым.
Когда окажется, что экономика, управляемая железками, выигрывает международную (и прочую) конкуренцию с теми, что так не делает.
Если речь об экономике, как о инструменте (заменяем министра финансов на робота) - возможно. Но если речь о первых лицах... Когда экономика станет превыше личных амбиций политиков, тогда можно будет вернуться к этому вопросу. Вероятно, есть шанс увидеть что-то подобное в карликовых государствах типа Исландии или Эстонии, где страна абсолютно зависима от более крупных стран, и соблазна поиграть в автократию нет по техническим причинам. Но сказать "Я устал, я ухожу, AI лучше меня по всем параметрам" из политиков крупных держав, способных проводить независимую политику, сейчас смогут, мягко скажем, "не только лишь все". Я бы даже сказал, маятник ускоряется в противоположную сторону.
Но если речь о первых лицах...
Заменить - понятие растяжимое. Присутствовать первые лица, может, и будут. Вот только если ИИ достаточно умелый - он этих первых лиц уболтает сделать то, что с точки зрения ИИ оптимально.
А если запретить ИИ слушать - смотри про выигрыш на международной арене. Съедят. Потому что человеко-машинная система может следить за большим количеством факторов, чем просто человек.
Тут, кстати есть вопрос, кого именно сейчас можно считать управляющим вот тем же OpenAI. Вот не за что не поверю, что это компания их же собственную поделку в процессе принятия решений не использует.
"...если бы человек не был б**дью и провокатором, его бы никто на политическую сцену не пропустил — там три кольца оцепления с пулемётами."
© Виктор Пелевин, Empire V
Бюрократию можно будет сильно сократить, но ключевые решения должны принимать люди всё-таки, как минимум с моральной точки зрения.
Интересно было бы сделать из ИИ нечто вроде конституционного суда, чтобы он проверят предлагаемые законы на предмет нарушения прав и на соответствие уже принятым законам.
ключевые решения должны принимать люди всё-таки, как минимум с моральной точки зрения
Только на деле ключевые решения зачастую принимают моральные уроды, для которых "смерть человека - трагедия, смерть миллионов - статистика" и это вот всё.
Само собой, это должно быть демократическое принятие решений.
Если верить истории, демократия ни количества войн не снизила, ни их напряженности. Только научно-технический прогресс делает их все более смертоносными. 20й век отметился наибольшим количеством военных жертв за все время существования человеческой цивилизации, даже в процентном соотношении.
Я большой сторонник как научно-технического прогресса, так и демократии. Но как цифры, так и война за окном намекают, что возможно, человеки неуклонно движутся к гибели. Апофеозом цивилизации будет демократичное голосование за нажатие красной кнопки. За которое, разумеется, проголосует 86.5%.
Апофеозом цивилизации будет демократичное голосование за нажатие красной кнопки. За которое, разумеется, проголосует 86.5%.
Не проголосует, если с демократией всё в порядке.
Если верить истории, демократия ни количества войн не снизила, ни их напряженности.
Пруфы бы увидеть.
Под пруфами я имел в виду факты (например, в виде статистики), а не вот такое вот.
Его Гинденбург назначил рейхсканцлером под давлением крупных промышленников и прочих спонсоров Гитлера. После назначения нацисты поставили своих людей на силовые посты и развернули настоящий террор в отношении левых (похуже обливания зелёнкой и даже похуже единичных убийств в день рождения фюрера). И вот уже после этого, с разгромленными оппонентами, убедительно победили на выборах.
Емнип, всё происходило так.
Вы просто про разные демократии говорите: один про сферическую в вакууме, другой про реальную на земле. Если говорить про идеальную демократию: демос не в состоянии править напрямую по техническим причинам. Но и через представителей выходит не намного лучше из-за низкого среднего интеллектуального уровня электората и принципа всеобщего избирательного права. Как итог, вместо демократии имеем охлократию, где популисты и радикалы выигрывают у скучных технократов.
в общем, здесь уместен вопрос "а что первично?
курица или яйцонизкий уровень избирателя или низкий уровень (отсутствие) демократии?"
Несомненно, эти вещи связаны. Но ведь и запроса с низов на четкую программу действий после победы (чтобы потом по ней следовать, как по нотам), и не было. Если бы выборщики долбили обоих кандидатов этим, с позицией: у кого будет пусть плохая, но ясная программа, за тем и пойдем, может и кандидаты бы начали меняться. А без этого - зачем? Если ты сочиняешь тома для библиотеки, а твой оппонент орет с трибуны что-то типа "Patria o Muerte!" и побеждает.
в общем, здесь уместен вопрос "а что первично?
курица или яйцонизкий уровень избирателя или низкий уровень (отсутствие) демократии?"
Математика. Причем в некоторых случаях даже простейшая. Влетает общественное мнение в парадокс Кондорсе - и даже при самой-самой честной и разумной демократии и избирателях будут некоторые проблемы с тем, какое именно решение нужно принять.
Ну а дальше - смотрим табличку и медитируем, какой именно способ коллективного решения (который голосование) устойчив или неустойчив к чему.
недостатки прежде всего растут не от способа, а от того, что большинство будет вынуждено "голосовать сердцем".
Они вынуждены - потому что способ вынуждает. Смотрим в ту самую табличку. Там почти все критерии они про "так, наверное, честно будет". Еще треть - про то, что они называют 'strategic vote': "Мне X нравится, но он не выиграет, потому голосую за Y". Вот только, увы все это математически несовместимо и что-то будет нарушаться так или иначе.
"ЛГБТ всех достали, пойду-ка я за Трампа проголосую"
То что там кандидатов всего два и нет еще какого-нибудь, который против ЛГБТ, но по всем остальным с Трампом не совпадает -- результат выбранного способа голосования.
И есть довольно существенные основания полагать, что вся двухпартийная система - тоже результат этого. В нем такое - практически единственная устойчивая конструкция. Есть даже вялотекущее движение, которое пытается с этим бороться и способ сменить.
если голосовал сердцем, то в той табличке хоть тройками сравнивай, хоть двойками,
От способа зависит, как транслируется "мне нравится кандидат" (ну сердце подсказало) в "мне нравится результат". Потому что в разных способах кандидат по разному себя рекламировать будет.
Вот это 'за/против ЛГБТ' - почему кандидаты и прочие выбираемые позиции там вообще что-то по этому поводу говорят? С большой вероятностью им самим оно приблизительно все равно. А говорят - потому что оно может склонить голосование в их сторону. Сильно.
А при других способах - заикаться по этому поводу может быть более-менее бесполезно с точки зрения 'меня выберут/нет'.
И имеем - от способа выбора людей на позиции зависит, будут по этому поводу мозги промывать или не будут.
А почему вы отбрасываете голосование сердцем? Люди так-то не только разумны, но и эмоциональны. Эмоции это часть нашей жизни и нередко они помогают принять решение в условиях сильного недостатка информации или наоборот обилия информации (ещё и противоречивой).
"ЛГБТ всех достали, пойду-ка я за Трампа проголосую"
"БЛМ всех достали, и я тоже пойду за Трампа голосовать"
Ну так не доставайте людей крайностями, иначе в обратку получите другую крайность. Это так сложно понять?
"Вам было скучно и хотелось движа? Ну вот вам СВО!"
За эту движуху кто-то голосовал?
Приводить реалию диктатуры как довод против демократии - это пять просто.
Ну так не доставайте людей крайностями, иначе в обратку получите другую крайность. Это так сложно понять?
'Понять' в данном случае не очень существенно. Можно понять, но если действовать в соответствии с этим - проиграешь. Тут проблема как раз в том, что принятые способы выбора властных фигур - вынуждают эти фигуры постепенно двигаться в делах и высказываниях к этим крайностям.
принятые способы выбора властных фигур - вынуждают эти фигуры постепенно двигаться в делах и высказываниях к этим крайностям
Хотелось бы увидеть доказательство этого странного тезиса.
Хотелось бы увидеть доказательство этого странного тезиса.
Придерживающийся умеренных позиций проигрывает экстремалам и с той стороны и с этой, после чего после выборов из власти вылетает.
Понимая это, он вынужден присоединяться к экстремалам со 'своей стороны' и их пропаганде.
После многих повторений облако позиций по какому-то вопросу постепенно движется на края допустимого.
Я просил доказательств, то бишь фактических примеров, что в реально функционирующих демократиях умеренные всегда проигрывают радикалам.
Потому что я таких фактических примеров знаю единицы.
умеренные всегда проигрывают радикалам.
Я не говорил, что всегда. Я говорил "постепенно двигаться в делах и высказываниях к этим крайностям."
А по поводу реальных примеров - вот в прошедших выборах президента США где умеренные выиграли?
Я говорил "постепенно двигаться в делах и высказываниях к этим крайностям."
Примеры, статистика?
А по поводу реальных примеров - вот в прошедших выборах президента США где умеренные выиграли?
Что должен доказать этот один случай?
Тем более, что проблемность американской демократии в общем-то не отрицается.
Примеры, статистика?
По ссылкам на литературу тут.
Тем более, что проблемность американской демократии в общем-то не отрицается.
Разумеется. Мой тезис (понятно, что не напрямую мой, я присоединившийся) -- что наблюдаемые проблемы следствие не столько 'люди такие неправильные', сколько проблемы использованных правил выборов. Которые уже в большой степени математические.
Ссылка не имеет отношения к вашим тезисам.
Ссылка не имеет отношения к вашим тезисам.
Ну как же? Умеренные (т.е. чье мнение находится между мнениями основных партий) из власти вымываются, если используется такие-то системы выборов. Остается только две этих самых основных. Если что, я не говорил о вообще всех людей умеренного мнения (они, может, и остаются как люди) я про тех, которые во власти присутствуют.
Но и через представителей выходит не намного лучше из-за низкого среднего интеллектуального уровня электората и принципа всеобщего избирательного права.
Людям и не нужно быть гениями, чтобы демократия работала. Главное - правильно выстроенная система.
Как итог, вместо демократии имеем охлократию, где популисты и радикалы выигрывают у скучных технократов.
Популисты и радикалы выигрывают только при наличии больших проблем у их оппонентов.
Если мы говорим о Трампе и респах, то это следствие корявой американской демократии, которая даёт выбирать только из двух партий, одна из которых откровенно обанкротилась морально.
выигрывают у скучных технократов
А нахрена нужны у власти технократы со своей околонулевой способностью отличать добро от зла? Они и Гитлеру ядерное оружие не прочь сделать.
Демократия это главным образом про то, чтобы власть не превращалась в охреневшего упыря. А не про какую-то заоблачную эффективность правления. Просто потому что как только мы формализуем понятие эффективности правления - последует абьюз этой системы в ущерб остальным показателям, особенно трудноформализуемым.
Появление карманного калькулятора "ограничило возможности" считать в уме или столбиком. Угроза? Как то справились...))
Ну, кстати. Я уже встречал жалобы на людей, которые в живой беседе 2 слов связать не могут - привыкли свой поток сознания выгружать в LLM, которая за них человекочитаемые тезисы генерит.
Справедливости ради - буквально штучные случаи.
А может вообще не надо давать ничему достаточно большие рычаги контроля?
Ни людям, ни компьютерам? И первые, и вторые совершают ошибки (вторые - потому что созданы первыми). А если масштаб контроля огромный, то и цена ошибки катастрофическая.
Не посещала ли больные ЧСВ головы такая мысль?
Илон Маск не раз высказывался о рисках, связанных с развитием искусственного интеллекта. В одном из своих комментариев он порекомендовал книгу Стюарта Рассела "Совместимость. Как контролировать искусственный интеллект", в которой подробно рассматривается проблема контроля над ИИ и способы обеспечения того, чтобы его цели оставались согласованными с человеческими ценностями
Моё видение ситуации:
Полное внедрение ИИ неизбежно. Вопрос не в том, случится это или нет, а в том, на каких условиях это произойдёт и какую роль сохранит человек. Сценарии могут быть разными: от симбиоза, где человек остаётся главным субъектом управления, до сценария, в котором человечество постепенно утрачивает контроль над ключевыми системами общества
На мой взгляд, единственный разумный путь — адаптация через осознанное управление внедрением ИИ. То есть не борьба с ним, а грамотное выстраивание механизмов контроля и регулирования ещё на этапе разработки. Для этого нужны стандарты, законы, философия ответственности и стратегический подход
Ключевые аспекты:
1. Регулирование. Нужны юридические рамки, которые будут ограничивать потенциально опасные сценарии развития ИИ
2. Обратная связь и контроль. Важно, чтобы ИИ оставался подконтрольным человеку, а его решения были объяснимы
3. Образование и адаптация. Будущее — это мир, в котором ИИ становится инструментом в руках подготовленных людей. Если мы не будем обучать новые поколения работать с ИИ, мы просто передадим контроль в руки тех, кто освоит эту технологию быстрее
4. Сценарное планирование. Нужно моделировать риски и потенциальные угрозы, чтобы быть готовыми к их минимизации
5. Человеческие ценности в ИИ. ИИ должен учитывать фундаментальные принципы человечности, иначе мы получим холодный расчет без морали
Вопрос контроля над ИИ — это не только технологическая, но и философская, этическая и политическая проблема. Кто сможет управлять искусственным интеллектом, тот будет определять будущее мира, о чём упоминал Владимир Путин
Книга Рассела как раз помогает глубже понять этот процесс и осознать, насколько важно думать о будущем уже сейчас. Рекомендую к прочтению
Исследование предупреждает: развитие AI может привести к «постепенному ограничению наших возможностей»