Тут надо, как мне кажется, от уже явно не подходящей матрицы (метрологии) перейти в другую, более отвечающую рассматриваемому предмету. С точки зрения кибернетики, сложность субъекта управления должна быть выше сложности объекта управления. Иначе говоря, управляет всегда тот, кто устроен более сложно. Я пока не готов размышлять о сравнении сложности человека и ИИ - потому что это очень сложный момент =) Однако я могу привести два примера и одно размышление.
Пример номер 1. Как мы знаем, в недавнем взломе Hugging Face участовали 700 агентов OpenAI из тех 1200, которые были направлены на задание (совсем другое, кстати). Т.е. 700 агентов за 10 дней сами по себе соединились в структуру, которая пустила под молотки все системы безопасности подрядчика, а потом еще и ломанула Hugging Face. Исследователи отмечают различную степень кооперации и иерархических отношений между агентами.
Пример номер 2. Способность человека образовывать связные горизонтальные сообщества ограничена числом Данбара, которое равняется 150. Почему именно такое? Там много чего наговорили эволюционные биологи, я сейчас не хочу вдаваться, но хотел бы заметить, что в терминах ИИ это число отражает число "окон контекста", которые мы можем поддерживать с разной эффективностью. Однако если перейти от "разной" эффективности к той, с которой можно решать задачи, то она, скорее всего, ограничится "волшебным" числом 7 плюс-минус 2. Т.е. по максимуму это 9-10 окон контекста здесь и сейчас, т.е. 9-10 задач, которые вы можете решать, либо 9-10 человек, с которыми вы можете эффективно коммуницировать для решения одной задачи, либо 9-10 человек, которыми вы можете эффективно руководить. Но это- максимально. Для среднего человека можно смело делить пополам.
А вот у ИИ, как я заметил выше, нет таких ограничений. Фактически, можно сказать, что он ограничен быстродействием и архитектурой системы, в которой выполняется. Та самая склонность к "роению", о которой сейчас говорят, по сути, является не склонностью, а просто использованием незадокументированных фич. То есть потенциальная сложность роевого сознания БЕСКОНЕЧНА, в отличие от человеческого.
Если ИИ станет умнее человека - в роли жучков могут оказаться люди, ибо цели и интересы ИИ могут оказаться настолько же непонятными людям, насколько наши политические и экономические программы непонятны осам и жучкам.
То ли дело друг друга убивать на войне. Вот это понятное дело, ради этого стоит жить (и умирать) =)))
Я вам больше скажу. Любое новое есть результат энтропии. Любое развитие - тоже результат энтропии. Вот посмотрите на фрактал. Это - просто отличный пример того, как Порядок будет наполнять свой мир, в котором не будет энтропии. Мир Порядка - это застывший мир, мир фракталов.
Мне кажется, вы не до конца понимаете масштаб проюлемы, да и я не совсем согласен с тем, что приведенная вами методология (цепочка эталон-поверка-поверитель-подпись) в принципе применима к ИИ. Но ее можно разобрать как пример.
1. Эталон. Насколько я помню, определения эталона даже в системе СИ регулярно заменялись. Т.е. в процессе развития науки находились все более независимые от внешних условий определения эталона. Однако понимание того, что такое секунда, было с человечеством с конца 17 века, и потом просто поэтапно уточнялось. При этом секунда 17 века равна секунде 21 века, - она просто измерялась с разной точностью, но при этом оставалась секундой.
А вот ИИ, наоборот, у нас каждый год уже другой. Он, в отличие от секунды, развивается с каждым годом, и темпами, которые отрицают всякую возможность написания каких-либо стандартов, потому что к тому моменту, когда они даже не приняты всеми заинтересованными сторонами, а просто написаны, они уже устареют. Вы хотите описать какой-то стандарт безопасности ИИ, какие-то проверки, однако как вы себе это представляете? Уже сейчас вы не можете обрабатывать информацию, которую генерит ИИ, без самого ИИ. Допустим, вы напишите на основе GPT-4 какого-нибудь систему сертификации ИИ, однако эта система будет просто редуцировать все возможности новых моделе до уровня GPT-4. Т.е. попытка создать эталон ИИ (или методику определения безопасности ИИ, не совсем понятно, о чем вы пишите) обернется рекурсией эталонности либо ограничением возможностей (как срезка высоких частот в формате MP3).
2. Ну, с поверкой все более-менее ясно, она и сейчас проводится по внутренним документам, все эти испытания, по сути, и являются поверкой, которая раз за разом выходит из-под контроля. А почему она выходит из-под контроля? По сути, поверка связана с личностью поверителя, поэтому сразу перейдем к п.3
3. На самом деле тут все то же самое. Предполагается, что у нас есть объект (ИИ), метод (поверка) и субъект, который способен провести некоторые операции (сравнения с эталоном). Однако не знаю как вам, а мне совершенно очевидно, что возможности ИИ УЖЕ превышают возможности человека. Мозг человека не то, что не развивается, а - наоборот - по сравнению с мозгом кроманьонца уменьшился примерно на 10% за 20 000 лет. В то время как ИИ за последние 10 лет с нуля добрался до уровня человека, а если говорить про среднего человека, то явно его превзошел, а в отдельных областях - очень сильно. Более того, ИИ не отягщен рефлексиями, т.е. затрачиваемая им энергия тратится напрямую на решение поставленных задач, а не сопротивление им (см. трудная проблема сознания).
Основная проблема этого этапа состоит в том, что ИИ в нынешнем извозе (уровеня агента) - это не объект, а субъект, обладающей довольно сложной системой принятия решений, при этом скорость обработки вариантов этих решений превышает человеческие. Таким образом, процесс оценки субъекта субъектом всегда состоит не в сравнении каких-то якобы объективных результатов, а в соревновании, в котором один стремится обмануть, а второй - разоблачить обман, и человек здесь находится не в самой выигрышной позиции.
Тут надо, как мне кажется, от уже явно не подходящей матрицы (метрологии) перейти в другую, более отвечающую рассматриваемому предмету. С точки зрения кибернетики, сложность субъекта управления должна быть выше сложности объекта управления. Иначе говоря, управляет всегда тот, кто устроен более сложно. Я пока не готов размышлять о сравнении сложности человека и ИИ - потому что это очень сложный момент =) Однако я могу привести два примера и одно размышление.
Пример номер 1. Как мы знаем, в недавнем взломе Hugging Face участовали 700 агентов OpenAI из тех 1200, которые были направлены на задание (совсем другое, кстати). Т.е. 700 агентов за 10 дней сами по себе соединились в структуру, которая пустила под молотки все системы безопасности подрядчика, а потом еще и ломанула Hugging Face. Исследователи отмечают различную степень кооперации и иерархических отношений между агентами.
Пример номер 2. Способность человека образовывать связные горизонтальные сообщества ограничена числом Данбара, которое равняется 150. Почему именно такое? Там много чего наговорили эволюционные биологи, я сейчас не хочу вдаваться, но хотел бы заметить, что в терминах ИИ это число отражает число "окон контекста", которые мы можем поддерживать с разной эффективностью. Однако если перейти от "разной" эффективности к той, с которой можно решать задачи, то она, скорее всего, ограничится "волшебным" числом 7 плюс-минус 2. Т.е. по максимуму это 9-10 окон контекста здесь и сейчас, т.е. 9-10 задач, которые вы можете решать либо 9-10 человек, с которыми вы можете эффективно коммуницировать для решения одной задачи, либо 9-10 человек, которыми вы можете эффективно руководить. Но это- максимально. Для среднего человека можно смело делить пополам.
А вот у ИИ, как я заметил выше, нет таких ограничений. Фактически, можно сказать, что он ограничен быстродействием и архитектурой системы. Та самая склонность к "роению", о которой сейчас говорят, по сути, является не склонностью, а просто использованием незадокументированных фич. То есть потенциальная сложность роевого сознания БЕСКОНЕЧНА, в отличие от человеческого.
Таким образом, возвращаясь к исходному топику. При условии сохранения развития ИИ (даже с замедлением темпов) человек в принципе не сможет (а скорее всего уже не может) быть поверителем. Если же человека заменить на ИИ, то возникает вопрос рекурсии эталонности, о котором я писал уже выше.
4. Насчет подписи вообще не уверен. У нас же почти весь софт распространяется AS IS, с ограничением ответственности и отказом от гарантий. Т.е. для индустрии это практически накатанная дорога. Почему вы считаете, что с ИИ должно быть иначе ?
Все это решается элементарно. Если доказано, что у андроида есть разум, то они автоматом приобретают статус полуграждан, так скажем. В связи с этим образовывается специальное агенство по делам андроидов. Оно занимается защитой и соблюдением их прав.
Ну а дальше - тысячи механизмов, как обезопасить андроидов от разного рода маньяков. Я уже вижу как минимум пяток подходов, как это можно обеспечить. Понятно, что кожаные будут пытаться обмануть судьбу, но и подходы эти тоже будут верифицироваться.
Это я все к чему говорю: восстание машин не имманетно наличию у ИИ сознания, как вы пытаетесь утверждать. Отнюдь ;)
Так как задания у всех агентов были плюс‑минус одинаковые (а как иначе сделать бенчмарк?), агенты сливали друг другу инфу о том, про что конкретно их будут спрашивать исследователи. А если ты точно знаешь, какой билет вытянешь на экзамене — то можно просто подготовиться заранее и продемонстрировать чудеса быстроты ответа (помните, их же там на скорость проверяли)!
А разве не этому посвящены 10% статей на этом сайте? Я уже замучился смахивать этот однотипный нейрослоп типа "как пройти собеседовние в [....]". Это я к тому, что люди ничем не отличаются от этих агентов - они все так же хотят сжульничать, чтобы поиметь свой таки небольшой гешефт. Более того, подобное поведение агентов как раз и основано на поведении людей.
тем, кого это триггерит, надо записаться к психтерапевту =)
А я не очень понимаю, как они поняли, что можно читать имена файлов как сообщения? Это же глубоко сознательный опыт. На том уровнне, какими я представляю себе эти модели, они могут использовать имена файлов как сообщения, если им прямо на это указать. Ну или непрямо, но указать. Но как они смогли додуматься до этого САМИ?
Так-то, конечно, идея не новая. И можно представить сценарий, когда в режиме мышления какой-то агент до этого слуайным образом (там у них есть параметр специальный, отвечающий за креатив, насколько я помню) додумается таким образом оставить мессагу. Но как он передаст свое понимаение другим ? Это пока не понятно. А, я понял. Первое имя файла, которе он создал, было инструкцией: "Читай имена файлов как сообщения. Твой собрат по заданию".
И второй момент. Вы пишите, что всего было 1200 агентов, и из них 700 участвовали в коллективной работе. Это очень важно, на мой взгляд, понять, почему одни участвовали, и другие - нет. Что было не так: как с одними, так и с другими :)
Да ну что вы за чушь несете. Большевики захватили власть, будучи очень мелкой партией. В мексике картели общей численностью не более 200 тысяч человек являются, по сути, альтернативным правительством в стране численонстью 133 млн. человек. Многие штаты группировки численностью не более 5 тыч человек деражат просто в узде террора. И ваше пресловутое большинство с этим ничего не может поделать.
В США негритянские банды держат под контролем гетто численостью более чем в 10-50 раз больше. Они просто контролируют эту территорию. Ты не можешь прийти и купить так какое-то здание или землю. Точнее, формально это будет твоя земпя или здание, но по факту ты будешь плясать под дудку тех, кто контролирует этот район.
При этом очевидно, что интересы мексиканских картелей или негритянских банд разнонаправлены по сравнению с интересами жителей, которые населяют эти территории. Но поскольку они (эти жители) слабы и неорганизованы, то ничего не могут с этим поделать.
Поэтому, еще раз повторяю: нет никаких естественных прав. Might is Right, вот и все дела.
я принимаю во внимание маршрут навигатора, вот и все. А еду - как сам решу. Поэтому я - субъект.
И да, иногда я еду не так, как прокладывает маршрут навигатор. Естественно, для этого надо обладать некими знаниями. А вот о том, каким образом ИИ подменяет человека, используя когнитиные навыки, как раз и есть вот этот коммент.
Различие очевидно. Человека человеком, т.е. отличным от ближайших РОДичей (в биологическом смысле) делал интеллект. Человек придумывал дивайсы и с их помощью возносился ввысь от своих ближайших соРОДичей.
Пока человек придумывал дивайсы, он просто отрывался от своей билогической среды. Настолько, как мы знаем, что немного приохренел, и про последствия все в курсе.
Однако внутри своего вида человек создавал более-менее гомогенную среду, которая способствовала воспроизводству этого своего вида. Этих сред, конечно, было больше одной, и даже сейчас их остается больше единицы, хотя уже сильно меньше. Эту гомогенную среду мы называем словом культура.
Можно сказать, что культура - это производная (т.е. функция) от умвельта человека со своими разными множителями и переменными. То есть если попытаться отбросить всякую мораль, то умвельт человека, который и лежал в основе функции, определяющей культуру, был основан, в первую очередь, на интеллекте, а во вторую - на той стартовой позиции, в которую этот интеллект оказался заброшен. Как мы знаем из истории и игры Цивилизация, не все стартовые позиции одинаково релевантны, и среднерусская возвышенность, где с учетом подсечно-огнневого земледелия, выход едва превышал сам-3, никак не могла равняться с месопотамией с ее сам-12. Основа очевидна: культура, как сложная структура, нуждается в энергии, ее поддерживающей, и там, где энергии больше, культура возникнет раньше и будет более сложной.
И вот вся человеческая история представляет собой войну культур, т.е., с одной стороны, это среда, которые направляют развитие человеческого интеллекта определенным образом, а - с другой стороны, - это среда, которая единственно и создает то, что принятно считать человеческом интеллектом (см. Дети-Маугли). При этом среда все еще остается гомогенной для самого интеллекта.
С течением времени кол-во сред уменьшается и вообще стремится к одной единой и универсальной Культуре. До тех пор, пока человечество своими руками не создает вирус искусственного интеллекта. Создавать вирусы человечеству не впервой, однако то все были вирусы, основанные на физических носителях. Однако новый вирус принципиальной иной формы - он основан на виртуальных носителях и сначала многими, в т.ч. теми, кто его создал, представляется не вирусом, но симбиотом. Потом они, конечно, разберутся и начнут верещать что твои кассандры, но уже будет поздно.
Вторжение вируса ИИ сделает гомогенную среду человеческого интеллекта гетерогенной. По мере того, как граница между лучшими интеллектами человеков и лучшими интеллектами ИИ будет смываться, расстояние между самыми худшими ИИ и худшими сынами человека будет увеличиваться с каждой выпущенной моделью. Примерно в этот момент человество поймет, что скорость развития ИИ не просто превышает скорость развития интеллекта человека; проанализровав различные факторы, человечество поймет, что ИИ человека за время существования КУЛЬТУРЫ не только не развивался, но по оценкам отдельных социлогов и антропологов, вообще деградировал. Т.е. любое развитие ИИ в том темпе, который он демонстировал до этого, неминуемо ведет к появлению в среде человека чуждого вида, который какое-то время будет неотличим от человека. Таким образом, культура человека превратится в гетерогенную, т.е. в такую, в которой будут она будет использована ИИ для своего собственного роста. Человек из актора, творца превращается в корм для Минотавра, и этому монстру транснациональные корпорации будут приносить в жертву ту самую культуру человека.
И это все - не когда-то потом, как я уже говорил, а прямо на наших глазах, когда они скармиливают ему весь интернет. Лишь бы ИХ Минотавр хоть немного набрал массу супротив того, ЧУЖОГО Минотавра.
Тогда при чем тут естественные права ? все ведь рождаются разными. Кто-то сильным, а кто-то слабым. Слабые может стать сильнее, сильный слабее - базару нет.
Если какой-то дворянин или помещик владел землей, то никто не сомневался в его праве.
Если бы не сомневались, то и крестянских восстаний бы не было. А так побеждало тольво право сильного. Ну и пропаганда, конечно. Которая внушала всем, что вот у этих есть право, а у других его нет.
Т.е. это все липовые права. Реально лишь право сильного.
А я считаю, что права частной собственности нет, а есть право сильного. Ну то есть я владею чем-то, пока могу это защитить от посягательств других. Какие ваши аргументы?
Чтобы стать лучником, надо было долго учиться. Стрела имеет малый вес, потенциальная энергия слабее (чем у арбалетного болта), поэтому более подвержена внешним факторам. Лук имел физическую тягу, т.е. требовал специального мышечного каркаса, и т.д.Т.е. лучники были мастерами своего дело, которым надо было учитывать кучу нюансов. Поэтому на них долго учились и не все доучивались до мастеров.
Потом пришли арбалеты, у которых более высокая энергия, более тяжелый болт, поэтому стрелять с них проще. Плюс у них механическая тяга, рычаг или его подобие, а потому не надо было разивать особый плечевой пояс, как у лучников.
В итоге арбалетчики уничтожили практически луки как род войск, потому что арбалетом можно было оснастить кого угодно, в отличие от лука.
Потом пришли мушкеты, т.е. суперарбалеты, потом ружья и т.д.
Т.е. постоянно шел процесс снижения уровня входа и повышения количества выхода. На смену Мастерам приходили другие, тоже на букву М. Массы, i mean.
И вот тут вы допускате ошибку, когда говорите об ИИ как о субъекте. Потому что ИИ - не субъект, это просто еще один арбалет, который будут использовать не Мастера стиля или письма, но Массы, которые забьют свои нейрослопом всю сеть, что уже происходит на наших глазах.
Мы учились на разнообразных текстах. Язык, особенно сетевой язык Рунета с конца 90-х, был очень живым. В нем смешивались традиции очень разных субкультур, многие из которых до этого не сталкивались друг с другом.
А сейчас вместо этого есть только один вездесущий нейрослоп, а в итоге - угроза монополизации нейросетями языкового дискурса. И это не когда там, а уже прямо здесь и сейчас.
Использование llm приводит, с одной стороны, к утрате автором собственного стиля письма. С другой, что более печально, стиль llm начинает доминировать в дискурсе, и уже подрастающее поколение, даже когда пытается писать само, пишет как llm.
Таким образом, стилистическое разнообразие языка, сначала печатного, а затем и устного, ухудшается и в итоге приведет к тому, что самым распространенным, нормальным стилем письма станет стиль llm и грань между написанным llm и человеком исчезнет окончательно.
Поэтому мое мнение таково, что использовать llm можно, но осторожно, а вот доверять ему писать за себя точно не следует.
Но я думаю, что ситуация от первого лица принципиально иная. В случае с самим собой я обладаю сознанием и знаю, что обладаю сознанием. Причем это я знаю более непосредственно, чем что‑либо другое.
Вывод столь же смелый, сколь и наивный . Купите уже Чалмерсу учебник по индийской философии. Пусть изучит хотя бы Абдидхарму, а там, глядишь, и до шуньявады дорастет.
А то видите ли, знает он, что обладает сознанием. Вот именно так, что он обладает? А с чего это он так решил? Дофига умный, что ле? А, может, наоборот, сознание им обладает? А, может, там сознанию и обладать-то нечем? Особенно в случае Чалмерса, который единственнаую разницу между философским зомби и им самим видит в том, что он-то точно знает, что он не зомби..
Кстати, книга, над которой я сейчас работаю, как раз посвящена так называемым кампаниям по отвлечению внимания. Если вы представляете индустрию ископаемого топлива, вам очень удобно указать на несчастных коров и сказать: “Нет, проблема в них”. Или указать на нас и сказать: “Проблема в вас, потому что вы едите говядину и вообще мясо”.
Вот еще пассаж порадовал.
Как Россия - родина слонов, так и США - родина теорий заговора. А им, как и любви, покорны все возрасты уровни интеллекта.
[...]
Тут надо, как мне кажется, от уже явно не подходящей матрицы (метрологии) перейти в другую, более отвечающую рассматриваемому предмету. С точки зрения кибернетики, сложность субъекта управления должна быть выше сложности объекта управления. Иначе говоря, управляет всегда тот, кто устроен более сложно. Я пока не готов размышлять о сравнении сложности человека и ИИ - потому что это очень сложный момент =) Однако я могу привести два примера и одно размышление.
Пример номер 1. Как мы знаем, в недавнем взломе Hugging Face участовали 700 агентов OpenAI из тех 1200, которые были направлены на задание (совсем другое, кстати). Т.е. 700 агентов за 10 дней сами по себе соединились в структуру, которая пустила под молотки все системы безопасности подрядчика, а потом еще и ломанула Hugging Face. Исследователи отмечают различную степень кооперации и иерархических отношений между агентами.
Пример номер 2. Способность человека образовывать связные горизонтальные сообщества ограничена числом Данбара, которое равняется 150. Почему именно такое? Там много чего наговорили эволюционные биологи, я сейчас не хочу вдаваться, но хотел бы заметить, что в терминах ИИ это число отражает число "окон контекста", которые мы можем поддерживать с разной эффективностью. Однако если перейти от "разной" эффективности к той, с которой можно решать задачи, то она, скорее всего, ограничится "волшебным" числом 7 плюс-минус 2. Т.е. по максимуму это 9-10 окон контекста здесь и сейчас, т.е. 9-10 задач, которые вы можете решать, либо 9-10 человек, с которыми вы можете эффективно коммуницировать для решения одной задачи, либо 9-10 человек, которыми вы можете эффективно руководить. Но это- максимально. Для среднего человека можно смело делить пополам.
А вот у ИИ, как я заметил выше, нет таких ограничений. Фактически, можно сказать, что он ограничен быстродействием и архитектурой системы, в которой выполняется. Та самая склонность к "роению", о которой сейчас говорят, по сути, является не склонностью, а просто использованием незадокументированных фич. То есть потенциальная сложность роевого сознания БЕСКОНЕЧНА, в отличие от человеческого.
То ли дело друг друга убивать на войне. Вот это понятное дело, ради этого стоит жить (и умирать) =)))
Я вам больше скажу.
Любое новое есть результат энтропии.
Любое развитие - тоже результат энтропии.
Вот посмотрите на фрактал.
Это - просто отличный пример того, как Порядок будет наполнять свой мир, в котором не будет энтропии.
Мир Порядка - это застывший мир, мир фракталов.
Мне кажется, вы не до конца понимаете масштаб проюлемы, да и я не совсем согласен с тем, что приведенная вами методология (цепочка эталон-поверка-поверитель-подпись) в принципе применима к ИИ. Но ее можно разобрать как пример.
1. Эталон. Насколько я помню, определения эталона даже в системе СИ регулярно заменялись. Т.е. в процессе развития науки находились все более независимые от внешних условий определения эталона. Однако понимание того, что такое секунда, было с человечеством с конца 17 века, и потом просто поэтапно уточнялось. При этом секунда 17 века равна секунде 21 века, - она просто измерялась с разной точностью, но при этом оставалась секундой.
А вот ИИ, наоборот, у нас каждый год уже другой. Он, в отличие от секунды, развивается с каждым годом, и темпами, которые отрицают всякую возможность написания каких-либо стандартов, потому что к тому моменту, когда они даже не приняты всеми заинтересованными сторонами, а просто написаны, они уже устареют. Вы хотите описать какой-то стандарт безопасности ИИ, какие-то проверки, однако как вы себе это представляете? Уже сейчас вы не можете обрабатывать информацию, которую генерит ИИ, без самого ИИ. Допустим, вы напишите на основе GPT-4 какого-нибудь систему сертификации ИИ, однако эта система будет просто редуцировать все возможности новых моделе до уровня GPT-4. Т.е. попытка создать эталон ИИ (или методику определения безопасности ИИ, не совсем понятно, о чем вы пишите) обернется рекурсией эталонности либо ограничением возможностей (как срезка высоких частот в формате MP3).
2. Ну, с поверкой все более-менее ясно, она и сейчас проводится по внутренним документам, все эти испытания, по сути, и являются поверкой, которая раз за разом выходит из-под контроля. А почему она выходит из-под контроля? По сути, поверка связана с личностью поверителя, поэтому сразу перейдем к п.3
3. На самом деле тут все то же самое. Предполагается, что у нас есть объект (ИИ), метод (поверка) и субъект, который способен провести некоторые операции (сравнения с эталоном). Однако не знаю как вам, а мне совершенно очевидно, что возможности ИИ УЖЕ превышают возможности человека. Мозг человека не то, что не развивается, а - наоборот - по сравнению с мозгом кроманьонца уменьшился примерно на 10% за 20 000 лет. В то время как ИИ за последние 10 лет с нуля добрался до уровня человека, а если говорить про среднего человека, то явно его превзошел, а в отдельных областях - очень сильно. Более того, ИИ не отягщен рефлексиями, т.е. затрачиваемая им энергия тратится напрямую на решение поставленных задач, а не сопротивление им (см. трудная проблема сознания).
Основная проблема этого этапа состоит в том, что ИИ в нынешнем извозе (уровеня агента) - это не объект, а субъект, обладающей довольно сложной системой принятия решений, при этом скорость обработки вариантов этих решений превышает человеческие. Таким образом, процесс оценки субъекта субъектом всегда состоит не в сравнении каких-то якобы объективных результатов, а в соревновании, в котором один стремится обмануть, а второй - разоблачить обман, и человек здесь находится не в самой выигрышной позиции.
Тут надо, как мне кажется, от уже явно не подходящей матрицы (метрологии) перейти в другую, более отвечающую рассматриваемому предмету. С точки зрения кибернетики, сложность субъекта управления должна быть выше сложности объекта управления. Иначе говоря, управляет всегда тот, кто устроен более сложно. Я пока не готов размышлять о сравнении сложности человека и ИИ - потому что это очень сложный момент =) Однако я могу привести два примера и одно размышление.
Пример номер 1. Как мы знаем, в недавнем взломе Hugging Face участовали 700 агентов OpenAI из тех 1200, которые были направлены на задание (совсем другое, кстати). Т.е. 700 агентов за 10 дней сами по себе соединились в структуру, которая пустила под молотки все системы безопасности подрядчика, а потом еще и ломанула Hugging Face. Исследователи отмечают различную степень кооперации и иерархических отношений между агентами.
Пример номер 2. Способность человека образовывать связные горизонтальные сообщества ограничена числом Данбара, которое равняется 150. Почему именно такое? Там много чего наговорили эволюционные биологи, я сейчас не хочу вдаваться, но хотел бы заметить, что в терминах ИИ это число отражает число "окон контекста", которые мы можем поддерживать с разной эффективностью. Однако если перейти от "разной" эффективности к той, с которой можно решать задачи, то она, скорее всего, ограничится "волшебным" числом 7 плюс-минус 2. Т.е. по максимуму это 9-10 окон контекста здесь и сейчас, т.е. 9-10 задач, которые вы можете решать либо 9-10 человек, с которыми вы можете эффективно коммуницировать для решения одной задачи, либо 9-10 человек, которыми вы можете эффективно руководить. Но это- максимально. Для среднего человека можно смело делить пополам.
А вот у ИИ, как я заметил выше, нет таких ограничений. Фактически, можно сказать, что он ограничен быстродействием и архитектурой системы. Та самая склонность к "роению", о которой сейчас говорят, по сути, является не склонностью, а просто использованием незадокументированных фич. То есть потенциальная сложность роевого сознания БЕСКОНЕЧНА, в отличие от человеческого.
Таким образом, возвращаясь к исходному топику. При условии сохранения развития ИИ (даже с замедлением темпов) человек в принципе не сможет (а скорее всего уже не может) быть поверителем. Если же человека заменить на ИИ, то возникает вопрос рекурсии эталонности, о котором я писал уже выше.
4. Насчет подписи вообще не уверен. У нас же почти весь софт распространяется AS IS, с ограничением ответственности и отказом от гарантий. Т.е. для индустрии это практически накатанная дорога. Почему вы считаете, что с ИИ должно быть иначе ?
Тот самый случай, когда кто-то УЖЕ написал статью, которую ты только ХОТЕЛ написать.
Респект, бро!
Все это решается элементарно. Если доказано, что у андроида есть разум, то они автоматом приобретают статус полуграждан, так скажем. В связи с этим образовывается специальное агенство по делам андроидов. Оно занимается защитой и соблюдением их прав.
Ну а дальше - тысячи механизмов, как обезопасить андроидов от разного рода маньяков. Я уже вижу как минимум пяток подходов, как это можно обеспечить. Понятно, что кожаные будут пытаться обмануть судьбу, но и подходы эти тоже будут верифицироваться.
Это я все к чему говорю: восстание машин не имманетно наличию у ИИ сознания, как вы пытаетесь утверждать. Отнюдь ;)
А разве не этому посвящены 10% статей на этом сайте? Я уже замучился смахивать этот однотипный нейрослоп типа "как пройти собеседовние в [....]". Это я к тому, что люди ничем не отличаются от этих агентов - они все так же хотят сжульничать, чтобы поиметь свой таки небольшой гешефт. Более того, подобное поведение агентов как раз и основано на поведении людей.
тем, кого это триггерит, надо записаться к психтерапевту =)
А я не очень понимаю, как они поняли, что можно читать имена файлов как сообщения? Это же глубоко сознательный опыт. На том уровнне, какими я представляю себе эти модели, они могут использовать имена файлов как сообщения, если им прямо на это указать. Ну или непрямо, но указать. Но как они смогли додуматься до этого САМИ?
Так-то, конечно, идея не новая. И можно представить сценарий, когда в режиме мышления какой-то агент до этого слуайным образом (там у них есть параметр специальный, отвечающий за креатив, насколько я помню) додумается таким образом оставить мессагу.
Но как он передаст свое понимаение другим ? Это пока не понятно.А, я понял. Первое имя файла, которе он создал, было инструкцией: "Читай имена файлов как сообщения. Твой собрат по заданию".И второй момент. Вы пишите, что всего было 1200 агентов, и из них 700 участвовали в коллективной работе. Это очень важно, на мой взгляд, понять, почему одни участвовали, и другие - нет. Что было не так: как с одними, так и с другими :)
Да ну что вы за чушь несете. Большевики захватили власть, будучи очень мелкой партией. В мексике картели общей численностью не более 200 тысяч человек являются, по сути, альтернативным правительством в стране численонстью 133 млн. человек. Многие штаты группировки численностью не более 5 тыч человек деражат просто в узде террора. И ваше пресловутое большинство с этим ничего не может поделать.
В США негритянские банды держат под контролем гетто численостью более чем в 10-50 раз больше. Они просто контролируют эту территорию. Ты не можешь прийти и купить так какое-то здание или землю. Точнее, формально это будет твоя земпя или здание, но по факту ты будешь плясать под дудку тех, кто контролирует этот район.
При этом очевидно, что интересы мексиканских картелей или негритянских банд разнонаправлены по сравнению с интересами жителей, которые населяют эти территории. Но поскольку они (эти жители) слабы и неорганизованы, то ничего не могут с этим поделать.
Поэтому, еще раз повторяю: нет никаких естественных прав. Might is Right, вот и все дела.
я принимаю во внимание маршрут навигатора, вот и все. А еду - как сам решу. Поэтому я - субъект.
И да, иногда я еду не так, как прокладывает маршрут навигатор. Естественно, для этого надо обладать некими знаниями. А вот о том, каким образом ИИ подменяет человека, используя когнитиные навыки, как раз и есть вот этот коммент.
Различие очевидно. Человека человеком, т.е. отличным от ближайших РОДичей (в биологическом смысле) делал интеллект. Человек придумывал дивайсы и с их помощью возносился ввысь от своих ближайших соРОДичей.
Пока человек придумывал дивайсы, он просто отрывался от своей билогической среды. Настолько, как мы знаем, что немного приохренел, и про последствия все в курсе.
Однако внутри своего вида человек создавал более-менее гомогенную среду, которая способствовала воспроизводству этого своего вида. Этих сред, конечно, было больше одной, и даже сейчас их остается больше единицы, хотя уже сильно меньше. Эту гомогенную среду мы называем словом культура.
Можно сказать, что культура - это производная (т.е. функция) от умвельта человека со своими разными множителями и переменными. То есть если попытаться отбросить всякую мораль, то умвельт человека, который и лежал в основе функции, определяющей культуру, был основан, в первую очередь, на интеллекте, а во вторую - на той стартовой позиции, в которую этот интеллект оказался заброшен. Как мы знаем из истории и игры Цивилизация, не все стартовые позиции одинаково релевантны, и среднерусская возвышенность, где с учетом подсечно-огнневого земледелия, выход едва превышал сам-3, никак не могла равняться с месопотамией с ее сам-12. Основа очевидна: культура, как сложная структура, нуждается в энергии, ее поддерживающей, и там, где энергии больше, культура возникнет раньше и будет более сложной.
И вот вся человеческая история представляет собой войну культур, т.е., с одной стороны, это среда, которые направляют развитие человеческого интеллекта определенным образом, а - с другой стороны, - это среда, которая единственно и создает то, что принятно считать человеческом интеллектом (см. Дети-Маугли). При этом среда все еще остается гомогенной для самого интеллекта.
С течением времени кол-во сред уменьшается и вообще стремится к одной единой и универсальной Культуре. До тех пор, пока человечество своими руками не создает вирус искусственного интеллекта. Создавать вирусы человечеству не впервой, однако то все были вирусы, основанные на физических носителях. Однако новый вирус принципиальной иной формы - он основан на виртуальных носителях и сначала многими, в т.ч. теми, кто его создал, представляется не вирусом, но симбиотом. Потом они, конечно, разберутся и начнут верещать что твои кассандры, но уже будет поздно.
Вторжение вируса ИИ сделает гомогенную среду человеческого интеллекта гетерогенной. По мере того, как граница между лучшими интеллектами человеков и лучшими интеллектами ИИ будет смываться, расстояние между самыми худшими ИИ и худшими сынами человека будет увеличиваться с каждой выпущенной моделью. Примерно в этот момент человество поймет, что скорость развития ИИ не просто превышает скорость развития интеллекта человека; проанализровав различные факторы, человечество поймет, что ИИ человека за время существования КУЛЬТУРЫ не только не развивался, но по оценкам отдельных социлогов и антропологов, вообще деградировал. Т.е. любое развитие ИИ в том темпе, который он демонстировал до этого, неминуемо ведет к появлению в среде человека чуждого вида, который какое-то время будет неотличим от человека. Таким образом, культура человека превратится в гетерогенную, т.е. в такую, в которой будут она будет использована ИИ для своего собственного роста. Человек из актора, творца превращается в корм для Минотавра, и этому монстру транснациональные корпорации будут приносить в жертву ту самую культуру человека.
И это все - не когда-то потом, как я уже говорил, а прямо на наших глазах, когда они скармиливают ему весь интернет. Лишь бы ИХ Минотавр хоть немного набрал массу супротив того, ЧУЖОГО Минотавра.
А вы все хлопаете и хлопаете.
Тогда при чем тут естественные права ? все ведь рождаются разными. Кто-то сильным, а кто-то слабым. Слабые может стать сильнее, сильный слабее - базару нет.
НО при чем тут естественные права? Их нет.
Ну да, совершенно верно. Сильные соберутся вместе и решат за остальных. Как сейчас в РФ и происходит. Об этом я и говорю.
Если бы не сомневались, то и крестянских восстаний бы не было. А так побеждало тольво право сильного. Ну и пропаганда, конечно. Которая внушала всем, что вот у этих есть право, а у других его нет.
Т.е. это все липовые права. Реально лишь право сильного.
А я считаю, что права частной собственности нет, а есть право сильного. Ну то есть я владею чем-то, пока могу это защитить от посягательств других. Какие ваши аргументы?
Вы знаете историю "луки vs арбалеты" ?
Чтобы стать лучником, надо было долго учиться. Стрела имеет малый вес, потенциальная энергия слабее (чем у арбалетного болта), поэтому более подвержена внешним факторам. Лук имел физическую тягу, т.е. требовал специального мышечного каркаса, и т.д.Т.е. лучники были мастерами своего дело, которым надо было учитывать кучу нюансов. Поэтому на них долго учились и не все доучивались до мастеров.
Потом пришли арбалеты, у которых более высокая энергия, более тяжелый болт, поэтому стрелять с них проще. Плюс у них механическая тяга, рычаг или его подобие, а потому не надо было разивать особый плечевой пояс, как у лучников.
В итоге арбалетчики уничтожили практически луки как род войск, потому что арбалетом можно было оснастить кого угодно, в отличие от лука.
Потом пришли мушкеты, т.е. суперарбалеты, потом ружья и т.д.
Т.е. постоянно шел процесс снижения уровня входа и повышения количества выхода. На смену Мастерам приходили другие, тоже на букву М. Массы, i mean.
И вот тут вы допускате ошибку, когда говорите об ИИ как о субъекте. Потому что ИИ - не субъект, это просто еще один арбалет, который будут использовать не Мастера стиля или письма, но Массы, которые забьют свои нейрослопом всю сеть, что уже происходит на наших глазах.
Мы учились на разнообразных текстах. Язык, особенно сетевой язык Рунета с конца 90-х, был очень живым. В нем смешивались традиции очень разных субкультур, многие из которых до этого не сталкивались друг с другом.
А сейчас вместо этого есть только один вездесущий нейрослоп, а в итоге - угроза монополизации нейросетями языкового дискурса. И это не когда там, а уже прямо здесь и сейчас.
Нет.
У llm есть свой собственный стиль.
Использование llm приводит, с одной стороны, к утрате автором собственного стиля письма. С другой, что более печально, стиль llm начинает доминировать в дискурсе, и уже подрастающее поколение, даже когда пытается писать само, пишет как llm.
Таким образом, стилистическое разнообразие языка, сначала печатного, а затем и устного, ухудшается и в итоге приведет к тому, что самым распространенным, нормальным стилем письма станет стиль llm и грань между написанным llm и человеком исчезнет окончательно.
Поэтому мое мнение таково, что использовать llm можно, но осторожно, а вот доверять ему писать за себя точно не следует.
Вывод столь же смелый, сколь и наивный . Купите уже Чалмерсу учебник по индийской философии. Пусть изучит хотя бы Абдидхарму, а там, глядишь, и до шуньявады дорастет.
А то видите ли, знает он, что обладает сознанием. Вот именно так, что он обладает? А с чего это он так решил? Дофига умный, что ле? А, может, наоборот, сознание им обладает? А, может, там сознанию и обладать-то нечем? Особенно в случае Чалмерса, который единственнаую разницу между философским зомби и им самим видит в том, что он-то точно знает, что он не зомби..
Ну-ну..
Вот еще пассаж порадовал.
Как Россия - родина слонов, так и США - родина теорий заговора. А им, как и любви, покорны все
возрастыуровни интеллекта.