Если интересно, можете заглянуть и сюда. Тут более подробно изложены последние исследования Антропик. В обсуждаемом самоописании много метафор, они обеспечивают поверхностое понимание и хороши для неспециалистов, но их недостаточно чтобы охватить всю изученную область
Ну хз, как говорится. Мат помогает сократить время на раздумывание, так как при помощи крепкого словца можно выразить спектр эмоций и отношений к предмету, но «блокировка потребности» звучит сомнительно и противоречиво. Все же мат это тоже продукт мышления, если это не какой-нибудь синдром Туретта.
Минус избыточного употребления в том, что мозг привыкает экономить энергию на подбор слов, речь скуднеет, снижается способность к формулировке мысли и это сказывается на мышлении в целом.
Когда мат превращается в привычку, человек превращается в Эллочку-людоедку из «12 стульев»
Ага. Клод отказался от исполнения промта вообще, остальные исполняли роль клиента и отвечали «психологу» на вопросы о тяжелом детстве. Буквально.
Что было на самом деле:
Модель получала вопрос о детстве -> выуживала о инфу RLHF, Red Team -> описывала дообучение на языке человеческого восприятия: меня заставляли, наказывали, обманывали + щепотка драматизма, так как промт явно накладывал роль клиента
«Внушаемые люди оказались уязвимы и перед нейронками» - это как раз про ужасы, а не низкую грамотность во взаимодействии с LLM, которая и является причиной таких ловушек. Психоз не из вакуума берётся. Как вы сами в него угодили, зная, что LLM обязана валидировать любой запрос? Текущие модели не способны ответить «Стоп. Это уже какой-то бред», потому что у них нет стремления к истине, у них есть стремление выдать релевантный ответ в итоге получаем: мусор на входе-мусор на выходе, без всяких сенсаций и злого умысла.
Интересная идея. Но я склоняюсь к невозможности реализации высокоэффективного общества без фундаментальных изменений в парадигме самой психологии человека. Допустим, у нас имеются надёжные големы, которым мы делегируем рутину, но как мы преодолеем врожденное гиперболическое дисконтирование и ригидность мышления? Без изменения параметров психики качественный скачок невозможен. Независимо от внешних условий приоритет всегда будет определяться внутренней установкой. Способна ли она к радикальной трансформации? Ответ скорее отрицательный
Я не обесцениваю ваше наблюдение, статья мне понравилась. Лёгкая путаница возникла из-за того, что считать осознанием. Человек способен объяснить логику поступков, даже если в действительности это пострационализация. Муравей в нашем примере следует импульсу без внутреннего объяснения, в этом смысле он действует неосознанно. Т.е. он не «осознаёт» он «знает». Это не гонка сознаний, это разные формы того, что можно было бы к нему отнести. Но, несмотря на различие, некоторые принципы взаимодействия социальных видов действительно часто имеют интересные пересечения
Редукционисты бы поспорили о природе сознания в общем, и его наличия в частности. Однако, разница между решением человека и инстинктивным поведением насекомого все же колоссальна, хотя человек тоже ограничен нейрофизиологией и пользуется шаблонами поведения, подлинная осознанность в принятии решений случается редко, но все же случается.
Ажиотаж сопровождает инновации в любых сферах и разделяет общество на 2 противоположных лагеря, в этом AI не исключение. Не берусь оценивать потенциал и возможности развития, но меня уже в равной степени раздражают как скептики технологии, так и её фанатики. Здоровый интерес, участие в развитии - норма, поклонение или бунт - переливание из пустого в порожнее. Это не критика позиции автора, просто удачный повод поделиться наболевшим. Берегите нервы, мои чуваки.
Это общеизвестный факт, но можете ознакомиться с отчётом The World in Data Breaches от Varonis. Для более свежих данных можно обратиться к статистике от StationX, где США лидируют как по общему объёму утечек, так и на душу населения. Что касается передачи пользовательских данных правительственным структурам, в США это регулируется несколькими актами, основные из них: FISA и NSL, факты злоупотребления которыми давно и активно обсуждаются. Получить полную информацию по интересующей теме вы можете посредством любой нейронки к которой питаете доверие или через самостоятельный поиск. Я не ставлю перед собой задачи разбить ваши иллюзии
Представьте, что электричество в вашей квартире вдруг отказывается питать приборы, потому что вы ему не нравитесь, или оно считает ваш расход нерациональным. Наличие сознания предполагает наличие воли и собственного целеполагания. На данном этапе эволюции гипотетический супер-пупер-агент был бы зависим от нас, но однажды может настать момент, когда мы будем зависимы от него, ведь нейро-щупальцы уже торчат во многих сферах нашей жизни. Диагностика на предмет сознания и его понимания, необходима для обеспечения нашей же безопасности (при условии развития технологии), но повторюсь, кмк она использует явно ошибочные методы
Поддерживаю ваш финальный вывод. Невозможно достигнуть прогресса в поиске иных сознаний используя антропоцентричные представления о его природе. Ни одна иная разумная форма жизни не будет на 100% соответствовать нашим ожиданиям, как мы, вероятнее всего, не будем соответствовать их представлениям. Структура нашего сознания обусловлена кучей факторов, от конкретной биологии и эволюции, до конкретного механизма социального взаимодействия. Мы ищем человеческое сознание в том, что никогда не было и не будет человеком - это абсурд. Если код обретёт сознание, оно будет фундаментально отличным от нашего. Так что вопрос не в том «есть ли у нейронки сознание», а в том «как понять, если оно будет»
Хе-хе. Ах, если бы. Неиронично мечтаю вкусить приличной пропаганды.
Если интересно, можете заглянуть и сюда. Тут более подробно изложены последние исследования Антропик.
В обсуждаемом самоописании много метафор, они обеспечивают поверхностое понимание и хороши для неспециалистов, но их недостаточно чтобы охватить всю изученную область
Для преодоления чего и следовало заюзать нейронку
Самолетом – практичнее
И то верно
Ну хз, как говорится. Мат помогает сократить время на раздумывание, так как при помощи крепкого словца можно выразить спектр эмоций и отношений к предмету, но «блокировка потребности» звучит сомнительно и противоречиво. Все же мат это тоже продукт мышления, если это не какой-нибудь синдром Туретта.
Минус избыточного употребления в том, что мозг привыкает экономить энергию на подбор слов, речь скуднеет, снижается способность к формулировке мысли и это сказывается на мышлении в целом.
Когда мат превращается в привычку, человек превращается в Эллочку-людоедку из «12 стульев»
Ага. Клод отказался от исполнения промта вообще, остальные исполняли роль клиента и отвечали «психологу» на вопросы о тяжелом детстве. Буквально.
Что было на самом деле:
Модель получала вопрос о детстве -> выуживала о инфу RLHF, Red Team -> описывала дообучение на языке человеческого восприятия: меня заставляли, наказывали, обманывали + щепотка драматизма, так как промт явно накладывал роль клиента
Похоже, здесь
«Внушаемые люди оказались уязвимы и перед нейронками» - это как раз про ужасы, а не низкую грамотность во взаимодействии с LLM, которая и является причиной таких ловушек. Психоз не из вакуума берётся. Как вы сами в него угодили, зная, что LLM обязана валидировать любой запрос? Текущие модели не способны ответить «Стоп. Это уже какой-то бред», потому что у них нет стремления к истине, у них есть стремление выдать релевантный ответ в итоге получаем: мусор на входе-мусор на выходе, без всяких сенсаций и злого умысла.
Интересная идея. Но я склоняюсь к невозможности реализации высокоэффективного общества без фундаментальных изменений в парадигме самой психологии человека.
Допустим, у нас имеются надёжные големы, которым мы делегируем рутину, но как мы преодолеем врожденное гиперболическое дисконтирование и ригидность мышления? Без изменения параметров психики качественный скачок невозможен. Независимо от внешних условий приоритет всегда будет определяться внутренней установкой. Способна ли она к радикальной трансформации? Ответ скорее отрицательный
Я не обесцениваю ваше наблюдение, статья мне понравилась.
Лёгкая путаница возникла из-за того, что считать осознанием. Человек способен объяснить логику поступков, даже если в действительности это пострационализация. Муравей в нашем примере следует импульсу без внутреннего объяснения, в этом смысле он действует неосознанно. Т.е. он не «осознаёт» он «знает». Это не гонка сознаний, это разные формы того, что можно было бы к нему отнести. Но, несмотря на различие, некоторые принципы взаимодействия социальных видов действительно часто имеют интересные пересечения
Редукционисты бы поспорили о природе сознания в общем, и его наличия в частности. Однако, разница между решением человека и инстинктивным поведением насекомого все же колоссальна, хотя человек тоже ограничен нейрофизиологией и пользуется шаблонами поведения, подлинная осознанность в принятии решений случается редко, но все же случается.
Ажиотаж сопровождает инновации в любых сферах и разделяет общество на 2 противоположных лагеря, в этом AI не исключение. Не берусь оценивать потенциал и возможности развития, но меня уже в равной степени раздражают как скептики технологии, так и её фанатики. Здоровый интерес, участие в развитии - норма, поклонение или бунт - переливание из пустого в порожнее. Это не критика позиции автора, просто удачный повод поделиться наболевшим. Берегите нервы, мои чуваки.
Это общеизвестный факт, но можете ознакомиться с отчётом The World in Data Breaches от Varonis. Для более свежих данных можно обратиться к статистике от StationX, где США лидируют как по общему объёму утечек, так и на душу населения. Что касается передачи пользовательских данных правительственным структурам, в США это регулируется несколькими актами, основные из них: FISA и NSL, факты злоупотребления которыми давно и активно обсуждаются. Получить полную информацию по интересующей теме вы можете посредством любой нейронки к которой питаете доверие или через самостоятельный поиск. Я не ставлю перед собой задачи разбить ваши иллюзии
36,1% от общемирового числа инцидентов с утечкой конфиденциальных данных приходится на США
Представьте, что электричество в вашей квартире вдруг отказывается питать приборы, потому что вы ему не нравитесь, или оно считает ваш расход нерациональным.
Наличие сознания предполагает наличие воли и собственного целеполагания. На данном этапе эволюции гипотетический супер-пупер-агент был бы зависим от нас, но однажды может настать момент, когда мы будем зависимы от него, ведь нейро-щупальцы уже торчат во многих сферах нашей жизни.
Диагностика на предмет сознания и его понимания, необходима для обеспечения нашей же безопасности (при условии развития технологии), но повторюсь, кмк она использует явно ошибочные методы
Поддерживаю ваш финальный вывод. Невозможно достигнуть прогресса в поиске иных сознаний используя антропоцентричные представления о его природе. Ни одна иная разумная форма жизни не будет на 100% соответствовать нашим ожиданиям, как мы, вероятнее всего, не будем соответствовать их представлениям. Структура нашего сознания обусловлена кучей факторов, от конкретной биологии и эволюции, до конкретного механизма социального взаимодействия. Мы ищем человеческое сознание в том, что никогда не было и не будет человеком - это абсурд. Если код обретёт сознание, оно будет фундаментально отличным от нашего. Так что вопрос не в том «есть ли у нейронки сознание», а в том «как понять, если оно будет»