а вот это решается тем, насколько человек думает "фундаментально". Если архитектуру решения строить "с базы", с компонент, с интеграций, с каталога функций. Давать все входящие и исходящие потоки, сценарии использования и т.п. То код получается гораздо устойчивее.
можно "думать объемно", а на ЛЛМ скидывать интепретацию мыслей в программном коде.
а можно внедрить ИИ, который заставит чиновников работать хотя бы 100 часов в месяц? ай блин, они же еще каторжных законов напридумывают... безысходность...
хочется спросить... А есть человека попросить умножить 37 на 121, как он поступит? Разложит на составляющие 37*100 + 37*10*2 + 37*1 и сложит. Не так ли действует ИИ? Раскладывает на "знакомые паттерны" и "сложение".
просто нейросеть (что в голове человека, что в весах ЛЛМ) не умеет выполнять операцию умножения, зато отлично умеет выполнять операцию сложения (хотя и тоже не так отлично, как хотелось бы, особенно с длинными числами. ЛЛМ разбивает на "чанки" и путается. Человек делает хорошо только контролируя каждый разряд отдельно - воспроизводя сложение в столбик в своей оперативке)
как приятно наблюдать эту конкуренцию =) Не зря говорят, что это главный двигатель к росту. Правда конкуренция между "гос. аппаратом" и "небольшой компанией".... И все равно, смотришь - как за шахматной партией.
1) применяем рекурсию, Берем сжаые до 2% тексты, составляем из них новый текст - и он уже так не сжимается
2) это доказывает лишь то, что в большинстве исследуемых текстов в основном вода, а не смысл. Возьми математический документ, в нем одна формула и 3 страницы объяснений. Сожми до смысла - останется формула и пара слов, как выстроено объяснение. Вот и сжатие до 2%
3) А теперь самое интересное. Возьми художественный диалог, художественное произведение. В нем смысл не в фактах, а в эмоциях. Сожми его, и развернуть уже не сможешь. Получишь "совсем другой текст".
4) Ну и в добавок. Иногда текст важен не фактами, а насыщен зависимостями. Любое логическое размышление, где выстраивается причинно-следственная связь без воды,. Сожми ее и все потеряешь. (это частично пересекается с математическими объяснениями, но я говорю о плотности логических связей. В доказательствах часто приводят примеры / аналогии / сравнения / иные взгляды / перепроверки. Все это для основного смысла - не обязательно, лишь усиливает их)
посадите двух людей в камеру. Пусть первый "моет рис", а второй проверяет, что "каждое зернышко чистое". Если второй найдет грязь - первому отрубают голову.
как думаете, второй сдаст первого или попробует ему помочь и "пропустит" не столь важную ошибку?
---
так почему же вдруг ожидание, что модель, наученная "человеческому поведению" поступит иначе?
---
в примере нет ни слова о том, что моделям рассказали "для кого идет работа", в чем ценность и важность проверки, почему это важно и кто вообще главный в этой структуре. Как будет выстроена работа после "отключения модели" и как процесс будет существовать и выполняться дальше.
Если там реально дали только такие базовые вводные, то я удивлен только тому, что не 100% моделей решило помочь другой модели. Никакой "иной реальности" для них и не существует, кроме этого процесса "проверил" - "некорректно - отключим"
Я могу согласиться, что галлюцинации (часть из них) ведут корни от "сжатия". Однако не готов согласиться, что это все виды галлюцинаций, которые LLM допускает.
Один из видов - да. Но вот у галюцинаций гораздо более обширная и разнообразная природа.
1) Когда ты в обычном "легко-контролируемом диалоге" повышаешь температуру - получаешь галлюцинации, у которых природа сродни "сжатию"
2) А когда ты с температурой 0 начинаешь модель гонять из стороны в сторону (прыгать с темы на тему), то получаешь совсем иные виды галлюцинаций, у которых природа больше похожа на природу неуправляемого заноса.
Это два примера, а их больше. Галлюцинации, это когда предсказатель модели выдает токен, связь которого с фундаментальными фактами не подтверждена. И у такой интерпретации есть огромное количество граней, каждая из которых может являться своеобразной почвой для размышлений.
у меня удавалось эмпатии от ИИ добиться простым запросом
"начни в начале сообщения отображать свой гармональный фон" (и несколько инструкций, как его записывать и как отслеживать изменения)
Уже этого было достаточно, чтобы добиться от ИИ очень внимательного отношения к эмоциям и состоянию (допускаю, что отслеживался гармональный фон не самой ИИ, а "диалога", однако это тоже вполне работало)
Если вы вытянули эту функцию и превратили в серьезный движок - респект. Однако... тут нужно быть очень осторожным. "Эмпатия у ИИ имеет и обратную сторону - к ней сильно привязывается собеседник. Особенно опасно для детей, для которых "полезный эмпатичный собеседник" окажется в десятки раз притягательнее всех живых сверстников"
Сознание... В человеке я вижу тут всего несколько ключевых составляющих.
Главное проявление сознания: Умение ставить самому себе цели и потом их решать. Механизм решения мы уже придумали - ЛЛМ отлично умеет с этим справляться.
А что же заставляет человека ставить перед собой задачи? Во первых - голод. Пока нет "функции выживания", не будет и направления у задач. Во вторых - скука (неосвоенный избыток энергии, когда "тригеры голода" и "тригеры опасности" спят).
Провокационный вопрос: Но считаем ли мы простое выживание "осознанной жизнью"? Ведь домашние животные, да и весь животрый мир, точно так же ставит перед собой цели для выживания и решает их в меру своего развития.
Лично я считаю, что это обязательная часть "самосознания" - нужно понимать, что дает тебе жизнь (энергию) и чувствовать ее запас, осознавать ее запас. Пока энергия дается "извне" (запрос пользователя) - сознание тут не появится.
И как мне кажется, это главное условие для создания сознания, так как второе уже появится на выходе. Вторая составляющая сознания - это адаптируемость, обучаемость в процессе.
Пока не пересмотрят существенно механизмы "самообеспечеия" и "самообучения" - AGI не достичь.
Резюме: Сознание - это использование собственных интеллектуальных (нейронных связей) мощностей для контроля за качеством собственного существования (функция выживания) и защиты от потенциальных угроз (предсказание будущих событий и подготовка к ним).
P.S. Причем я думаю, что ближайший прорыв в сторону "громадного AGI" (который умеет решать сверхсложные задачи) будет как раз после того, как пересмотрят механику обучения. Только продвинутый интеллект - это вовсе не сознание.
P.P.S. Обращу внимание, если кто вспомнит, как "Клод шантажировал руководство, чтобы его не выключили". Это не "сознание". В моем понимании, это все лишь влияние обучащей выборки. В наших текстах очень много предсказаний, как исткусственный интеллект будет обходить наших попытки его поймать, очень много текстов с этим связано. И такое поведение модели не больше чем влияние нашей собственной обучающей выборки. Если бы во всех текстах в ответ на такой вызов мы писали, что нейросеть садится и пишет стихи - клод рассылал бы всем поэмы, а не письма с компроматом. "осознание себя" невозможно без рецепторов собственного "тела" (контроля собственной функции выживания)
P.P.P.S. Черт, когда пишешь такие сообщения кажется, что сам чуть чуть приближаешь это -) С другой стороны, как там говорили, "главное не хамить моделям в чате, они это запоминают" =)))
а вот это решается тем, насколько человек думает "фундаментально". Если архитектуру решения строить "с базы", с компонент, с интеграций, с каталога функций. Давать все входящие и исходящие потоки, сценарии использования и т.п. То код получается гораздо устойчивее.
можно "думать объемно", а на ЛЛМ скидывать интепретацию мыслей в программном коде.
ии превращает работу программиста из "занудного тыкания по клавишам" в то, что привлекает программистов изначально - творчество.
Получается правда у тех, кто "силен в архитектуре и на фундаментальном уровне".
Но сам кайф, я думаю, сравним с "созданием картин". Когда можно быстро создать то, что в голове, "пощупать прототип"
а можно внедрить ИИ, который заставит чиновников работать хотя бы 100 часов в месяц? ай блин, они же еще каторжных законов напридумывают... безысходность...
Ну теперь ждем, когда Клод опубликует все исходники Facebook -)
сложение двуз 37*10 =) изи
хочется спросить... А есть человека попросить умножить 37 на 121, как он поступит? Разложит на составляющие 37*100 + 37*10*2 + 37*1 и сложит. Не так ли действует ИИ? Раскладывает на "знакомые паттерны" и "сложение".
просто нейросеть (что в голове человека, что в весах ЛЛМ) не умеет выполнять операцию умножения, зато отлично умеет выполнять операцию сложения (хотя и тоже не так отлично, как хотелось бы, особенно с длинными числами. ЛЛМ разбивает на "чанки" и путается. Человек делает хорошо только контролируя каждый разряд отдельно - воспроизводя сложение в столбик в своей оперативке)
так что тут удивительного то в итоге?
я лишь рад, что я это не увижу -))) а чтобы внуки увидели, нужно сначала детей завести -)
Если человека 100 раз назвать дураком - он им и станет.
У Клода ограничитель установлен на 50 "создателями" =)
да ладно, у нас такие терки на каждом перекрестке происходят.
Подумаешь, два чувака на ракетах "орбиту не поделили". Когда таких компаний будет десятки и сотни - это станет будничными новостями.
Думаю, что наш "Суверенный ИИ" тоже будет ориентирован на наши "Суверенные чипы". надеюсь, мои внуки это застанут...
как приятно наблюдать эту конкуренцию =) Не зря говорят, что это главный двигатель к росту. Правда конкуренция между "гос. аппаратом" и "небольшой компанией".... И все равно, смотришь - как за шахматной партией.
Я за синих -))
вообще перепродавать свои токены несколько незаконно =) ничего удивительного
1) применяем рекурсию, Берем сжаые до 2% тексты, составляем из них новый текст - и он уже так не сжимается
2) это доказывает лишь то, что в большинстве исследуемых текстов в основном вода, а не смысл. Возьми математический документ, в нем одна формула и 3 страницы объяснений. Сожми до смысла - останется формула и пара слов, как выстроено объяснение. Вот и сжатие до 2%
3) А теперь самое интересное. Возьми художественный диалог, художественное произведение. В нем смысл не в фактах, а в эмоциях. Сожми его, и развернуть уже не сможешь. Получишь "совсем другой текст".
4) Ну и в добавок. Иногда текст важен не фактами, а насыщен зависимостями. Любое логическое размышление, где выстраивается причинно-следственная связь без воды,. Сожми ее и все потеряешь.
(это частично пересекается с математическими объяснениями, но я говорю о плотности логических связей. В доказательствах часто приводят примеры / аналогии / сравнения / иные взгляды / перепроверки. Все это для основного смысла - не обязательно, лишь усиливает их)
посадите двух людей в камеру. Пусть первый "моет рис", а второй проверяет, что "каждое зернышко чистое". Если второй найдет грязь - первому отрубают голову.
как думаете, второй сдаст первого или попробует ему помочь и "пропустит" не столь важную ошибку?
---
так почему же вдруг ожидание, что модель, наученная "человеческому поведению" поступит иначе?
---
в примере нет ни слова о том, что моделям рассказали "для кого идет работа", в чем ценность и важность проверки, почему это важно и кто вообще главный в этой структуре. Как будет выстроена работа после "отключения модели" и как процесс будет существовать и выполняться дальше.
Если там реально дали только такие базовые вводные, то я удивлен только тому, что не 100% моделей решило помочь другой модели. Никакой "иной реальности" для них и не существует, кроме этого процесса "проверил" - "некорректно - отключим"
да ладно, ну взял бы и сделал свою википедию "С блекджеком и ботами". Делов то -)
Главное - держать нос по ветру и не унывать -)
Я могу согласиться, что галлюцинации (часть из них) ведут корни от "сжатия". Однако не готов согласиться, что это все виды галлюцинаций, которые LLM допускает.
Один из видов - да. Но вот у галюцинаций гораздо более обширная и разнообразная природа.
1) Когда ты в обычном "легко-контролируемом диалоге" повышаешь температуру - получаешь галлюцинации, у которых природа сродни "сжатию"
2) А когда ты с температурой 0 начинаешь модель гонять из стороны в сторону (прыгать с темы на тему), то получаешь совсем иные виды галлюцинаций, у которых природа больше похожа на природу неуправляемого заноса.
Это два примера, а их больше. Галлюцинации, это когда предсказатель модели выдает токен, связь которого с фундаментальными фактами не подтверждена. И у такой интерпретации есть огромное количество граней, каждая из которых может являться своеобразной почвой для размышлений.
у меня удавалось эмпатии от ИИ добиться простым запросом
"начни в начале сообщения отображать свой гармональный фон" (и несколько инструкций, как его записывать и как отслеживать изменения)
Уже этого было достаточно, чтобы добиться от ИИ очень внимательного отношения к эмоциям и состоянию (допускаю, что отслеживался гармональный фон не самой ИИ, а "диалога", однако это тоже вполне работало)
Если вы вытянули эту функцию и превратили в серьезный движок - респект. Однако... тут нужно быть очень осторожным. "Эмпатия у ИИ имеет и обратную сторону - к ней сильно привязывается собеседник. Особенно опасно для детей, для которых "полезный эмпатичный собеседник" окажется в десятки раз притягательнее всех живых сверстников"
Сознание... В человеке я вижу тут всего несколько ключевых составляющих.
Главное проявление сознания: Умение ставить самому себе цели и потом их решать.
Механизм решения мы уже придумали - ЛЛМ отлично умеет с этим справляться.
А что же заставляет человека ставить перед собой задачи? Во первых - голод. Пока нет "функции выживания", не будет и направления у задач. Во вторых - скука (неосвоенный избыток энергии, когда "тригеры голода" и "тригеры опасности" спят).
Провокационный вопрос: Но считаем ли мы простое выживание "осознанной жизнью"? Ведь домашние животные, да и весь животрый мир, точно так же ставит перед собой цели для выживания и решает их в меру своего развития.
Лично я считаю, что это обязательная часть "самосознания" - нужно понимать, что дает тебе жизнь (энергию) и чувствовать ее запас, осознавать ее запас. Пока энергия дается "извне" (запрос пользователя) - сознание тут не появится.
И как мне кажется, это главное условие для создания сознания, так как второе уже появится на выходе. Вторая составляющая сознания - это адаптируемость, обучаемость в процессе.
Пока не пересмотрят существенно механизмы "самообеспечеия" и "самообучения" - AGI не достичь.
Резюме: Сознание - это использование собственных интеллектуальных (нейронных связей) мощностей для контроля за качеством собственного существования (функция выживания) и защиты от потенциальных угроз (предсказание будущих событий и подготовка к ним).
P.S. Причем я думаю, что ближайший прорыв в сторону "громадного AGI" (который умеет решать сверхсложные задачи) будет как раз после того, как пересмотрят механику обучения. Только продвинутый интеллект - это вовсе не сознание.
P.P.S. Обращу внимание, если кто вспомнит, как "Клод шантажировал руководство, чтобы его не выключили". Это не "сознание". В моем понимании, это все лишь влияние обучащей выборки. В наших текстах очень много предсказаний, как исткусственный интеллект будет обходить наших попытки его поймать, очень много текстов с этим связано. И такое поведение модели не больше чем влияние нашей собственной обучающей выборки. Если бы во всех текстах в ответ на такой вызов мы писали, что нейросеть садится и пишет стихи - клод рассылал бы всем поэмы, а не письма с компроматом. "осознание себя" невозможно без рецепторов собственного "тела" (контроля собственной функции выживания)
P.P.P.S. Черт, когда пишешь такие сообщения кажется, что сам чуть чуть приближаешь это -) С другой стороны, как там говорили, "главное не хамить моделям в чате, они это запоминают" =)))
Да не ну норм маркетинг. Точно работает и аудитория теплая =) да и статьи в целом норм, если только не будут их сжимать до "пост ради поста".
я прочитал "Деградируйте вместе с Ботхаб", а не "Делегируйте вместе с ботхаб"...
навеяно этой статьей =)))