Если исходить из логики автора, что AGI это коллективный разум, усиленный машинами, то он давно тут уже, со времён появления арифмометра. Но речь вроде бы не об этом, а о том, может ли хотя бы одна машинка заменить хотя бы одного человека во всем. Пока судя по другим статьям тут не может пока даже близко, хотя диалог имитирует отлично.
П.1 от Антропика удивляет - а они видели где-нибудь студента, который сдавал не сделанную работу, потому что у него листочка не хватило? Это значит ему не могут дать ещё листочков. Значит это фундаментальное ограничение, потому что студент может продолжить рассуждения до получения ответа.
Невозможно объяснить сознание квантовой теорией, у них просто разные семантические поля. А связать их между собой экспериментально ... Не получится, это как об суммарном эффекте реакций на солнце судить по одному фотону.
Все хорошо, только создание и поддержание графовой базы знаний - это боль в реальном бизнесе. Как связать разные тексты со смешанными темами в граф ? У вас мало описано как она создаётся и поддерживается, какими методами. Можно уточнить что нового тут?
Опять общие слова. А что изменилось то? RL существует уже много лет и опыт в игре в го модели приобрели как раз сами, а не человек дал. Основная проблема же не в агентности, а в том, что считать хорошим опытом, а что нет (вознаграждение за что?). Пока вознаграждение устанавливает человек. И второй вопрос - это что считать данными. Сырые данные с датчиков ничему модель не научат. Человеческие данные имеют обобщения в понятия и отношения между ними. А может ли модель в нынешней архитектуре сама приобрести понятия у меня большие сомнения
Один простой антитезис — чтобы увидеть случайность в озарении как системный случай, эта система должна быть хотя бы возможной в голове исследователя. Менделев увидел во сне далеко не случайно, он до этого строил систематизацию итак и сяк. Но мозг во сне (инкубационный период прошел) выстроил согласно какой-то системе, которая не случайна.
GPT-2 уже используют школьники для генерации сочинений )) И в этом смысле случайность — это неточность вероятностной схемы GPT, которая приводит к новым вариантам. Когнитивная система в какой-то мере работает так же. Модели более вариативны чем «реальность», математика как одна из них подразумевает гораздо больше возможностей «сосчитать», чем подтверждается в опыте.
Да, буду рад, если будут мысли в этом направлении — плиз, пришлите ссылку в личку. Я читал Вашу статью тут, замечу только, что она не учитывает современное состояние когнитивной науки, ну или я не увидел ссылок на них.
Разница — первый даже не заметит это, второй вряд ли пропустит)
И именно это говорит, что человек делает открытия не случайно, хотя для него это инсайт (черный ящик). Nehc очень точно отметил что не хватает — критического мышления (сравнения если быть точным), мотивации (намерений у агента нет никаких по отношению к нам), долгосрочной памяти (тут есть ошибка — памяти нет у мозга, это неправильная метафора записи в книге, у мозга есть восстановление по контексту). Вот когда всем этим займутся, тогда только будет круто. А пока — только крутая имитация )
Они предполагают некоторые возможности к генерализации, аппроксимации, сходимости, и тд.
Это общие вычислительные характеристики, а не характеристики построения «знаний», чем бы они ни были. Я же говорю о специфическом априорном способе выстраивания знаний. И не путем «переработки» информации, кстати. Вам наверняка известно, что, как Вы написали ниже, когнитивная все больше приходит к парадигме не обработки информации из вне, а ее генерации изнутри с корректировкой этой картины нашими органами. То есть наоборот, в когнитивной это еще называют «контролируемыми галлюцинациями». И это по моему даже очевидно — от объектов не исходит никакая инфо, она является функцией моделей. То есть грубо говоря, вся информация в нас уже есть, и мы способны не узнавать новую информацию, а только создавать новые модели. Я это развиваю как «интерактивный конструктивизм». Это к вопросу о реальности.
Вопрос, что хотим получить от автономного ИИ в перспективе? С «дружественной» логикой, или построенной на иных принципах?
Мы не можем представить себе Недружественную логику. Если мы ее представили, значит она уже возможная и для нас ) У нас у самих сейчас в науке столько логик, что не перечесть. Повседневная же логика — это не формальная логика, а «здравый смысл», то есть правдоподобная логика, частично культурно обусловленная к тому же. За ссылки спасибо, внимательно прочитаю. Но фундаментальный механизм рассуждений, о котором я пишу, скорее всего один у всех логик.
причин торможения эффективности научных исследований (стагнации),
Очень интересный момент! Я бы на Вашем месте написал бы тут отдельный пост. Но скорее всего это плато перед новым парадигмальным сдвигом. Но это не будет объединение каких-то теорий. Нет. Это будет изменение самого взгляда на мир как я описал выше. Похожий на то как в 11 веке вдруг поняли, что мы видим не потому что глаза испускают лучи, ощупывающие предметы, а наоборот ) Причем мы теперь то знаем, что именно ощупывает, но не испуская лучи — см. eyestracker. Но это точно философия )
В первом приближении таковыми можно считать функции когнитивного ядра, являющегося своеобразным интерфейсом между реальностью, и ее перцептивным представлением и теоретическим осмыслением
Вот именно в этом весь вопрос — что это за «когнитивное яро», которое работает между реальностью и представлением? Уже известно, что тут особую роль играет гиппокамп с его нейронами места и решетки, на которые я намекал выше. Но в чем именно она заключается пока никто не знает.
Это не более чем имитация тогда интеллекта, за счета мускул — гигантских текстов. Как ассоциативная память да, тут писали где то, что похоже очень на поиск Гугл (результаты схожи на запросы). Но не более.
Значит все ещё впереди )
Одной контекстной встречаемости недостаточно, это уже очевидно. Это было понятно еще раньше, на сетях Элмана (были опыты с обучением нейросетей на текстах и в 90х). И дело даже не в том, что ребенок имеет врожденные представления о мире — GPT тоже переводится как предварительно обученная. Но ребенок не просто учится, он учится эффективно — буквально на паре примеров может узнавать всех кисок на свете.
Вопроса по моему остаются такие:
1. Метод обучения основан не только на внешних данных, но и на способе их «обработки», которая приводит этот опыт к системному виду. И в результате к сравнимому, сопоставимому, что позволяет из них делать выводы (рассуждения). Это некая grid-сетка, через которую пропускается весь опыт, в которой он записывается. Но про нее никто не говорит, все страстно набивают нейросети все большими данными и надеются на чудо, что она сама как-нибудь обучится и все поймет.
2. Сам функционал рассуждения, то что мы называем разными словами — метафора, аналогия, силлогизм (есть статья, где силлогизм разбирается как метафора), дедукция и индукция. Она следует из п.1, но им не является. Механизм этот как раз и позволяет делать правдоподобные выводы из фактов, дополняя картину мира. Но опять же он не известен и о нем не говорят.
Заметьте, что оба функционала являются по сути априорными, то есть врожденными, и не концептами твердого тела, а еще более базовыми как причинность и пространство. Но не они.
Да, я не на тот комментарий ответил, тут где то было, что надо ей приделать зрительную модальность и все будет ок. Уже приделали вокены. Не будет. А вот ваша ссылка как раз о том, что может привести к результату. Это не мульти модальность, а память плюс действие с подкреплением как проверка гипотез, которые GPT классно генерит.
Нет, опора на другие модальности ничем не поможет GPT. Потому что текст принципиально не отличается от той же картинки, которую глаз оббегает по некоторой линейной траектории. См. Eyestracker. В тексте, на котором она обучалась, столько же"здравого смысла", сколько и на картинках (при анализе отношений в них). Кружка на столе и в моем тексте, и на картинке. Поэтому ничем это не поможет. А вот действия для проверки и корректировки может. Это новый способ самообучения. Только вот в диалоге трудно определить ошибку.
Нет, опора на другие модальности ничем не поможет GPT. Потому что текст принципиально не отличается от той же картинки, которую глаз оббегает по некоторой линейной траектории. См. Eyestracker. В тексте, на котором она обучалась, столько же"здравого смысла", сколько и на картинках (при анализе отношений преемников в них). Кружка на столе и в моем тексте, и на картинке. Поэтому ничем это не поможет.
Как показывает практика, слепо-глухо-немые дети с интеллектом дружат не очень…
Это потому что из сразу помещают в спец заведения и плохо учат. Ольга Скороходова стала кандидатом наук, потому что её учили великие педагоги начала прошлого века.
Если исходить из логики автора, что AGI это коллективный разум, усиленный машинами, то он давно тут уже, со времён появления арифмометра. Но речь вроде бы не об этом, а о том, может ли хотя бы одна машинка заменить хотя бы одного человека во всем. Пока судя по другим статьям тут не может пока даже близко, хотя диалог имитирует отлично.
П.1 от Антропика удивляет - а они видели где-нибудь студента, который сдавал не сделанную работу, потому что у него листочка не хватило? Это значит ему не могут дать ещё листочков. Значит это фундаментальное ограничение, потому что студент может продолжить рассуждения до получения ответа.
Невозможно объяснить сознание квантовой теорией, у них просто разные семантические поля. А связать их между собой экспериментально ... Не получится, это как об суммарном эффекте реакций на солнце судить по одному фотону.
Все хорошо, только создание и поддержание графовой базы знаний - это боль в реальном бизнесе. Как связать разные тексты со смешанными темами в граф ? У вас мало описано как она создаётся и поддерживается, какими методами. Можно уточнить что нового тут?
Опять общие слова. А что изменилось то? RL существует уже много лет и опыт в игре в го модели приобрели как раз сами, а не человек дал. Основная проблема же не в агентности, а в том, что считать хорошим опытом, а что нет (вознаграждение за что?). Пока вознаграждение устанавливает человек. И второй вопрос - это что считать данными. Сырые данные с датчиков ничему модель не научат. Человеческие данные имеют обобщения в понятия и отношения между ними. А может ли модель в нынешней архитектуре сама приобрести понятия у меня большие сомнения
Перебор за доли секунды? Нет, конечно, это быстрый подбор подходящего решения из имеющихся. Система 1.
Вы неправильно задали промт. Если бы вы написали так как ниже, все посчитала бы правильно.
how many words are in message: how many words are in message
Как-то надо обозначить в простое, к какой базе надо построить запрос, иначе chatGPT будет фантазировать.
GPT-2 уже используют школьники для генерации сочинений )) И в этом смысле случайность — это неточность вероятностной схемы GPT, которая приводит к новым вариантам. Когнитивная система в какой-то мере работает так же. Модели более вариативны чем «реальность», математика как одна из них подразумевает гораздо больше возможностей «сосчитать», чем подтверждается в опыте.
И именно это говорит, что человек делает открытия не случайно, хотя для него это инсайт (черный ящик). Nehc очень точно отметил что не хватает — критического мышления (сравнения если быть точным), мотивации (намерений у агента нет никаких по отношению к нам), долгосрочной памяти (тут есть ошибка — памяти нет у мозга, это неправильная метафора записи в книге, у мозга есть восстановление по контексту). Вот когда всем этим займутся, тогда только будет круто. А пока — только крутая имитация )
Это общие вычислительные характеристики, а не характеристики построения «знаний», чем бы они ни были. Я же говорю о специфическом априорном способе выстраивания знаний. И не путем «переработки» информации, кстати. Вам наверняка известно, что, как Вы написали ниже, когнитивная все больше приходит к парадигме не обработки информации из вне, а ее генерации изнутри с корректировкой этой картины нашими органами. То есть наоборот, в когнитивной это еще называют «контролируемыми галлюцинациями». И это по моему даже очевидно — от объектов не исходит никакая инфо, она является функцией моделей. То есть грубо говоря, вся информация в нас уже есть, и мы способны не узнавать новую информацию, а только создавать новые модели. Я это развиваю как «интерактивный конструктивизм». Это к вопросу о реальности.
Мы не можем представить себе Недружественную логику. Если мы ее представили, значит она уже возможная и для нас ) У нас у самих сейчас в науке столько логик, что не перечесть. Повседневная же логика — это не формальная логика, а «здравый смысл», то есть правдоподобная логика, частично культурно обусловленная к тому же. За ссылки спасибо, внимательно прочитаю. Но фундаментальный механизм рассуждений, о котором я пишу, скорее всего один у всех логик.
Очень интересный момент! Я бы на Вашем месте написал бы тут отдельный пост. Но скорее всего это плато перед новым парадигмальным сдвигом. Но это не будет объединение каких-то теорий. Нет. Это будет изменение самого взгляда на мир как я описал выше. Похожий на то как в 11 веке вдруг поняли, что мы видим не потому что глаза испускают лучи, ощупывающие предметы, а наоборот ) Причем мы теперь то знаем, что именно ощупывает, но не испуская лучи — см. eyestracker. Но это точно философия )
Вот именно в этом весь вопрос — что это за «когнитивное яро», которое работает между реальностью и представлением? Уже известно, что тут особую роль играет гиппокамп с его нейронами места и решетки, на которые я намекал выше. Но в чем именно она заключается пока никто не знает.
Это не более чем имитация тогда интеллекта, за счета мускул — гигантских текстов. Как ассоциативная память да, тут писали где то, что похоже очень на поиск Гугл (результаты схожи на запросы). Но не более.
Значит все ещё впереди )
Вопроса по моему остаются такие:
1. Метод обучения основан не только на внешних данных, но и на способе их «обработки», которая приводит этот опыт к системному виду. И в результате к сравнимому, сопоставимому, что позволяет из них делать выводы (рассуждения). Это некая grid-сетка, через которую пропускается весь опыт, в которой он записывается. Но про нее никто не говорит, все страстно набивают нейросети все большими данными и надеются на чудо, что она сама как-нибудь обучится и все поймет.
2. Сам функционал рассуждения, то что мы называем разными словами — метафора, аналогия, силлогизм (есть статья, где силлогизм разбирается как метафора), дедукция и индукция. Она следует из п.1, но им не является. Механизм этот как раз и позволяет делать правдоподобные выводы из фактов, дополняя картину мира. Но опять же он не известен и о нем не говорят.
Заметьте, что оба функционала являются по сути априорными, то есть врожденными, и не концептами твердого тела, а еще более базовыми как причинность и пространство. Но не они.
Это так, алгоритмического понимания точно нет, есть только герменевтическое — Если смог интерпретировать, значит понял. Но критерий сомнительный
Да, я не на тот комментарий ответил, тут где то было, что надо ей приделать зрительную модальность и все будет ок. Уже приделали вокены. Не будет. А вот ваша ссылка как раз о том, что может привести к результату. Это не мульти модальность, а память плюс действие с подкреплением как проверка гипотез, которые GPT классно генерит.
Нет, опора на другие модальности ничем не поможет GPT. Потому что текст принципиально не отличается от той же картинки, которую глаз оббегает по некоторой линейной траектории. См. Eyestracker. В тексте, на котором она обучалась, столько же"здравого смысла", сколько и на картинках (при анализе отношений в них). Кружка на столе и в моем тексте, и на картинке. Поэтому ничем это не поможет. А вот действия для проверки и корректировки может. Это новый способ самообучения. Только вот в диалоге трудно определить ошибку.
Нет, опора на другие модальности ничем не поможет GPT. Потому что текст принципиально не отличается от той же картинки, которую глаз оббегает по некоторой линейной траектории. См. Eyestracker. В тексте, на котором она обучалась, столько же"здравого смысла", сколько и на картинках (при анализе отношений преемников в них). Кружка на столе и в моем тексте, и на картинке. Поэтому ничем это не поможет.