Это позволяет взглянуть на чувство численности, как на механизм реализации одной из априорных форм знания, о которых писал И. Кант — числах.
Вы путаете СЧЕТ и узнавание чисел. Животные могут различать разное число, и выбирать большее, но не могут складывать их и делать вывод, какая сумма больше. Счет же — это именно возможность сложить, или определить число в порядке чисел. Это называл Кант априорным знанием, а не опытным.
Одно дело знать несколько фактов из таблицы сложения, другое абстрагировать до числа предметы. Этому тоже надо учиться и за это отвечает не та зона, что распознает числа, а ассоциативная кора. Это где то в третичной зоне, в конце латеральной борозды, ну вы видимо знаете сами где это )
Вниз генератору речи он спускает «решение», которое GPT должен оформлять в складный человекочитаемый вид.
Вот только вопрос как этого добиться. Слово «спускает» не добавляет ясности ) Скорее всего рассуждения GPT надо придать смысл как целевой показатель. Но как его выразить и как заставить ему следовать сеть? Не сказать что-то по поводу цели, а следовать ей — вот в чем разница. Сказать по поводу она может (нагенерить связанного текста), это не прибавляет смысла (следования цели). Это текст должен сравниваться с целью в каком-то аспекте «достижения цели». Например, вывести формулу — это не значит написать о выводе формулы. Это достичь требуемого ее вида. В каком пока не понятно.
Прочитал, очень интересно. Но немного излишне Вы индикаторами и двойственностью нагрузили описание. Не понятно, какую задачу вы этим решали. Рецептивное поле зрительной коры топологически подобно расположению рецепторов сетчатки. А аттракции типа места и формы — это уже метакогниции, которые определяются как вырожденные категории из объектов.
Интересно показалось другое — гексогональная структура, которая определяется относительно самой себя. Определяет свои перемещения и повороты через последовательности активации ячеек x(p)y. Каждая из переменных может быть определима через две другие, так как смешение приходится на ячейки этой структуры. Причем в этом универсальна именно гектогональная — и повороты и линейные смешения. Вы знаете, что такую же структуру имеют grid нейроны в гмпокампе, за которые в прошлом году дали Нобелевскую? Вы знаете, что падежей в русском тоже шесть? Все это не случайно.
Не нужно пытаться весь мир загнать в граф (про такой тупиковый проект я знаю). Нужно сформировать сильно ограниченный набор простых шаблонов для квантования этого мира. Я как-то насчитал менее двух десятков таких паттернов, которыми можно описать/структурировать большинство текста
Интересная мысль, а есть где прочитать про эти 20 шаблонов?
Те самые BPE. GPT значит тоже ими оперирует. Как оказалось, это упрощает на порядок даже перевода (google) — этих BPE (частотных) на порядок меньше, чем слов. И строить эмбединги из них проще, ну и модель сама меньше.
Когда попробуете — напишите! ) Про смещение в нужную сторону. Можно в личку. Надо только учитывать, что BERT по крайней мере оперирует не словами, а чем то ближе к слогам, BPE.
Похоже ни одна машина, которая в какой-то форме не выработала строгий язык описания закономерностей, предложения которого были бы доступны для ее восприятия, не способна по настоящему обращаться и создавать хоть сколько-нибудь абстрактные понятия.
А можете кратко изложить суть этой идеи, из такого описания не понятно, а читать три больших текста — надо сначала понимать, если там то, что кажется интересным ) И что в Вашем понимании «абстрактные понятия»? У волка есть понятие о зайце, любой формы и цвета. Это абстрактное понятие?
Вот это уже конкретно и интересно — то есть из к отбираем те, что ближе к цели по какой то метрике. Может тупо по косинусу в w2v к слову, означающее цель. Тогда следующее предложение будет хотя бы приближением к цели. И далее — следующи к уже из него н раз приблизят. Шаг рассуждения.
Хорошо, разобрались с детьми и здравым смыслом, теперь предлагаю с рассуждениями разобраться.
GPT-f все таки делает успешные "рассылается" в формальной системе, а мы про естественный текст. С этим сложнее, GPT выдает релевантные тексты, но это трудно назвать растениями со смыслом. По теме, но без цели. В принципе всякая RNN может делать последовательные шаги с учётом предыдущих. Но не с учётом цели, то есть того, чего ещё небыло в тексте. Или задаёт очень кратко. То есть опять же не учитывает конкретную цель как факт! Может это и есть корневой вопрос — научиться из одних фактов создавать другие?
Может поэтому самые интересные статьи по ИИ не из университетов, а из гуглов и фейсбуков? Но вопрос актуален ещё вот с какой стороны — чтобы сделать порыв в вопросе, надо не только математику и программирование. Даже философия нужна, гносеология, например. И когнитивные все. А одному это не охватить ни на какой аспирантуре. Поэтому нужно более эффективное общение разных специалистов. Но вот с этим проблема, видно даже тут.
Но вывод, что вся проблема только в недостающих данных тоже кажется банальной. В GPT запихали кучу гигов теста. Да, она стала более здравомыслящей, но все равно смысла в ее текстах пока маловато. Все грамотно генерит, но бессмысленно. Чего то не хватает.
Пример из Word2vec как раз показывает, что "здравый смысл" может быть простой системой вывода (расчета векторов), а не обучения на данных.
И еще, ребенку можно просто показать картинку кита в книжке, умного он ни разу не встречал и не встретит в жизни. И он сразу из научится различать их, в других книжках )
Приведенные продолжения текста из GPT как раз показывает ее недостаток — это продолжение совершенно бессмысленны по отношению к исходному тексту. Они могли быть продолжением и другого любого текста, особенно 2 и 3. На счёт "понимает" поэтому есть большие сомнения )
В том то и дело, что не ответит, разве что случайно. Она напишет в ответ что-то релевантное, но не может выдать точно, что носки на столе или что их нет на столе. Для нее это равные ответы. GPT выдаст не правильный (факт), а правдоподобный ответ. Часто лишенный смысла, о чем много пишут.
Вы путаете СЧЕТ и узнавание чисел. Животные могут различать разное число, и выбирать большее, но не могут складывать их и делать вывод, какая сумма больше. Счет же — это именно возможность сложить, или определить число в порядке чисел. Это называл Кант априорным знанием, а не опытным.
Вот только вопрос как этого добиться. Слово «спускает» не добавляет ясности ) Скорее всего рассуждения GPT надо придать смысл как целевой показатель. Но как его выразить и как заставить ему следовать сеть? Не сказать что-то по поводу цели, а следовать ей — вот в чем разница. Сказать по поводу она может (нагенерить связанного текста), это не прибавляет смысла (следования цели). Это текст должен сравниваться с целью в каком-то аспекте «достижения цели». Например, вывести формулу — это не значит написать о выводе формулы. Это достичь требуемого ее вида. В каком пока не понятно.
Прочитал, очень интересно. Но немного излишне Вы индикаторами и двойственностью нагрузили описание. Не понятно, какую задачу вы этим решали. Рецептивное поле зрительной коры топологически подобно расположению рецепторов сетчатки. А аттракции типа места и формы — это уже метакогниции, которые определяются как вырожденные категории из объектов.
Интересно показалось другое — гексогональная структура, которая определяется относительно самой себя. Определяет свои перемещения и повороты через последовательности активации ячеек x(p)y. Каждая из переменных может быть определима через две другие, так как смешение приходится на ячейки этой структуры. Причем в этом универсальна именно гектогональная — и повороты и линейные смешения. Вы знаете, что такую же структуру имеют grid нейроны в гмпокампе, за которые в прошлом году дали Нобелевскую? Вы знаете, что падежей в русском тоже шесть? Все это не случайно.
Интересная мысль, а есть где прочитать про эти 20 шаблонов?
А можете кратко изложить суть этой идеи, из такого описания не понятно, а читать три больших текста — надо сначала понимать, если там то, что кажется интересным ) И что в Вашем понимании «абстрактные понятия»? У волка есть понятие о зайце, любой формы и цвета. Это абстрактное понятие?
При афазии Вернике
Вот да, что то не хватает
Вот это уже конкретно и интересно — то есть из к отбираем те, что ближе к цели по какой то метрике. Может тупо по косинусу в w2v к слову, означающее цель. Тогда следующее предложение будет хотя бы приближением к цели. И далее — следующи к уже из него н раз приблизят. Шаг рассуждения.
Хорошо, разобрались с детьми и здравым смыслом, теперь предлагаю с рассуждениями разобраться.
GPT-f все таки делает успешные "рассылается" в формальной системе, а мы про естественный текст. С этим сложнее, GPT выдает релевантные тексты, но это трудно назвать растениями со смыслом. По теме, но без цели. В принципе всякая RNN может делать последовательные шаги с учётом предыдущих. Но не с учётом цели, то есть того, чего ещё небыло в тексте. Или задаёт очень кратко. То есть опять же не учитывает конкретную цель как факт! Может это и есть корневой вопрос — научиться из одних фактов создавать другие?
Может поэтому самые интересные статьи по ИИ не из университетов, а из гуглов и фейсбуков? Но вопрос актуален ещё вот с какой стороны — чтобы сделать порыв в вопросе, надо не только математику и программирование. Даже философия нужна, гносеология, например. И когнитивные все. А одному это не охватить ни на какой аспирантуре. Поэтому нужно более эффективное общение разных специалистов. Но вот с этим проблема, видно даже тут.
Хорошо, поменяю в названии на "Чего", не принципиально для обсуждаемого вопроса.
В случае 2 род не угадала )
Откуда такая уверенность? Отличие их только в величине текстов обучения, а не в способе учёта фактов.
Но вывод, что вся проблема только в недостающих данных тоже кажется банальной. В GPT запихали кучу гигов теста. Да, она стала более здравомыслящей, но все равно смысла в ее текстах пока маловато. Все грамотно генерит, но бессмысленно. Чего то не хватает.
Пример из Word2vec как раз показывает, что "здравый смысл" может быть простой системой вывода (расчета векторов), а не обучения на данных.
И еще, ребенку можно просто показать картинку кита в книжке, умного он ни разу не встречал и не встретит в жизни. И он сразу из научится различать их, в других книжках )
Приведенные продолжения текста из GPT как раз показывает ее недостаток — это продолжение совершенно бессмысленны по отношению к исходному тексту. Они могли быть продолжением и другого любого текста, особенно 2 и 3. На счёт "понимает" поэтому есть большие сомнения )
В том то и дело, что не ответит, разве что случайно. Она напишет в ответ что-то релевантное, но не может выдать точно, что носки на столе или что их нет на столе. Для нее это равные ответы. GPT выдаст не правильный (факт), а правдоподобный ответ. Часто лишенный смысла, о чем много пишут.