Сознательное или бессознательное, это к LLM не имеет отношения. К LLM имеет отношение точность классификации, которая может быть достигнута той или иной структурой сетки.
А так же то, какие именно правила лучше усваиваются этой структурой, а какие поплоше.
И у человека просто другое множество правил, которые природа посчитала более важными к усвоению. Отсюда и возникает такое не понимание, как такая сверх большая и умненькая сеточка, не может понять какие-либо простые вещи, зато хорошо знает термины из какой-нибудь узкой научной области.
А дальше, глядя на эти расхождения в важности правил, люди пытаются понять, чего нехватает в сетке, из того, что есть в человеке.
Но по факту, когда утверждают, что у сетки не хватает сознания, то для начала нужно определиться, что такое сознание, и как выглядит этот алгоритм. А уже потом говорить, есть это в сетке или нет.
Какую бы вещь не назвали, чего в сетке не хватает, сначала нужно определить, как эта вещь выглядить в алгоритмическом виде. А уже потом будет понятно, есть это в сетке или нет.
Симуляция человеческого мышления будет в пределе улучшения становиться именно подобием человеческого мышления, а не чем-то не человеческим.
Но вот использование такого принципа для решения задач, это не эффективно, это как делать инерпретаторы выполняемые на интерпретируемых языках, и наследуя при этом в довесок вероятности ошибок человеческого мышления.
Решение вопросов это задача решается чистым прогнозированием и классификацией, за счет улучшения качества.
Симуляция человеческого мышления может быть достигнута либо непосредственно кодируя человеческое мышление. Либо за счета выполнения задачи на решателе вопросов, указав ему задачу по симуляции человека, что уже будет инерпретация на интерпретаторе, но в обратном направлении, чем упомянутая выше.
Для начала нужно определиться, а что в действительности хотели объяснить в этой статье. Действительно ли хотят найти более качественную симуляцию человеческого мышления или все же хотят найти механизмы более качественно решающие вопросы? Это два разных вопроса.
С другой стороны, написав ту заметку, я именно сказал половику рецепта. А мне тут теперь заявляют, что я не скажу. Вот если бы этот ветеран исследований ИИ сказал бы и оставшуюся половину рецепта, то это было бы наверняка понятно, что он это сам придумал, а не пересказал то, что я написал.
Кстати, подразумевая что я знаю, я подразумевал что уже реализовал это в виде программы. От того, что это нужный алгоритм, это не означает, что он требует существенно меньше расчетов. Поэтому толком обучить это не могу, или по крайней мере за разумное время. В среднем, на одной rtx4090 у меня выходит сетка обученная с нуля, которая может связанно и без ошибок генерировать текст. Но до сверх разума тут далековато. Использовать для этого существующие открытые сетки не получится. Отчасти что они тяжеловаты для rtx4090, и отчасти что много переучивать.
Предполагаю, что если я скажу, то через пару недель, какой-нибудь другой ветеран исследований ИИ, а может и этот, выскажет свое веское мнение что нужно делать именно так. А мне останется только писать комментарий, что я же говорил... Пусть сами думают.
Основная проблема у это GPT-X, что там все не правильно сделали.
Для примера, человек не в силах в разумные сроки прочитать терабайт текста, но тем не менее многие задачи решает умнее чем эта сетка.
Чтобы учить сетку, в ней гоняют один и тот же текст много раз, пока эти знания вградиетиваются в нее. Человеку достаточно прочитать текст один раз, что бы это понять и использовать, но у него проблема с памятью.
В общем, сетка берет количеством, и ей даже терабайтов мало. А человек учится качеством, по крайней мере относительно сеток. Значит принципы обучения у человека несколько иные, чем у нейронной сетки.
Вот кажется, что человек дает ответы гораздо правильнее и реже ошибаются. Но мало кто думает, что человек чаще отвечает лишь тогда, когда знает ответ.
А этого чат-бота вынуждают отвечать, даже тогда, когда он не знает ответа. И если человека поставить в такую же ситуацию, то он будет давать ответы не лучше... Вспоминаем, какую чушь может нести человек на экзаменах, когда не знает предмета, или на собеседованиях, когда идет на место, в котором плохо разбирается. Как пытается связать не связываемые слова, что бы ответ был похож на правильный.
Часто упоминают, что чат-бот дает много ошибочных ответов. Но при этом забывают сравнить, а сколько не правильных ответов дает человек. На программистких форумах часто новички говорят чушь, да с опытом иногда промахиваются.
Когда говорят, что этот чат-бот не понимает, что такое правильный ответ, то так же забывают задуматься, а почему когда человек дает не правильный ответ, у него так же не возникает мысли, что его ответ не правилен.
Проблема не в том, что оно не может сейчас отвечать на вопросы. Проблема будет когда она сможет отвечать на вопросы и решать их лучше чем человек. Это лишь вопрос времени и качества алгоритмов выискивающих закономерности и их комбинаций. Что тогда останется делать человеку? Эволюционировать в овощ снабженный пищеварительным трактом? Или менять свой мозг на электронный процессор, оставив от органики опять же пищеварительный тракт? Да и этот тракт это то же лишняя деталь.
В интсрументе разработки у 1С очень много мелочей, которые неудобны своим количеством таковых. Они не сильно препятствуют разработке, скорее ее замедляют. Исправить их было бы легко, если бы на то было желание. Контора 1С предпочитает добавить какое-нибудь новое свойство, но не исправляет прежние. Там в конфигураторе то там, то сям криво нажимаются кнопки, сортировки работают выбиваясь из общей схемы или не работают, поиски самые тормозные какие я где-либо видел, и т.д., и т.п… Контора 1С не стремится сделать свой продукт хотя бы на чуть-чуть удобней в мелочах которые сделать легко. Они шевелиться будут только если появится конкурентный продукт. Сделать таковой не слишком сложно, но существенной прибыли на этом не получишь, потому что монополию от 1С перешагнуть будет сложно. Поэтому никто этим не занимается, кроме фанатов. Поэтому платформа 1С будет оставаться скучной.
Будет интересно прочитать следующую статью. Но тем не менее.
У меня отец был крановщиком, и жаловался на те же проблемы, на которые жалуются программисты — глаза и голова. А мониторов тогда в кранах не было точно. Это может болеть от зрительного напряжения, от избыточной и резкой освещености, от переизбытка кофе и сладкого или алкоголя, от переизбытка эмоций, от возраста. И любое из выше перечисленного усиливается забитостью и ослабленностью сосудов. А у некоторых эти вещи болят вообще без видимой связи с другими проблемами.
Врач условно говорит: я не знаю причин, и выяснение причины это долгий и дорогой процесс, и пациент на это может не пойдет, а по пути еще и не договаривать будет. А следствие известно, так что пока не знаем причины, будем лечить следствие. Если конечно врачу не просто пофиг и он в принципе может лечить. Ну и плюс они перестраховываются.
Вы же говорите, я изучаю проблему болячки от спектра света, я ее знаю и понимаю, значит у всех у кого болит, должно болеть именно от мною изученной темы. И всем нужно лечить именно эту причину.
В некоторых случаях действительно проще самому искать и перебирать возможные причины, если это доступный процесс — по средствам, по условиям и по доступности понимания процессов. А не дожидаться ответа от врача.
Глаза устают не только от типа освещения, но и просто от любой работы где нужно внимательно смотреть. Врачи рекомендуют разминки, зарядки для глаз, массаж для глаз. 5-10 минут аккуратно поразминать пальцами.
Я потихоньку занимаюсь разработкой алгоритмов поиска закономерностей в текстах без нейронок. Что я могу сказать: там есть структуры. Для изображений там должны быть алгоритмы отчасти похожи.
Алгоритмы такие работают очень быстро относительно нейронок. Эффективность выделения структур такими алгоритмами, логически рассуждая, выше чем у нейронок, просто потому, что точные алгоритмы всегда эффективней нейронок, если таковые сумели сделать. Это как расчет корелляции или МНК, производится за один проход и находится лучший вариант, вместо много-итерационного подхода у нейронок.
Проблема таких алгоритмов в том, что структура закономерности может быть любой конфигурации, а точный алгоритм работает лишь под определенную заложенную заранее структуру. Соответственно нужно создать достаточно много вариантов сканирования закономерностей.
Люди не любят читать сложности, особенно если это не связано с их текущей деятельностью. Но любят читать зрелищное, для впечатлений. Или злободневное. Поэтому существенно позновательное не набирает рейтинга.
Программировать не сложно. Сложно делать это лучше чем другие. Чем дальше хочешь забраться, чем больше хочешь получать за это или от этого, тем сложнее.
Если обновление выходило в 2014 году и в разделе Issue вереница не отвеченных сообщений до текущей даты, все реже и реже, и последние уже писались без надежды на ответ.
Потому что иначе оно делается так как решат разработчики компилятора. Ничем не запрещается им ее не инлайнить. С чего Вы взяли, что все лямбды обязательно инлайны? Я вот на 99% уверен, что при компиляции в отладочном режиме лямбды не инлайнятся. Опять же, зависит от компилятора.
Для уникального типа компилятор может решать инлайнить лямбду или нет.
Он может это решать для любого типа, если это не ограничено стандартом или какими-либо проблемами реализации.
А вот и нет. Нету там указателя на код, в том-то и фокус!
Лямбда замечательно организовывается в любые рекурсии. Не хвостовую рекурсию никак не заинлайнишь. Хотя указателя на код здесь не нужен, он вкомпиливается в код, а не в структуру. Если бы разработчикам компилятора было нужно по другому, им это стандарт не запрещает. Но указатель на код все равно есть, и это свойство используется в std::function.
struct Node {
Node* less = nullptr;
Node* more = nullptr;
};
Node* root = ...;
std::function<int(Node*)> countNodes = [&](Node* node) -> int {
int result = 1;
if (node->less) result += countNodes(node->less);
if (node->more) result += countNodes(node->more);
return result;
};
std::cout << "countNodes" << countNodes(root) << std::endl;
Сознательное или бессознательное, это к LLM не имеет отношения. К LLM имеет отношение точность классификации, которая может быть достигнута той или иной структурой сетки.
А так же то, какие именно правила лучше усваиваются этой структурой, а какие поплоше.
И у человека просто другое множество правил, которые природа посчитала более важными к усвоению. Отсюда и возникает такое не понимание, как такая сверх большая и умненькая сеточка, не может понять какие-либо простые вещи, зато хорошо знает термины из какой-нибудь узкой научной области.
А дальше, глядя на эти расхождения в важности правил, люди пытаются понять, чего нехватает в сетке, из того, что есть в человеке.
Но по факту, когда утверждают, что у сетки не хватает сознания, то для начала нужно определиться, что такое сознание, и как выглядит этот алгоритм. А уже потом говорить, есть это в сетке или нет.
Какую бы вещь не назвали, чего в сетке не хватает, сначала нужно определить, как эта вещь выглядить в алгоритмическом виде. А уже потом будет понятно, есть это в сетке или нет.
Симуляция человеческого мышления будет в пределе улучшения становиться именно подобием человеческого мышления, а не чем-то не человеческим.
Но вот использование такого принципа для решения задач, это не эффективно, это как делать инерпретаторы выполняемые на интерпретируемых языках, и наследуя при этом в довесок вероятности ошибок человеческого мышления.
Решение вопросов это задача решается чистым прогнозированием и классификацией, за счет улучшения качества.
Симуляция человеческого мышления может быть достигнута либо непосредственно кодируя человеческое мышление. Либо за счета выполнения задачи на решателе вопросов, указав ему задачу по симуляции человека, что уже будет инерпретация на интерпретаторе, но в обратном направлении, чем упомянутая выше.
Для начала нужно определиться, а что в действительности хотели объяснить в этой статье. Действительно ли хотят найти более качественную симуляцию человеческого мышления или все же хотят найти механизмы более качественно решающие вопросы? Это два разных вопроса.
С другой стороны, написав ту заметку, я именно сказал половику рецепта. А мне тут теперь заявляют, что я не скажу. Вот если бы этот ветеран исследований ИИ сказал бы и оставшуюся половину рецепта, то это было бы наверняка понятно, что он это сам придумал, а не пересказал то, что я написал.
Кстати, подразумевая что я знаю, я подразумевал что уже реализовал это в виде программы. От того, что это нужный алгоритм, это не означает, что он требует существенно меньше расчетов. Поэтому толком обучить это не могу, или по крайней мере за разумное время. В среднем, на одной rtx4090 у меня выходит сетка обученная с нуля, которая может связанно и без ошибок генерировать текст. Но до сверх разума тут далековато. Использовать для этого существующие открытые сетки не получится. Отчасти что они тяжеловаты для rtx4090, и отчасти что много переучивать.
Предполагаю, что если я скажу, то через пару недель, какой-нибудь другой ветеран исследований ИИ, а может и этот, выскажет свое веское мнение что нужно делать именно так. А мне останется только писать комментарий, что я же говорил... Пусть сами думают.
Кажется именно это я в своей последней заметке и упоминул. А так же еще в комментариях упомянул, что я знаю как именно это реализовать.
Основная проблема у это GPT-X, что там все не правильно сделали.
Для примера, человек не в силах в разумные сроки прочитать терабайт текста, но тем не менее многие задачи решает умнее чем эта сетка.
Чтобы учить сетку, в ней гоняют один и тот же текст много раз, пока эти знания вградиетиваются в нее. Человеку достаточно прочитать текст один раз, что бы это понять и использовать, но у него проблема с памятью.
В общем, сетка берет количеством, и ей даже терабайтов мало. А человек учится качеством, по крайней мере относительно сеток. Значит принципы обучения у человека несколько иные, чем у нейронной сетки.
У нас космические шатлы взрываются из-за ошибок в программах, при всем обилии тестов для их кода...
Вот кажется, что человек дает ответы гораздо правильнее и реже ошибаются. Но мало кто думает, что человек чаще отвечает лишь тогда, когда знает ответ.
А этого чат-бота вынуждают отвечать, даже тогда, когда он не знает ответа. И если человека поставить в такую же ситуацию, то он будет давать ответы не лучше... Вспоминаем, какую чушь может нести человек на экзаменах, когда не знает предмета, или на собеседованиях, когда идет на место, в котором плохо разбирается. Как пытается связать не связываемые слова, что бы ответ был похож на правильный.
Часто упоминают, что чат-бот дает много ошибочных ответов. Но при этом забывают сравнить, а сколько не правильных ответов дает человек. На программистких форумах часто новички говорят чушь, да с опытом иногда промахиваются.
Когда говорят, что этот чат-бот не понимает, что такое правильный ответ, то так же забывают задуматься, а почему когда человек дает не правильный ответ, у него так же не возникает мысли, что его ответ не правилен.
Проблема не в том, что оно не может сейчас отвечать на вопросы. Проблема будет когда она сможет отвечать на вопросы и решать их лучше чем человек. Это лишь вопрос времени и качества алгоритмов выискивающих закономерности и их комбинаций. Что тогда останется делать человеку? Эволюционировать в овощ снабженный пищеварительным трактом? Или менять свой мозг на электронный процессор, оставив от органики опять же пищеварительный тракт? Да и этот тракт это то же лишняя деталь.
У меня отец был крановщиком, и жаловался на те же проблемы, на которые жалуются программисты — глаза и голова. А мониторов тогда в кранах не было точно. Это может болеть от зрительного напряжения, от избыточной и резкой освещености, от переизбытка кофе и сладкого или алкоголя, от переизбытка эмоций, от возраста. И любое из выше перечисленного усиливается забитостью и ослабленностью сосудов. А у некоторых эти вещи болят вообще без видимой связи с другими проблемами.
Врач условно говорит: я не знаю причин, и выяснение причины это долгий и дорогой процесс, и пациент на это может не пойдет, а по пути еще и не договаривать будет. А следствие известно, так что пока не знаем причины, будем лечить следствие. Если конечно врачу не просто пофиг и он в принципе может лечить. Ну и плюс они перестраховываются.
Вы же говорите, я изучаю проблему болячки от спектра света, я ее знаю и понимаю, значит у всех у кого болит, должно болеть именно от мною изученной темы. И всем нужно лечить именно эту причину.
В некоторых случаях действительно проще самому искать и перебирать возможные причины, если это доступный процесс — по средствам, по условиям и по доступности понимания процессов. А не дожидаться ответа от врача.
Алгоритмы такие работают очень быстро относительно нейронок. Эффективность выделения структур такими алгоритмами, логически рассуждая, выше чем у нейронок, просто потому, что точные алгоритмы всегда эффективней нейронок, если таковые сумели сделать. Это как расчет корелляции или МНК, производится за один проход и находится лучший вариант, вместо много-итерационного подхода у нейронок.
Проблема таких алгоритмов в том, что структура закономерности может быть любой конфигурации, а точный алгоритм работает лишь под определенную заложенную заранее структуру. Соответственно нужно создать достаточно много вариантов сканирования закономерностей.
Если обновление выходило в 2014 году и в разделе Issue вереница не отвеченных сообщений до текущей даты, все реже и реже, и последние уже писались без надежды на ответ.
Потому что иначе оно делается так как решат разработчики компилятора. Ничем не запрещается им ее не инлайнить. С чего Вы взяли, что все лямбды обязательно инлайны? Я вот на 99% уверен, что при компиляции в отладочном режиме лямбды не инлайнятся. Опять же, зависит от компилятора.
Он может это решать для любого типа, если это не ограничено стандартом или какими-либо проблемами реализации.
Лямбда замечательно организовывается в любые рекурсии. Не хвостовую рекурсию никак не заинлайнишь. Хотя указателя на код здесь не нужен, он вкомпиливается в код, а не в структуру. Если бы разработчикам компилятора было нужно по другому, им это стандарт не запрещает. Но указатель на код все равно есть, и это свойство используется в std::function.