Comments 214
А как вы считаете, ведет ли текущий курс развития машинного обучения к искусственному интеллекту?
Могли мы 5 лет назад представить что появится что то подобное по возможностям, которые есть у ChatGPT? Так что думаю тут ответ очевиден. Осталось только картинку сделать с этапами развития и сноской "Вы находитесь здесь".
Вряд ли могли. Но искусственный ли это интеллект (или хотя бы путь к нему?)
Иску́сственный интелле́кт — свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека (не следует путать с искусственным сознанием); наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ.
Вот это определение из вики. Что такое интеллект человека? Это то что он переваривает события своей жизни, как то анализирует и на выходе дает что то новое. Как работает GAN? Примерно также. Обучаем модель на размеченных данных, затем модель начинает предсказывать, а мы вносим в ее предсказания какой то процент хаоса. Сейчас все упирается в ресурсы для построения модели, которая сможет также работать как и человек. Когда искусственный интеллект сравняется с возможностями человека я не знаю, может быть завтра а может быть через 10 лет. Но рано или поздно это произойдет.
Ну пример с GAN совсем частный, на мой взгляд, но в целом после последних достижений начинаю тоже склоняться к этому мнению. Просто переваривание огромного количества данных и создание определенных связей для прохождения импульсов. Выглядит, как что-то очень запутанное и сложное, но возможно воспроизводимое, если подать достаточное количество данных и обеспечить схожие условия обучения...
Нейросети, которые сейчас применяются в алгоритмах, просто изучают распределение. Тоесть ты просишь его нарисовать "Кота" а он рисует усредненого кота. Добавим к этой формуле математические приколы с шумом и вот мы можем генерировать условно бесконечное колличество разнообразных котов.
То качество, которое мы имеем сейчас, лишь следствие огромных вычислительных мощностей. Если в 2012 годах видеокарты с 1-2Tflops считались чем-то серьёзным, то сейчас моя "бюджетная" 3060 показывает под 18Tflops, а в новых поколениях уже 30Tflops лишь циферки. И это не считая того, что в современных видеокартах есть отдельные матричные ускорители, которые могут и под 200Tops иметь. Это сумасшедшая вычислительная мощность и позволяет нам в относительно разумные сроки обучить примитивные нейросети на всех возможных данных, которые человеки насобирал в интернете за всё время.
Сейчас все упирается в ресурсы для построения модели, которая сможет также работать как и человек.
Нет. Человек не обучается на терабайтах текста. Есть какая-то другая причина.
На терабайтах других данных
Почему нейросеть не обучается на терабайтах тех данных?
Потому что решает только узкоспециализированную задачу (генерация текста, нахождение объекта на картинке и тд). В этом и вопрос в статье: правильный ли это путь и будет ли просто этот узкий набор данных расширен до нужного, чтобы получить действительный искусственный интеллект
Потому что решает только узкоспециализированную задачу
Изначальное утверждение было "Сейчас все упирается в ресурсы". Я указал, что это не так. Какую задачу решает нейросеть, на верность или неверность этого утверждения не влияет.
будет ли просто этот узкий набор данных расширен до нужного
До какого нужного?) Человек не обучается на терабайтах текста, для "нужного" надо сужать.
Потому то надо как то размечать данные на которых обучают модель, а это не тривиальная задача
Не все модели обучаются с учителем, не для всех нужна разметка.
Но ключевая деталь в рассуждениях — задача нетривиальная, сейчас решается маленький частный кусочек, но парадигма расширения данных, разметки, увеличения ресурсов, условий обучения, новых моделей их комбинации и тд в теории ведь может привести к приближению к процессам, происходящим в человеческом мозге?..
Почему человек обучается на неразмеченных данных?
Человек как раз то обучается на размеченных данных.
Нет, с чего бы? Человеку приходит зрительная и слуховая информация, никакой дополнительной разметки этой информации там нет.
Разметка все-таки имеется. Мама показывает ребенку на предметы и называет их. Что-то подобное продолжается потом в школе, где рассказывают что молния бывает потому-то, а предметы падают потому-то. А потом будет профессор, наставник. А еще есть телевизор, который предлагат свою "разметку".
Где-то эта разметка идет на пользу, где-то во вред. Но сложно спорить с тем, что мы создали искусственную среду, в которой живем сами и в которой развиваются наши дети. К сожалению, человеческая жизнь слишком коротка чтобы до всего доходить своим умом.
Мама показывает ребенку на предметы и называет их.
"Называет" это входная слуховая информация. Можно подключить микрофон к нейросети и попробовать обучать, только почему-то не получается. И все равно количество таких названий гораздо меньше терабайтов.
Что-то подобное продолжается потом в школе
Дети учатся говорить и читать еще до школы.
Разная архитектура нейросетей, соотвественно разные форматы входных данных. Более того, даже в пределах "человеческих" датасетов есть очень большая разница в зависимости от возраста.
Давайте максимально просто. В человеческом языке есть слово "обучение", которое предполагает вполне однозначные действия с информацией с вполне однозначной целью. Уже само явление "обучение" уже является разметкой в том смысле, что человек понимает что в данном жизненном контексте он получает новые знания и навыки. Я уже не говорю о том, что огромное количество людей работают над тем, чтобы сделать максимально эффективные учебные материалы.
Я даже больше скажу. В некотором смысле человеческий разум можно назвать "искусственный интеллект", поскольку очень уж много мы находимся в искусственной среде и учимся не сами, а нас учат. По сравнению с дикими животными мы точно искусственные интеллекты. Это имеет свои плюсы и минусы, о которых можно очень долго рассуждать. Но я всего лишь о том, что человеческий разум развивается среди огромного количества искуственных данных, которые вполне можно назвать "размеченными данными", мое мнение.
Уже само явление "обучение" уже является разметкой в том смысле
Оно не является разметкой в том смысле, который используется при обучении нейросетей. Другие смыслы к этой теме не относятся.
Но я всего лишь о том, что человеческий разум развивается среди огромного количества искуственных данных
А я о том, что обучить по ним нейросеть все равно почему-то не получается, и их все равно не терабайты.
которые вполне можно назвать "размеченными данными"
Нет, в том смысле, в котором размечают исходные данные для обучения нейросети, их назвать нельзя. Для нейросетей разметка это дополнительный канал информации, отдельный от входных данных. И человеку большинство этих названий сообщают когда он уже чему-то обучился, может разговаривать и задавать вопросы.
А я о том, что обучить по ним нейросеть все равно почему-то не получается, и их все равно не терабайты.
Я уже об этом говорил выше: разные архитектуры нейросетей, разные форматы входных данных. Однако, вы правильно акцентируете внимание на том, что компьютерным нейросетям нужно миллионы повторений, а человеку достаточно один раз наступить на грабли чтобы этого больше не делать. Вместе с тем, правильно разложенные грабли (учебные материалы) помогают еще лучше чем случайно разбросанные. Все люди учат детей, а не полагаются на то что ребенок сам до всего дойдет.
Нет, в том смысле, в котором размечают исходные данные для обучения нейросети, их назвать нельзя. Для нейросетей разметка это дополнительный канал информации, отдельный от входных данных.
Если чисто технически подходить к вопросу, я с вами соглашусь, есть такое в размеченных данных. Однако, называть "неразмеченные данные" учебник по алгебре и опыт построения песчаной пасочки - это тоже перебор. Учебник по алгебре - это размеченные данные для человека ИМХО. Или предложите свое определение.
Я уже об этом говорил выше: разные архитектуры нейросетей, разные форматы входных данных.
Этот аргумент используется как магия, а потому не имеет смысла. "Там одна магия, тут другая магия, фиг его знает почему оно так работает".
(учебные материалы) помогают еще лучше
Все люди учат детей, а не полагаются на то что ребенок сам до всего дойдет.
Я уже про это сказал. Обучение в школе происходит уже после того, как ребенок научился говорить и в большинстве случаев читать. Про обучение нейросети в школе речи пока не идет.
Однако, называть "неразмеченные данные" учебник по алгебре и опыт построения песчаной пасочки — это тоже перебор.
Во-первых, я их так не называю, я вообще про учебники не говорю. Я говорю про то, чему человек обучается в первые 3 года жизни.
Во-вторых, да, в контексте данного разговора это неразмеченные данные. Они ничем не отличаются от изображения собаки или дерева, это просто набор пикселей.
Или предложите свое определение.
Есть общепринятое определение.
The model is trained on the training data set using a supervised learning method, for example using optimization methods such as gradient descent or stochastic gradient descent. In practice, the training data set often consists of pairs of an input vector and the corresponding output vector, where the answer key is commonly denoted as the target (or label).
Я говорю про то, чему человек обучается в первые 3 года жизни.
Похоже мы нашли корень разногласий в нашем разговоре. Ранее вы писали просто про человека, без этого важного уточнения.
Потому что, если говорить о человеке вообще, то без "размеченных данных", а по простому "обучения", человека не получится. Есть множество примеров. Биологически это будет человек, но нас ведь интересует то, что у него в голове.
Причем, даже в первые 3 года человек получает огромное количество данных, предназначенных специально для него. Если он чего-то не понимает, ему покажут пальцем. Т.е. социальная среда не только формирует "размеченные данные", но еще проводит диагностику в реальном времени. Годами.
Поэтому, предлагаю определиться, мы говорим о человеке или о живом существе, для формирования которого действительно не требуются "размеченные данные".
Ранее вы писали просто про человека, без этого важного уточнения.
Да это как бы очевидно. Разговор же не про то, чтобы обучать нейросеть в школе, значит нужно достичь хотя бы дошкольного уровня. Обучение человека в школе предполагает, что он уже владеет речью и понимает что ему говорят, а также в какой-то степени понимает логикой, потому что объяснение чего-то ее подразумевает.
Если он чего-то не понимает, ему покажут пальцем.
Ну так что мешает показать пальцем нейросети? Только почему-то она так не обучается, нужны терабайты текста.
предлагаю определиться, мы говорим о человеке или о живом существе
Мы говорим об этом утверждении:
"Сейчас все упирается в ресурсы для построения модели, которая сможет также работать как и человек".
В таком случае, это действительно сугубо практическая дискуссия. Я так понимаю, про человека вы упомянули чтобы показать пример невероятно быстрого обучения. Рискну предположить, что я правильно вас понял и продолжу.
На мой взгляд, человеческая нейросеть является гораздо более специализированной и чем те нейросети, которые мы тренируем с нуля на компьютере. Поэтому мы так успешны в освоении физического мира.
Кроме того, поток данных, который в нас поступает гораздо больше, чем просто картинка. Кубик для человека - это не просто проекция трехмерного объекта на сетчатку глаза, это еще и объект, который можно пощупать, почувствовать шероховатость поверхности, прикинуть вес на руке. Картинка на сетчатке приобретает гораздо больше смысла. И естественно в этом случае, для обучения требуется гораздо меньше примеров. Т.е., искусственным нейросетям нужны дополнительные каналы получения информации, на мой взгляд. Это конечно увеличивает объем данных, но может сработать работать принцип "лучше один раз увидеть чем сто раз услышать, лучше один раз пощупать чем сто раз увидеть".
Я так понимаю, про человека вы упомянули чтобы показать пример невероятно быстрого обучения.
Я показал пример обучения с другими характеристиками — в частности, требуется меньший объем исходных данных.
человеческая нейросеть является гораздо более специализированной и чем те нейросети
Ну опять какая-то магия, которая магически решает все непонятные моменты, ну что ты будешь делать)
Вы утверждаете, что человеческая нейросеть специализирована на использование современного смартфона?
Если нет, тогда умение его использовать это результат обучения по входным данным. Даже если есть какие-то врожденные общие абстракции.
Кроме того, поток данных, который в нас поступает гораздо больше, чем просто картинка.
Ага, я ждал упоминания про это. Человек, который является незрячим от рождения, тоже учится говорить к 3-4 годам. То есть для обучения достаточно аудиоданных за 3 года, и возможно немного данных осязания. Размер MP3 хорошего качества за 3 года это примерно 1.6 Тб данных. А если перевести слова в текст, то гораздо меньше.
Я показал пример обучения с другими характеристиками — в частности, требуется меньший объем исходных данных.
Посмотрел нашу дискуссию не нашел такого. Не могли бы напомнить, пожалуйста?
Вы утверждаете, что человеческая нейросеть специализирована на использование современного смартфона?
Я такого не утверждал. Более того, возьмусь утверждать обратное: смартфон спроектирован таким образом, чтобы человеку было удобно на нем работать. По крайней мере в теории.
То есть для обучения достаточно аудиоданных за 3 года, и возможно немного данных осязания.
Мне сейчас пришло в голову, что у человека есть еще кое-что: он сам во многом формирует входной поток данных. Если это не делать, а просто подключить человеческий мозг к серсорам без возможности обратной связи, то мы получим в лучшем случае идиота, в худшем труп.
Ребенок крутит кубик в руках, пока для него это что-то новое. Но когда ребенок узнает все свойства кубика, ему становится неинтересно и он переключается на что-то новое. Т.е., нейросеть человека чувствует степень понимания и переключается на что-то новое, если достигнуто полное понимание. Кроме того, есть еще и физические потребности.
Возможно нужен подобный механизм и для обучения компьютерных нейросетей. Как этого добиться, пока не знаю, если интересно, давайте вместе думать.
Посмотрел нашу дискуссию не нашел такого.
"Человек не обучается на терабайтах текста."
Более того, возьмусь утверждать обратное: смартфон спроектирован таким образом, чтобы человеку было удобно на нем работать.
Это не обратное, а совсем другое утверждение.
В контексте разговора есть 2 взаимоисключающих утверждения — "Человек имеет врожденное умение пользоваться смартфоном" и "Человек обучается умению пользоваться смартфоном".
Удобно или неудобно, к этому не относится. Неудобным смартфоном тоже можно научиться пользоваться.
Мне сейчас пришло в голову, что у человека есть еще кое-что: он сам во многом формирует входной поток данных.
Это не меняет набор исходных данных. Человек по ним обучается, значит нейросеть должна уметь так же. Как она будет это делать, это ваша забота как ее разработчика, пусть формирует если нужно.
В контексте разговора есть 2 взаимоисключающих утверждения — "Человек имеет врожденное умение пользоваться смартфоном" и "Человек обучается умению пользоваться смартфоном".
Узнал об этом только через поиск. Это вы с другим собеседником обсуждали.
Это не меняет набор исходных данных.
Как раз в том то и дело что менят. Попытаюсь объянить на таком примере. У человека есть шкаф с книгами. Нормально, когда он читает то что ему интересно и тогда он будет брать книги в произвольном порядке. Другой вариант - когда человека лишили возможности выбора и заставили читать все книги в шкафу слева направо, ряд за рядом. В каком случае будет больше пользы для человека, думаю что ответ очевиден. У нейросети хоть и нет психики, но что-то мне подсказывает, что если удастся создать программный механизм управления вниманием и нейросеть будет выбирать какие данные смотреть и какие действия делать чтобы получить обратную связь, это могло бы одним махом решить проблему которую мы здесь обсуждаем.
Как она будет это делать, это ваша забота как ее разработчика, пусть формирует если нужно.
Вы меня приняли за разработчика нейросетей, спасибо :)
Я не разработчик нейросетей, я просто разработчик, который иногда использует нейросети в работе и активно интересуется этим вопросом.
Это вы с другим собеседником обсуждали.
Ну так вы же в этой ветке и начали отвечать.
Это не меняет набор исходных данных.
Как раз в том то и дело что меняет.
Нет. Независимо то того, что происходит с данными внутри системы, снаружи от этого больше данных не начнет приходить. "Исходные" это те, которые приходят снаружи.
нейросеть будет выбирать какие данные смотреть
это могло бы одним махом решить проблему которую мы здесь обсуждаем
Нет, если механизмы обработки у человека и у нейросети разные, проблему количества данных это не решит. Вы фактически просто предложили сократить обучающую выборку для нейросети.
Нейросеть работает не на магии и сама ничего не выбирает, любой механизм выбора в каком-то виде закладывается программистом. Это фактически и есть обучение, разговор о нем и идет, у человека он по каким-то причинам более эффективен.
Вы меня приняли за разработчика нейросетей, спасибо
Я предложил вам представить себя разработчиком нейросетей в рамках предложенного примера.
То что я предлагаю в принципе уже известно и называется "обучение с подкреплением", когда нейросеть взаимодействует со средой, получая обратную связь. Благодаря этому за каждый этап обучения нейросеть получает уникальный опыт. Даже при одинаковом поведении нейросети ничто не мешает добавлять в среду элементы рандомизации. А поведение будет разным, об этом мы позаботимся при помощи начальной настройки.
Главный вопрос в том, как обеспечить грамотное управление вниманием. Если что, именно это я имел в виду, когда говорил про "управление вниманием" для сокращения обучающей выборки.
Главный вопрос в том, как обеспечить грамотное управление вниманием.
Как бы да, но нет. То что вы предлагаете, просто сокращает размер данных для анализа. Это может сделать и человек при формировании обучающей выборки. Но почему-то это не работает.
Возможно вы меня не поняли. При обучении с подкреплением нет понятия "обучающая выборка", а есть понятие "среда обучения".
Это неважно. Вы просто уменьшаете размер данных, принципиально ничего не меняется, значит и результат не изменится. Возьмете подмножество текущих входных данных, получите подмножество текущих результатов.
Еще раз. Обучение с подкреплением, это не просто уменьшение набора данных. Это вообще не статическая выборка. Нейросеть действительно действует и получает обратную связь от среды. Эта обратная связь является обучающими данными. И от "действий" нейросети зависит какие именно данные она получит от среды.
Можно еще образно выразиться, что нейросеть лучше оценивает свое состояние чем человек и лучше "понимает" что ей лучше для достижения цели, а что нет. В этом конечно может быть потенциальная опасность, но это уже не относится к теме дискуссии.
Чтобы не быть совсем голословным, напомню, что известные Alpha Go, Alpha Start от Open AI - это именно обучение с подкреплением. И проект продолжает развиваться:
Еще раз. Обучение с подкреплением, это не просто уменьшение набора данных. Это вообще не статическая выборка.
Еще раз, я не говорил, что обучение с подкреплением это статистическая выборка. Я говорил про ваш механизм управления вниманием, независимо от того, где вы хотите его применять.
Чтобы не быть совсем голословным, напомню, что известные Alpha Go, Alpha Start от Open AI — это именно обучение с подкреплением.
Я это знаю, моим словам это не противоречит.
Эта обратная связь является обучающими данными.
Вот я и сказал, ваш "механизм управления вниманием" просто сокращает набор этих данных. Раньше она анализировала больше данных, а с ним будет выбирать и анализировать меньше.
Вот я и сказал, ваш "механизм управления вниманием" просто сокращает набор этих данных. Раньше она анализировала больше данных, а с ним будет выбирать и анализировать меньше.
Так ведь и в нашей голове ничего принципиального иного не происходит. И кстати, "моего" механизма управления вниманием не существует. То что о чем я говорю, это не столько решение, сколько конкретизация постановки задачи.
Так ведь и в нашей голове ничего принципиального иного не происходит.
Откуда вы знаете?) Если бы это было так, мы бы давно получили сильный ИИ при обучении с учителем, и обучение с подкреплением было бы не нужно, ведь в этом случае выборку подготавливает человек с использованием своего механизма внимания, и там вся информация заведомо полезна.
И кстати, "моего" механизма управления вниманием не существует.
"Ваш" было использовано со смыслом "из вашего примера", "тот, про который вы говорите".
Примерно так можно рассуждать и про путешествие к звездам. Почему мы до сих пор не полетели к ним, ведь ракеты мы уже запустили в космос. Только вот масштабы задачи пока не сопоставимы с нашими возможностями.
Живые существа миллиарды лет эволюционировали, чтобы создать нейросеть, которая способна быстро обучиться. Это можно сказать наша (живые организмы) специализация, быстро обучаться. Очень может быть что за это приходится расплачиваться, например плохой памятью, но мне сложно об этом судить, поскольку не с чем сравнивать.
Возможно нам не стоит создавать кремниевую копию биологического существа с плохой памятью, а сосредоточиться на задачах, которые мы хотим решить. Например ИИ гораздо лучше человека справляется с задачей распознавания лиц.
И я очень даже допускаю, почти убежден, что сильный ИИ у которого не будет "наследия" биологических нейросетей будет гораздо сильнее сильного ИИ который будет копировать работу нашего мозга.
TLDR: все не так просто.
Примерно так можно рассуждать и про путешествие к звездам. Только вот масштабы задачи пока не сопоставимы с нашими возможностями.
Рассуждать можно, только есть наблюдаемые отличия. С человеком у нас точно есть пример, что для обучения не нужны терабайты текста, а с полетом к звездам таких примеров нет.
миллиарды лет эволюционировали, чтобы создать нейросеть, которая способна быстро обучиться
Ну так мы же о том и говорим, что может быть врожденным, а что результатом обучения, и как повторить это в нейросети. Какая разница, сколько длилась эволюция, мы говорим про свойства конечного результата.
Возможно нам не стоит создавать кремниевую копию биологического существа с плохой памятью, а сосредоточиться на задачах, которые мы хотим решить.
В контексте создания сильного ИИ задача в том, чтобы сделать существо со способностью выполнять любые задачи аналогично человеку.
будет гораздо сильнее сильного ИИ который будет копировать работу нашего мозга.
Да вроде нет разговора о том, чтобы обязательно копировать работу, разговор о том, чтобы получить результат как минимум не хуже того, который бы получил человек.
Просто конкретно в плане обучения человек пока что действует лучше, для обучения ему нужно меньше информации.
Какая разница, сколько длилась эволюция, мы говорим про свойства конечного результата.
Вот еще один пункт наших разногласий. Вы говорите про свойства конечного результата.
А я говорю: а чего говорить об этих свойствах, они и так давно известны, давайте лучше подумаем как этих свойств достичь.
Вы играете словами. Я тоже говорю про то, как этих свойств достичь. "Говорим про свойства" это более общее описание для "Говорим, как этих свойств достичь". Сколько длилась эволюция, в любом случае не имеет значения.
Отлично, похоже мы смогли выйти на общие рельсы. Выше я уже описал свои соображения, причем разными словами по нескольку раз (надеюсь не надоел). Каковы ваши предложения?
Не понимаю, предложения о чем?) Мое предложение искать механизм обучения, который даст характеристики, как минимум такие же как у человека. Различие явно есть, и мы точно не знаем почему.
Мама показывает ребенку на предметы и называет их.
Но стоит заметить что изначально, в момент начала цивилизации, никто не показывал людям на предметы, сами как то придумали их называть.
Вроде бы не совсем так и многое в мозге "вшито" на уровне структуры. Я немного интересуюсь темой и даже сформулировал (научно не проверенную, сразу говорю! Это просто размышления на уровне ощущений) гипотезу о врождённом восприятии изображений.
Если кратко, полагаю что в результате эволюции у человека есть "врожденная обученность" нейросетки на такие объекты как лица, руки, половые органы, фигуры людей и животных, соты пчёл (привет трипофобам), колючие предметы, зрачки глаз, отражающие свет (две красных точки в пещере).
Врожденное восприятие не может научить человека играть в игру на смартфоне или говорить на каком-то языке. Люди этому учатся без терабайтов текста.
Это разные уровни обобщения. А вот сам синтаксис несвязанных языков может зависеть от видовых особенностей мозга. Вроде даже такая теория была.
Тогда бы дети-маугли могли нормально выучить язык в любое время. А это не так, старших детей научить языку практически невозможно.
Вообще не доказательство, т.к. есть вполне изученное явление, называющееся "сензитивными периодами", объясняющее почему дети-маугли не могут освоить язык взрослыми. И не только язык.
Сензитивный период развития — период в жизни человека, создающий наиболее благоприятные условия для формирования у него определенных психологических свойств и видов поведения.
Ну это как раз и подтверждает мои слова. Навык речи формируется во время развития, а не является врожденным.
Как аргумент "Это разные уровни обобщения" что-то доказывает, тоже неясно. Ну разные, и что? Нейросеть все равно не получается так обучить.
Я, видимо, неверно донёс свою мысль. Если кратко, то у человека, судя по некоторым данным есть "предобученная эволюцией" нейронная сеть.
А те нейронки, которые создают люди внутри ЭВМ они как бы "чистый лист".
Но я не спец в этих вопросах, это лишь моё предположение.
Если кратко, то у человека, судя по некоторым данным есть "предобученная эволюцией" нейронная сеть.
Ну так я на это и ответил, если бы она была в таком большом объеме, дети-маугли бы обучались языку в любое время. А раз есть периоды развития, значит обучение языку связано с развитием.
Я снова не могу донести до вас мысль (или вы не хотите её услышать и пытаетесь конраргументировать совершенно другой).
Приведу аналогию:
Форма струнных инструментов из различных независимо развивающихся культур по всему миру связана с анатомией человека как вида. И грубо говоря представляет собой резонатор, палку и струну собранных воедино так, что на них удобно играть используя верхние конечности. Говоря иначе, форму инструмента определяет анатомия нас как вида.
А вы мне говорите, что если гитару удобно держать в руках, то все должны иметь врожденное умение играть на ней.
Это абсурд! Я ж не с потолка взял идею о том, что устройство мозга (вероятно) порождает схожесть синтаксисов разных языков. Вот:
Среди множества опубликованных статей и книг, Хомский известен в мире психологии своей знаменитой теорией овладения языком. В этой лингвистической теории он утверждает, что мы рождаемся с врожденной способностью говорить и что процесс овладения языком основан на изучении языковых структур и грамматики.
И да синтаксис это не то же самое что грамматика. Синтаксис позволяет донести информацию о том что "Мама мыла раму вчера" на разных языках, в т.ч. жестовым и азбукой Морзе, иероглифами и т.п.
Но вот чтобы понимать иероглифы, и складывать буквы в слова и предложениия уже нужен процесс обучения.
Я снова не могу донести до вас мысль
Я уже понял вашу мысль и привожу аргументы почему она неверна.
А вы мне говорите, что если гитару удобно держать в руках, то все должны иметь врожденное умение играть на ней.
Это вы говорите про врожденные умения. Я говорю, что умение играть на гитаре не является врожденным, независимо от того, насколько ее удобно держать.
Я ж не с потолка взял идею о том, что устройство мозга (вероятно) порождает схожесть синтаксисов разных языков.
Я с этим и не спорю. Я говорю о том, что изучение конкретного языка происходит во время развития, а не является врожденным. Гитару удобно держать в руках, но это не дает вам врожденное умение играть на ней.
И да синтаксис это не то же самое что грамматика.
К тому, о чем я говорю, это не имеет отношения. Человек может изучить синтаксис или грамматику любого языка, значит ни один из них не является врожденным.
Окей. Я только всего хотел сказать, что некорректно считать человека "tabula rasa" в плане обучения.
Сама структура мозга определяет поведение организма направляя обучение по детерминированному пути. В научпоп фильме "Лицо человека" 2001 года от BBC упоминается о том, что в теплокровных имеется встроенная, работающая автоматически система распознавания лиц. Можно считать её аналогом некой заранее обученной нейросети которая работает как фильтр данных. Простите за формулировки, не специалист.
Но главное я хочу донести суть, новорожденный это не бесформенная мешанина нейронов и синапсисов, это "машина" созданная чтобы с первых секунд жизни начать "впитывать" культуру в которую она помещена.
Я только всего хотел сказать, что некорректно считать человека "tabula rasa" в плане обучения.
Обучение использованию современных предметов это именно tabula rasa, независимо от количества врожденных знаний о других понятиях.
имеется встроенная, работающая автоматически система распознавания лиц
Ой да пусть работает, я не понимаю, что вы пытаетесь этим доказать. Врожденного умения пользоваться смартфоном все равно принципиально быть не может. Это умение приобретается в результате обучения по входным данным.
это "машина" созданная чтобы с первых секунд жизни начать "впитывать" культуру в которую она помещена
Ну так разговор же как раз о механизме "впитывания".
Современные предметы сделаны под человека и человеком, это производные нашей культуры. Некоторые дети осваивают использование смартфона до того как научатся говорить.
Вот если бы у нас было нечто, являющееся произведением инопленетной культуры, возможно бы ни один человек за жизнь не смог научиться пользоваться этим. И даже бы не понял предназначения этого предмета.
Отчасти это демонстрирует то, что многие поколения физиков шли к пониманию структуры вещества и конца и края у этого познания не видно. Вот наглядная демонстрация того как затруднено обучение чего-то сделанного не для человека и не являющегося предметом его непосредственной среды. (Структура вещества, космологические процессы, математические абстракции и т.п.)
Современные предметы сделаны под человека и человеком, это производные нашей культуры. Некоторые дети осваивают использование смартфона до того как научатся говорить.
Извините, я снова не понимаю, что вы пытаетесь доказать этим аргументом. Какой вывод вы делаете из этих фактов?
То, что они рано обучаются использовать смартфон, говорит в пользу моей точки зрения, а не вашей.
Вот наглядная демонстрация того как затруднено обучение чего-то сделанного не для человека
Почему вы считаете, что причина в "сделанности для человека", а не в количестве и сложности знаний? Вроде очевидно же, больше знаний и взаимосвязей между понятиями — сложнее изучить.
Недавно слушал лекцию, что за "язык" отвечают конкретные гены, и когда модифицировали мышей, добавив им "наши гены речи", их язык стал на порядок сложнее.
Тоесть да, там внутри просто структура которая очень эффективно обучается именно этой вещи. И все эти потоки обработки заданы генами.
biomolecula.ru
"Ген, который оксфордские ученые локализовали на 7-й хромосоме, в последующем был назван FOXP2. Он активен в мозге, а также в легких и кишечнике. FOXP2 — это один из множества генов-регуляторов, относящихся к семейству FOX-генов. На основе гена синтезируется фактор транскрипции, который не участвует напрямую в биохимических процессах, но зато может взаимодействовать с десятками и сотнями промоторных областей других генов и регулировать их активность."
Это не ген конкретно речи, он просто улучшает обучаемость и управление мелкими движениями. Никаких потоков он не задает.
У всех животных есть базовая нейронка с уже предобучеными весами. Причём у простых животных она буквально задаёт поведение. В нашем же случае она лишь помогает в обучении и добавляет стимулы.
Вот пример простой. Допустим у нас есть типо "зеркальные нейроны" которые пытаются повторить то что они увидели, в двигательном плане. Ты маленький, тебе говорят "смотри вверх" и поднимают голову. Ты не понимаешь ещё ничего но ты уже посмотрел вверх. Повторив это пару раз твой мозг закрепил абстракцию что на эту фразу нужно поднимать голову. И после лишь слыша эту фразу ты будешь поднимать голову.
Это работает даже с совсем маленькими детьми, но так как в их голове хаос, они могут либо затупить либо сделать это с запозданием.
— Человек не обучается на терабайтах текста
— На терабайтах других данных
— Почему нейросеть не обучается на терабайтах тех данных?
— Потому что надо их размечать
— Почему человек обучается на неразмеченных данных?
— Потому что есть предобученые веса и "зеркальные нейроны" которые пытаются повторить то что они увидели, в двигательном плане
Извините, я не понимаю, что вы хотите сказать этим комментарием в контексте предыдущего диалога. Разметка данных, которая помогает выучить язык без терабайтов текста, находится в предобученных весах и зеркальных нейронах? То есть прямо понятие "смартфон" там заложено? Или все-таки вы подтверждаете, что человек обучается на неразмеченных данных?
Для всех участвующих в этом диалоге. Вы вообще представляете, как устроена разметка данных для обучения с учителем? Есть нейросеть со входом и выходом, ей задается вход, например графическая информация, и выход, то есть какая конкретно реакция должна быть у конкретных выходных нейронов. Вы видели, чтобы человеку при обучении кто-то задавал реакции конкретных нейронов? Это технически невозможно. Чтобы слова языка были такой разметкой, надо сначала их выучить без разметки. А животные живут в лесах вообще без использования речи, при этом бегают между деревьями и отличают дерево от озера.
По факту это всё методы с подкреплением, только в данном случае за "метрики" отвечают какие-то отдельные нейросети. Обучается мы на неразмеченных данных, да, но выводы делаем в зависимости от подкрепления. Если после того как ребёнок съев салат заимеет болезненны понос, он не будет больше есть салаты.
В случае же с социальными животными есть целые предобученные нейросети которые отвечают за это ваше подкрепление, что бы ты делал что-то вместе с сородичями. А учитывая как работает биологические нейросети это огромный баф к обучаемости, ты просто делаешь тоже самое что и твой сосед и сразу закрепляешь тяжёлую абстракцию.
То есть научить одинокое животное что надо покрутиться на месте что бы получить еду можно, но если мы будем показывать видео как это делает кто-то другой из его вида, он не догадается повторить ибо его мозги тупо это не умеют. (У людей ребёнок первое время вообще только за матерью следит, у нас обучение в несколько этапов идёт, тип)
*по крайней мере я не читал про обратное
UPD У некоторых животных есть даже предобученные куски которые помогают учится им охотится. Ты видишь как что-то шевелится, сразу хочется есть. Есть ты знаешь как, начинаешь тыкать в движущихся объект, понимаешь что оно съедобное, конец.
Обучаемся мы на неразмеченных данных, да
Тогда непонятно, чему вы возражаете. Про обучение с подкреплением я не говорил.
но если мы будем показывать видео как это делает кто-то другой из его вида, он не догадается повторить
Это не так, собак дрессируют на примере других собак.
Собаки социальные животные, бери в пример именно несоц-одиноких животных. Именно социальность позволяет животным отличять себя от других или копировать себе подобных или чужих. (Про видео)
Причём некоторые высшие соц функции могут присутствовать у совершенно глупых животных. По типу что голубь может себя в зеркале от других отличить, а какой-нибудь кот нет. (Эксперименты с зеркалом спорная тема, но как пример)
Вы можете сформулировать, что хотите доказать? Что понятие смартфона и навыки работы с ним заложены в генах и зеркальных нейронах? Если нет, тогда все равно требуется обучение новым навыкам и понятиям, которые не заложены в генах.
Если честно, я был бухим в стельку пока это писал. Ахах.
Но моя мысль в том что в генах уже есть чертежи архитектуры, которые и позволяют крайне быстро получать навыки. Бывают настолько эффективные связки что животные уже с рождения знают как ходить, а бывают абсурдные связи которые позволяют за пару событий научится что-то делать. Потому если бы наша нейросеть работала прям как чистый лист, это бы с трудом объясняло некоторые специфичные моменты в поведении.
которые и позволяют крайне быстро получать
Ну так это и означает, что процесс обучения работает эффективнее. Не в генах задана куча знаний, а задан механизм обучения, который позволяет их быстро получать.
Потому если бы наша нейросеть работала прям как чистый лист
Я говорю не о том, что она работает как чистый лист, а о том, что ее механизм обучения более эффективен, чем у компьютерных нейросетей, независимо от того, сколько там врожденных знаний.
А можно немного вклинится?
Человека обучает другая нейросеть(сети, других людей), которая пытается скопировать (с разной степени успешности) свое устройство и состояние в новую.
С компьютерными сетями мы проводим процедуру раскрутки всего нужного прямо из окружающей среды. Т.е. делаем то, что все человечество делало ну очень долгое время, прежде чем до текущего состояния дошло. И обработалось при это наверняка сильно больше терабайта.
Если же рассматривать именно процесс копирования и правки уже существующей компьютерной нейросетки (те перенос существующего знания в потомка) - то там тоже совсем не тарабайты, вроде, требуются.
Причем 'потомок' - оно может быть даже ближе к происходящему, чем кажется. Вон, люди, работающие со Stable Diffusion научились в буквальном смысле получать гибрид сетей, тренерованных отдельно на разных данных.
Понятия не имею, почему это работает, но работает, если у обоих сетей есть какой-то достаточно близкий общий предок. Т.е. можно считать, что для них определилось понятие биологического вида, в пределах которого возможно скрещивание. И сейчас идет активная эволюция, которая стремится создать сети, лучшим образом соответствующих среде (т.е. желаниям людей, эти сети использующих).
Человека обучает другая нейросеть(сети, других людей), которая пытается скопировать (с разной степени успешности) свое устройство и состояние в новую.
Почему тогда человек не может обучить компьютерную нейросеть? Наверно потому что она не понимает его так, как человек? То есть причина находится в нейросети, а не в том, кто кого обучает.
И обработалось при это наверняка сильно больше терабайта.
Может и обработалось, только в генах оно быть задано не может. Информационная емкость ДНК примерно 800 Мб.
те перенос существующего знания в потомка
то там тоже совсем не терабайты, вроде, требуются
Если бы это было так, давно бы уже взяли обученную нейросеть и дообучили до сильного ИИ. Не говоря уже о том, что у человека приобретенные им знания в потомков не передаются. А у нейросети и передаются, и результата уровня человека почему-то нет.
Человек обучается на информации своих чувств: зрение слух обоняние итд. Создатели ChatGPT пытаются достичь схожего результата скармливая терабайты текста...
Ну так о том и речь, почему ChatGPT не может обучиться на информации с камеры и микрофона?
Еще раз, потому что мало скормить данные с камеры или микрофона, надо скормить размеченные данные.
Еще раз, человеку данные никто не размечает, он обучается по неразмеченным данным гораздо меньшего объема. Поэтому "построение модели, которая сможет также работать как и человек" упирается не в ресурсы, а в что-то еще.
Вы трогаете включенный утюг, вам больно - вы говорите ой - разметили данные?
Вы видите машину, вам говорят это машина - разметили данные?
Вы услышали странные звуки - вам сказали это Моргенштерн - разметили данные?
Зашли на кухню, учуяли вкусных запах - вам сказали это вискарь - разметили данные?
Вы видите машину, вам говорят это машина
"Говорят" — это просто слуховая информация. Почему не получается для нейросети так размечать данные?
разметили данные?
Нет, это не какая-то "разметка данных", приходящая дополнительно с данными, а сами данные.
Мы с Вами как то ходим по кругу. У вас есть дети? Как вы своего ребенка учите окружающему миру?
У меня нет детей, и на верность моих утверждений это никак не влияет. Любое обучение человека другим человеком происходит исключительно через восприятие информации через органы чувств с момента рождения, никакой дополнительной разметки в этой информации нет. Но нейросеть так обучить нельзя.
Тут вопрос в том, как сказано в одной книжке, музыка в проигрывателе или в пластинке. Человека вы обучить языку можете, а вот мартышке сколько ни вдалбливай грамматику, ничего не выйдет.
Но помимо развитой структуры мозга в нём заложена ещё и какая-то врождённая "база знаний" об окружающем мире на уровне ROM. Мы об этом кое-что знаем, но явно недостаточно, и трудно сказать, сколько знаний нужно иметь в ROM, чтобы обучение человека человеком срабатывало. Может, "обучение" -- это всего лишь мелкий тюнинг, а базовое знание там уже лежит, поэтому так быстро обучиться и получается.
Может, "обучение" — это всего лишь мелкий тюнинг
Разных языков десятки, в том числе настолько разных как язык жестов и азбука Морзе, и человек может обучиться любому, поэтому мелким тюнингом это быть никак не может.
А умение играть в тетрис на смартфоне принципиально не может быть врожденным.
А может, это некая аберрация восприятия? Вам кажется, что между китайским и каким-нибудь исландским пропасть, а на практике это всё ерунда по сравнению с тем куском мозга, который между нами и мартышкой. А любой человеческий язык, при всех их различиях, всё равно человеком придуман.
Аналогично, тетрис ровно потому и хит, что его можно освоить за пять минут, т.е. дистанция между "базовой прошивкой" и пониманием тетриса очень короткая. А можно вообразить себе "марсианский тетрис", который марсианин с нуля освоит за пять минут своим марсианским мозгом, а мы будем тыкаться и всё без толку.
Вам кажется, что между китайским и каким-нибудь исландским пропасть, а на практике это всё ерунда по сравнению с тем куском мозга, который между нами и мартышкой
А это неважно. Если есть такие общие принципы, заложенные эволюцией, которые позволяют выучить любой язык, то это и есть то, чего не хватает нейросети. Раз они позволяют выучить любой язык, в том числе придуманный недавно, то ни с каким конкретным конкретным языком они не связаны, а связаны с каким-то более общими концепциями. А также есть механизмы, которые во время обучения связывают эти концепции с навыком конкретного языка.
А можно вообразить себе "марсианский тетрис"
Без конкретики это аргумент к магии.
т.е. дистанция между "базовой прошивкой" и пониманием тетриса очень короткая
Так вопрос-то в том, почему она короткая, хотя во врожденной базе знаний этих знаний быть не может. Значит есть какой-то механизм обучения от базовых знаний к тетрису.
Ну, вот у меня тут странная роль. С одной стороны, я согласен, что нынешней нейросети крайне далеко до мозга, но с другой стороны, было бы странно пенять ей на то, что в неё изначально заложены другие знания.
Ребёнок лет пяти без проблем активно знает несколько сотен слов (как минимум), а понимает ещё больше, а невербально так вообще хорошо ориентируется в сложных вещах. А вы попробуйте заставить его выучить хотя бы таблицу умножения трёхзначных двоичных чисел. Это всего-то несколько десятков элементов, а произносить надо только "ноль" и "один". Чем же это труднее условного русского языка?
Так что никакой магии: мозг исходно обладает всем готовым материалом для быстрого освоения языка и не обладает материалом для зазубривания нескольких десятков простых элементов, хотя с какой стороны ни посмотри, вторая задача куда проще.
Соответственно, дистанция до тетриса короткая потому, что тетрис объективно очень недалеко ушёл от исходной прошивки. Какое отношение тетрис имеет к ней я, естественно, не знаю, но любому из нас не составит никакого труда придумать с десяток очень сложных для ребёнка задач, которые любая нейросеть пощёлкает на раз и наоборот -- ровно потому, что для нейросети дистанция обучения в любую сторону одинакова, а мы в мир приходим уже с готовыми знаниями, которые почему-то оказываются похожими на тетрис.
что в неё изначально заложены другие знания
Какие это другие? Что нейросеть не знает язык, что новорожденный ребенок. Что у нейросети нет понятия "смартфон", что у ребенка.
Чем же это труднее условного русского языка?
Много чем, хотя бы тем, что слова он учил не все сразу по таблице, но не вижу смысла подробно это разбирать.
мозг исходно обладает всем готовым материалом для быстрого освоения языка и не обладает материалом для зазубривания нескольких десятков простых элементов, хотя с какой стороны ни посмотри, вторая задача куда проще.
Ох, ну все таки придется разобрать. Слова он учил несколько месяцев, таблицу умножения надо запомнить за несколько дней. Слова привязаны к наблюдаемым образам, числа не привязаны ни к чему. Слова могут появляться в любом порядке, в таблице умножения AxB всегда должно давать C. Слова заметно различаются, числа состоят из одинаковых цифр. Слова запоминаются по отдельности, таблица умножения парами. Возможных пар (AxB, C) для запоминания тут много, количество перестановок от 64, а правильных только 64. Если смотреть со стороны ресурсов, необходимых для запоминания, то не проще.
Если вы назовете цифры в разных позициях разными слогами, и вместо обычных названий предметов будете называть тройки слогов, соответствующих "А,B,C", то он выучит эти тройки за это же время. Только не будет понимать, что это таблица умножения.
Это разные задачи, поэтому нет никакого готового материала для первой, просто вторая задача сложнее.
а мы в мир приходим уже с готовыми знаниями, которые почему-то оказываются похожими на тетрис
Ну вот, опять какая-то магия, которая непонятно как работает, но конечно же всё объясняет. Это неинтересно.
Возможный набор таких готовых знаний крайне ограничен, поэтому обучение в любом случае играет большую роль. Ну заложите в нейросеть понятия "существительное", "прилагательное", "глагол" и попробуйте обучить. Все равно не получится владение речью на уровне трехлетнего ребенка.
Что у нейросети нет понятия "смартфон", что у ребенка.
Это вам / нам так кажется. Смартфон изначально разработан "под человека", чтобы быть интуитивно понятным. Да, смартфонов нет в природе, но он намеренно заточен под то, чтобы им можно было овладеть быстро, т.е. на какие-то "пред-знания" он опирается.
Если смотреть со стороны ресурсов, необходимых для запоминания, то не проще.
Я не согласен с анализом выше. Не надо обсуждать пары и сроки. У ребёнка обычно есть какие-нибудь книжки с картинками типа "животные". Вы тыкаете ему на картинку и говорите: это белочка, это зайчик! После двух зайчиков он прекрасно сам ткнёт на картинку другого размера, цвета и отзеркаленную, и скажет, что это тоже зайчик. Хотя для нейросети это будет большой вызов. И таких картинок легко с полсотни наберётся.
Если же вы дадите ему книжку, где на каждой странице будет написано что-то типа "101x011" и скажете, что это "1111", то увидите, что ситуация куда сложнее, чем с зайчиками, хотя шрифт будет один и тот же, и никаких поворотов и зеркалирования.
Ну вот, опять какая-то магия, которая непонятно как работает, но конечно же всё объясняет. Это неинтересно.
Тут нет никакой магии, достаточно принять за данность, что любая игра изначально разрабатывается под массу особенностей мозга, которые и воспринимают игру увлекательной. У тетриса низкий порог входа, но "порог входа" -- это довольно субъективное понятие, которое изначально отталкивается от того, что заложено в мозг. Собаке интересно бегать и приносить мячик, а нам с вами неинтересно. Что ж тут магического, если я скажу, что мозг у собаки другой, и интересно ему другое?..
Возможный набор таких готовых знаний крайне ограничен, поэтому обучение в любом случае играет большую роль.
Обучение играет огромную роль, но нам очень трудно отделить в случае ребёнка те знания, которые были в голове изначально, от тех, которые мы туда вложили. Как раз ссылка на то, что в голове нет "смартфона" или "глагола" довольно наивна: в голове даже у дошкольника прекрасно имеются падежи, а в школе ему уже постфактум объясняют, что же такое у него в голове. Формально обучение, реально разметка уже имеющегося.
Смартфон изначально разработан "под человека", чтобы быть интуитивно понятным.
Ох, ну сколько можно) Да пусть он хоть 10 раз интуитивно понятен, если понятие "смартфон" и умение его использовать не задается врожденно, значит оно приобретается в процессе обучения по входной информации. А врожденными в этом случае могут быть только какие-то базовые понятия, которые напрямую со смартфоном не связаны. А значит есть механизм обучения, который их связывает.
т.е. на какие-то "пред-знания" он опирается
Да нет, он может опираться и на способность быстро обучаться.
Не надо обсуждать пары и сроки.
Ну как это не надо, вы же для этого этот пример и предложили) Сказали, что слова учатся легко и быстро, а числа сложно и долго.
то увидите, что ситуация куда сложнее, чем с зайчиками
Да, я же написал несколько причин, почему она сложнее.
он прекрасно сам ткнёт на картинку другого размера, цвета и отзеркаленную, и скажет, что это тоже зайчик
хотя шрифт будет один и тот же, и никаких поворотов и зеркалирования
Если там нет поворотов и отзеркаливания, каким образом тогда эти примеры аналогичны?
Если вы покажете надпись "101x011" и скажете, что это "зазазазайчик", а потом покажете отзеркаленную надпись, то ребенок вам тоже скажет, что это "зазазазайчик".
Если вы покажете 64 зайчика, которые отличаются незначительными деталями типа формы ушей, и дадите каждому разное имя, то ребенок тоже их все не запомнит.
Абсолютно аналогичное поведение, которое объясняется объемом информации и ресурсами для ее запоминания и отличия.
Тут нет никакой магии
Магия это ваше "почему-то". Почему-то помогают быстро обучаться, фиг знает что это за знания, даже предположений никаких нет, но они точно помогают.
Что ж тут магического, если я скажу, что мозг у собаки другой, и интересно ему другое?
В мячике магического нет, это наблюдаемый факт. А неизвестные "знания", которые неизвестно как помогают, это описание магии.
но нам очень трудно отделить в случае ребёнка те знания, которые были в голове изначально, от тех, которые мы туда вложили
Да нет, мы совершенно точно знаем, что врожденного знания языка ни у кого нет. Врожденное представление о действиях, возможно, хотя я с этим не согласен. Но не языка с конкретными правилами.
Как раз ссылка на то, что в голове нет "смартфона" или "глагола" довольно наивна
Нет, понятия смартфона там точно быть не может, так как он появился недавно, и не мог закрепиться в генах всех людей. Это просто логика. А если есть что-то другое, более абстрактное, значит есть и механизм обучения по входной информации, который их связывает.
в голове даже у дошкольника прекрасно имеются падежи
Так откуда они появились-то?) В процессе обучения. Какая разница, что там происходит потом в школе, мы говорим не про тот момент, а про этот.
умение его использовать не задается врожденно, значит оно приобретается в процессе обучения по входной информации.
Ну это как бы очевидно, да. Но вы можете оценить объём требуемого для этого дела обучения? Если представить себе книжку "смартфон для чайника" на 100 страниц -- это же не "100 страниц обучения" на практике, а 100 страниц обучения + та информация, которая уже заложена в мозге, в т.ч. от рождения, не так ли?
Если там нет поворотов и отзеркаливания, каким образом тогда эти примеры аналогичны?
Это вы льёте воду на мою мельницу: зайчики сложнее, потому что их ещё зеркалят.
Если вы покажете 64 зайчика, которые отличаются незначительными деталями типа формы ушей, и дадите каждому разное имя, то ребенок тоже их все не запомнит. Абсолютно аналогичное поведение, которое объясняется объемом информации и ресурсами для ее запоминания и отличия.
Это отличное соображение, но если вы и вправду хотите уйти от "магии", то давайте измерять объём информации в том, в чём его измерять полагается, а именно в битах. И попробуйте прикинуть, сколько данных хранится в таблице умножения размером 7x7 элементов (включая нулевые) а сколько в датасете с зайчиками.
Почему-то помогают быстро обучаться, фиг знает что это за знания, даже предположений никаких нет, но они точно помогают.
Во-первых, если мы чего-то не понимаем досконально, это не значит, что этого нет. Во-вторых, примеры такого "пред-знания" широко известны, например, даже очень маленькие дети боятся проползти по стеклянному полу между двумя приподнятыми поверхностями, даже если они раньше никогда не падали с высоты. То есть ребёнок от рождения "знает", что падать с высоты это плохо. "Магия" -- это как раз предполагать, что в нашей ДНК хранится информация о том, как вырастить руки, ноги, печень и глаза, а также отделы мозга, управляющие лёгкими и сердцем, но при этом по какой-то "магической" причине полностью вычищена информация, отвечающая за контент других участков мозга, напр., коры.
Да нет, мы совершенно точно знаем, что врожденного знания языка ни у кого нет.
У человека нет врождённого конкретного языка, но более чем вероятно, что есть врождённый "метаязык", о котором писали Хомский, Пинкер и иже с ними. Соответственно, обучение языку -- это настройка метаязыка под конкретную ситуацию данного региона, а это совсем не то же самое, что обучение с нуля.
А если есть что-то другое, более абстрактное, значит есть и механизм обучения по входной информации, который их связывает.
Смартфона нет, более абстрактное есть. Весь спор на самом деле исключительно про объём требуемой информации, чтобы понять о том, как использовать конкретный смартфон. С моей точки зрения этот объём значительно меньше, чем можно было бы себе вообразить.
Так откуда они появились-то?) В процессе обучения.
Прикол в том, что они появились на основе крайне маленькой, грязной и хаотически составленной выборки. Такого результата у нейросети никогда не будет, если ей не дать уже готовую "болванку", в которой есть некий "шаблон" языка.
Но вы можете оценить объём требуемого для этого дела обучения?
Конечно. Пробуем представить, сколько концепций, использующихся в смартфоне, было 1000 лет назад (чтобы они могли закрепиться в генах), получаем примерный объем знаний, который приобретается при обучении. Даже если предполагать, что они есть, то их объем ну максимум 10%, остальные 90 приобретаются при обучении. 10% это те действия, которые со смартфоном может сделать человек, уивдев его в первый раз — покрутить, нажать на выступы, потрогать пальцем гладкую поверхность. Даже взаимодействие с визуальными элементами скорее всего не является врожденным. Были опыты на котятах, где им после рождения закрывали один глаз чтобы он не открывался, и в клетках для этой стороны не появлялись реакции на стимулы (перепад яркости, наклон). Также есть информация про людей с отклонениями, они могут обучиться частично видеть предметы через осязание с помощью специальных приборов.
а 100 страниц обучения + та информация, которая уже заложена в мозге, в т.ч. от рождения, не так ли?
Нет, я же сказал, может быть и так, что всё приобретается в результате обучения. Даже есть есть какие-то врожденные базовые концепции, обще для всех предметов, их слишком мало, чтобы это учитывать.
Я не вижу смысла дальше обусждать магию. Составьте конкретный список концепций, которые вы считаете врожденными, и мы придумаем эксперименты, которые это подверждают или опровергают.
зайчики сложнее, потому что их ещё зеркалят
Так это вы считаете, что это сложнее, а я говорю, что распознавание может быть устроено так, что это проще. Просто нейросети работают не так.
Опять же, я привел пример с отзеркаливанием чисел, по вашим словам это должно быть еще сложнее, чем просто числа, а фактически так не получается.
размером 7x7 элементов (включая нулевые)
Если числа трехбитные, то вроде должно быть 8x8? Я потому и написал 64 зайчика.
то давайте измерять объём информации в том, в чём его измерять полагается, а именно в битах
И попробуйте прикинуть, сколько данных хранится в таблице умножения
Эм, нет, надо учитывать еще и ресурсы, необходимые для запоминания. Нейроны не представляют числа в виде битов. У них на входе набор пикселей, и их размер в битах одинаковый и для чисел и для зайчиков. Далее из них выделяется какое-то подмножество информации, и может быть так, что одно подмножество запомнить легче, чем другое.
Из того, что можно прикинуть, на входе количество графической информации одинаковое, на выходе 64 пары (зайчик-имя) и 64 пары (строка AxB — строка С). Тоже примерно одинаковое, и оценочная сложность задач сопоставимая.
Количество бит на хранение абстрактных концепций "зайчик" и "строка в таблице умножения" не считаем, они просто сводятся к одному термину для обозначения и для самого примера ничего не дают. В примере используются 64 экземпляра этих абстракций, которые отличаются формой ушей или значков.
Во-первых, если мы чего-то не понимаем досконально, это не значит, что этого нет.
Да, но для рассмотрения нужны хотя бы какие-то предположения. Иначе это как чайник Рассела.
Во-вторых, примеры такого "пред-знания" широко известны
То есть ребёнок от рождения "знает", что падать с высоты это плохо.
Ну так я про это и говорю, те примеры, которые известны, слишком абстрактны и с современными приборами не связаны. Это всё в том или ином виде можно захардкодить в нейросеть.
"Магия" — это как раз предполагать, что в нашей ДНК хранится информация о том, как вырастить руки
но при этом по какой-то "магической" причине полностью вычищена информация, отвечающая за контент
Но ведь контент и схема выращивания это не одно и то же) Для схемы нужно гораздо меньше информации, а для контента надо прописать каждую связь между нейронами. Причина не магическая, а вполне понятная — если информацию можно приобрести в результате обучения, незачем ее хранить в ДНК. Вернее наоборот, в процессе эволюции не было причины, чтобы она закрепилась в ДНК. Какие-то абстрактные вещи да, которые не требуют много информации, например в вашем примере разный параллакс точек при взгляде вниз связан с ощущением страха.
Соответственно, обучение языку — это настройка метаязыка под конкретную ситуацию данного региона, а это совсем не то же самое, что обучение с нуля.
Я уже про это писал. Объем концепций, которые общие для разных языков, крайне ограничен, и их все можно захардкодить в нейросети. Только все равно нормальной речи не получается, нейросеть периодически несет чушь. Информация не берется их ниоткуда, либо она явно прописана в генах, либо явно появляется при обучении. А раз человек может обучиться любому из существующих языков, в генах может быть только то, что есть между ними общего. Это все прекрасно можно оценить и составить примерный список. Если вы на это ссылаетесь без указания списка, то это списывание на магию, а потому неконструктивно.
С моей точки зрения этот объём значительно меньше, чем можно было бы себе вообразить.
Еще раз, это неважно. Больше, меньше, этап обучения все равно есть, и повторить его в нейросети на том же уровне пока не получается.
Прикол в том, что они появились на основе крайне маленькой, грязной и хаотически составленной выборки.
Да, я про это и сказал. Человек не обучается на терабайтах текста, значит есть какое-то значимое отличие от нейросети.
то их объем ну максимум 10%, остальные 90 приобретаются при обучении.
Да. Или, наоборот, 90 на 10, это столь же обоснованная оценка.
Составьте конкретный список концепций, которые вы считаете врожденными, и мы придумаем эксперименты, которые это подверждают или опровергают.
Это будет очень трудно сделать, т.к. ребёнок с рождения моментально окунается в информационную среду. Но, например: эмоциональная реакция на тот или иной цвет, форму, тактильное ощущение (приятно/неприятно/опасно). Повышенное внимание ко всему, что ощущается как образ человека, особенно лицо. Повышенное внимание ко всему, что похоже на человеческую речь (звуки, по тембру и громкости соответствующие нормальному голосу). Эмоциональная реакция на громкость и частоту. Реакция на попытку привлечь внимание (тыкаем пальцем куда-то -- ребёнок быстро приучается туда смотреть, а вот обезьяна нет, хотя, казалось бы, не rocket science).
Я повторюсь, тут вопрос не в магии, а в том, что "база" для многих подобных явлений просто не имеет названия. Вот мы знаем, что ребёнка очень легко научить поворачивать голову туда, куда мы пальцем тычем, и это, казалось бы, гораздо проще умение, чем то, что делает дрессированная собака. Однако же собака такому научиться не может. Почему так? По моему пониманию, человеческий мозг изначально подготовлен такого рода вещь выучить. И тут явно не 10% генетики и 90% обучения, тут 90% генетики, хотя как её назвать, чтобы не казалась магией? Пусть будет "способность выучить указующий жест", отсутствующая у собаки и прочих животных. (Прочитал только что, что некоторые животные таки научаются, но это настолько экзотика, что попадает в обычную прессу).
Далее из них выделяется какое-то подмножество информации, и может быть так, что одно подмножество запомнить легче, чем другое
Ну и кто теперь магию предлагает? Попробуйте выделить подмножество для зайчиков. Я уж молчу о том, что для записи вида 111x110 вам хватит участка 4x4 пикселя на каждый символ, т.е. мы имеем картинку 28x4 ч/б точек, т.е. 112 бит информации на всё про всё.
Для схемы нужно гораздо меньше информации, а для контента надо прописать каждую связь между нейронами.
Это снова рассуждение о том, где музыка -- в проигрывателе или в пластинке. Да, конечно, иной проигрыватель очень прост. Но не вижу причин, почему не может быть наоборот -- информации с гулькин нос, а обработчик навороченный.
если информацию можно приобрести в результате обучения, незачем ее хранить в ДНК.
Вот у животных так не работает. В ДНК хранить выгодно, т.к. родившись, особь сразу может сама себя обеспечить, т.к. от природы знает, как прокормиться и согреться. Стратегия человека очень гибкая, но выгода от неё достаётся весьма высокой ценой. Поэтому в принципе в ДНК логично грузить всё, что может считаться более-менее постоянным в нашем мире.
Это все прекрасно можно оценить и составить примерный список. Если вы на это ссылаетесь без указания списка, то это списывание на магию, а потому неконструктивно.
К сожалению, это нельзя всё "прекрасно оценить", потому что лингвистика до сих пор весьма примерно представляет себе объёмы. Скажем, простой пример. Мы знаем, что в русском языке порядок слов свободный, их можно переставлять. Однако не произвольный: что-то переставлять можно, что-то нельзя. Мельчук (вроде бы) в 90-х годах пытался составить каталог правил "линеаризации", и получилось как-то много, сложно, и не факт, что исчерпывающе. Или, скажем, правила использования частиц типа "да", "же", "ну". Мы довольно мало знаем о том, как работают механизмы вспомогательных частей речи и насколько он опирается на одинаковый фундамент. Да и как проверить такое? Если в языке их нет, это может означать, что механизм в голове просто "спит".
Да. Или, наоборот, 90 на 10, это столь же обоснованная оценка.
Я же изложил там причины этой оценки. Какие есть причины у вашей?
Это будет очень трудно сделать, т.к. ребёнок с рождения моментально окунается в информационную среду.
Ну я и говорю, в таком случае это используется как магия. Неизвестно что, даже не знаем, но совершенно точно помогает в обучении.
Но, например: эмоциональная реакция на тот или иной цвет, форму, тактильное ощущение (приятно/неприятно/опасно). Повышенное внимание ко всему, что ощущается как образ человека, особенно лицо.
Ок, что конкретно из этого помогает в изучении смартфона?
Я уже в третий раз повторяю, да, я про это тоже говорил. Это очень базовые концепции, и даже если их считать врожденными, до использования смартфона все равно нужно большое количество обучения. Можете захардкодить все эти понятия в нейросети, сложность ее обучения для игры на смартфоне принципиально не изменится.
И тут явно не 10% генетики и 90% обучения
Так это была оценка для использования смартфона, при чем тут реакция на тыкание пальцем?) Для этого будет другая оценка.
Я повторюсь, тут вопрос не в магии, а в том, что "база" для многих подобных явлений просто не имеет названия.
А я повторюсь, что это не имеет значения, до использования смартфона все равно нужно большое количество обучения. Любые понятия, которые помогают использовать смартфон, могут быть только базовыми, которые существовали 1000 лет назад. Назовите их "Навык 1", "Навык 2" и дайте подробное описание, составьте список хотя бы основных врожденных навыков, которые по вашему мнению помогают использовать смартфон. Если сделаете, то такой аргумент это не магия, если не сделаете, то магия. Все просто.
Ну и кто теперь магию предлагает?
Я не предлагаю, это просто общее описание процесса, подтверждающееся многими примерами. Телефон из 9 одинаковых цифр запомнить проще, чем из разных, хотя количество цифр одинаковое.
Я уж молчу о том, что для записи вида 111x110 вам хватит участка 4x4 пикселя на каждый символ, т.е. мы имеем картинку 28x4 ч/б точек, т.е. 112 бит информации на всё про всё.
Кому хватит?) У ребенка входная картинка не 4x4 пикселя, это просто факт. Именно об этом и был тот абзац, некорректно для оценки использовать количество битов для чисел в компьютере, так как в примере их распознает не компьютер.
Это снова рассуждение о том, где музыка — в проигрывателе или в пластинке.
Нет, это рассуждения о количестве информации в указанных местах. Считать ее музыкой или нет, в этом примере роли не играет.
Но не вижу причин, почему не может быть наоборот — информации с гулькин нос, а обработчик навороченный.
Да я вообще-то именно это и говорю, врожденной информации мало, а обучение происходит в результате обработки входной информации.
В ДНК хранить выгодно, т.к. родившись, особь сразу может сама себя обеспечить, т.к. от природы знает, как прокормиться и согреться.
Серьезно, в ДНК зайца записаны расположения деревьев, которые он может погрызть?) Если нет, тогда какое это имеет отношение к разговору? Все равно в дополнение к базовым понятиям требуется обучение, что вон та штука вкусно пахнет и ее можно погрызть, и как до нее дойти, не стукнувшись башкой об другую штуку. В который раз повторяю, ну захардкодьте все эти базовые понятия в нейросеть, если все так просто, то сразу изобретете сильный ИИ. Обучение с учителем по обучающей выборке это в общем-то и была такая попытка.
Мы знаем, что в русском языке порядок слов свободный, их можно переставлять.
Ок, вы предложили пример концепции, которая может быть врожденной. Далее рассуждаем. Человек может выучить и английский, где порядок слов более строгий, значит этот навык никак не может быть задан в генах, иначе его было бы выучить невозможно (если возможно, то гены опять же роли не играют, и эти концепции можно извлечь из входной информации). И вообще бы английский с такими правилами не появился, людям было бы проще использовать язык со свободным порядком. Итого, факты говорят против этой версии.
Я уже в третий раз повторяю, да, я про это тоже говорил. Это очень базовые концепции, и даже если их считать врожденными, до использования смартфона все равно нужно большое количество обучения.
Да в том и дело, что вы это повторяете, но обоснования нормального нет. То есть вы рассуждаете в таком ключе: смартфон квадратный, стеклянный, с кнопкой. Этого ничего изначально в голове нет, а есть только "абстракции", значит, львиная доля нужных для понимания смартфона знаний получается при обучении.
Проблема в том, что вы можете прикинуть количество требуемого обучения, но как же вы оцените то, что уже заложено? Да, у вас есть некие соображения, но они же чисто умозрительные, и основаны только на некоей интуиции.
Ок, что конкретно из этого помогает в изучении смартфона?
Например, если бы человек хорошо умел различать от природы оттенки цветов, то можно было бы построить интерфейс, где чуть более красная кнопка означала одно, а чуть менее красная -- другое. (А вот научить человека отличать оттенки можно, но это надо специально обучать). Не было бы круглых или квадратных кнопок. Не было бы иерархических меню, если бы человек не был склонен от природы к иерархическому мышлению. Можно было бы использовать разные шрифты на кнопках -- и это были бы разные кнопки. Строка "EШ" шрифтом Arial -- ОК, шрифтом Times -- Cancel. Список можно продолжить и дальше. Допустим, он с вашей точки зрения составляет 10%, но это же оценка из головы.
при чем тут реакция на тыкание пальцем?) Для этого будет другая оценка.
Ну потому что почти любое приложение начинается с обучалки, где ваше внимание будут привлекать к разным кнопкам и меню: вот, смотрите сюда, здесь будет то, а вон там будет это. Или смартфон ради смартфона, но без GMail, например?
Серьезно, в ДНК зайца записаны расположения деревьев, которые он может погрызть?) Если нет, тогда какое это имеет отношение к разговору?
А что, деревьями мир ограничивается? В ДНК зайца записано как рыть норы, а это совершенно нетривиальное занятие. А уж паук от природы может такую сеть сплести, которую я до сих пор не осилю.
Человек может выучить и английский, где порядок слов более строгий, значит этот навык никак не может быть задан в генах, иначе его было бы выучить невозможно
Какой "этот навык"? Навык в том, что на порядок слов накладываются ограничения. Это мы знаем от природы. Далее уже идёт настройка -- в русском ограничений меньше, в английском больше. Выучить ограничения -- это уже дело техники, когда у вас в голове заложена машинка для быстрого "вылавливания" таких ограничений из потока входных данных.
Да в том и дело, что вы это повторяете, но обоснования нормального нет.
Ну как это нет, вот оно.
"понятия смартфона там точно быть не может, так как он появился недавно, и не мог закрепиться в генах всех людей"
"Пробуем представить, сколько концепций, использующихся в смартфоне, было 1000 лет назад (чтобы они могли закрепиться в генах), получаем примерный объем знаний, который приобретается при обучении."
Проблема в том, что вы можете прикинуть количество требуемого обучения, но как же вы оцените то, что уже заложено?
Вот так:
"Пробуем представить, сколько концепций, использующихся в смартфоне, было 1000 лет назад (чтобы они могли закрепиться в генах), получаем примерный объем знаний, который приобретается при обучении."
Например, если бы человек хорошо умел различать от природы оттенки цветов, то можно было бы построить интерфейс
При чем тут какие-то гипотетические ситуации? Вопрос про конкретные наблюдаемые навыки человека.
Вы либо можете предложить пример таких навыков для конкретного примера со смартфоном, пусть даже не всех, но дающих хотя бы половину результата, либо это аргумент к магии.
Не было бы круглых или квадратных кнопок.
Не вижу оснований для такого вывода. Могли бы быть круглые кнопки незначительно отличающихся оттенков.
Не было бы иерархических меню, если бы человек не был склонен от природы к иерархическому мышлению.
Ну так иерархическое мышление используется не только в смартфонах, этот навык общий для всех предметов, о чем я и говорю.
Опять же непонятно, как связаны иерархические меню с игрой в тетрис на смартфоне. Или там с шашками, человек может их изучить примерно с такой же легкостью.
Допустим, он с вашей точки зрения составляет 10%, но это же оценка из головы.
Нет, это примерный результат наблюдений людей, которые увидели смартфон в первый раз. Давайте я еще раз повторю обоснование.
"10% это те действия, которые со смартфоном может сделать человек, увидев его в первый раз — покрутить, нажать на выступы, потрогать пальцем гладкую поверхность. Даже взаимодействие с визуальными элементами скорее всего не является врожденным."
"Врожденный" навык, значит не требуется обучение, значит им можно пользоваться сразу. Но этих базовых действий значительно меньше половины. Всё то, чему нужно обучать и показывать, не задано в генах.
Ну потому что почти любое приложение начинается с обучалки
Ну и пусть, я говорил про ваше высказывание "тут явно не 10% генетики". Я и не говорил, что в тыкании пальцем есть 10% генетики. Тыкание пальцем можно считать 100% врожденным, и оно входит в те 10% врожденных навыков, котрые используются при игре в смартфон.
А что, деревьями мир ограничивается?
Конечно нет, я вроде ничего против этого не говорил. Не могу же я перечислять в комментарии миллион примеров.
В ДНК зайца записано как рыть норы, а это совершенно нетривиальное занятие.
Ну так это тоже относится к моему аргументу. В ДНК не может быть записано "рыть нору конкретно в этом холме", значит для принятия такого решения зайцу нужны некоторые навыки, приобретаемые в рантайме в среде с конкретным рельефом.
Какой "этот навык"?
Который вы привели в пример, связанный как бы то ни было со свободным порядком слов.
Навык в том, что на порядок слов накладываются ограничения.
Это какое-то абстрактное описание, он задает отношение "должен" между абстрактными понятиями "порядок слов" и "ограничения". Они требуют предварительного обучения, мне даже сложно представить как это может быть задано в генах. Что конкретно он дает родившемуся существу? Тут есть 2 взаимоисключающих значения — порядок свободный и порядок не очень свободный, и оба прекрасно изучаются, поэтому склонности ни к одному из них у человека нет.
Выучить ограничения — это уже дело техники, когда у вас в голове заложена машинка для быстрого "вылавливания" таких ограничений из потока входных данных.
Если бы это было так, дети-маугли могли бы изучить человеческий язык в любое время, у них же уже есть эта машина.
"Пробуем представить, сколько концепций, использующихся в смартфоне, было 1000 лет назад (чтобы они могли закрепиться в генах), получаем примерный объем знаний, который приобретается при обучении."
А, ну если так, да пожалуйста: Держать в руке. Нажимать. Наклонять. Вперёд-назад. Было - сделали - стало (т.е. казуальность). Вибрирует. Звуковые сигналы. Цветовые сигналы.
Я могу, естественно, продолжить этот ряд, но так ясно, о чём речь. Проблема в том, что я могу (с потолка) сказать, что такого рода штуки составляют 90% понимания смартфона, а вы скажете, что 10%, и вряд ли мы сможем к чему-то прийти.
При чем тут какие-то гипотетические ситуации? Вопрос про конкретные наблюдаемые навыки человека. Вы либо можете предложить пример таких навыков для конкретного примера со смартфоном,
Ну так это в том же ряду, что и другое: иерархии, умение отличать формы от природы, но довольно слабое умение различать похожие цвета и т.д. -- по моему разумению, вокруг этого строится 90% user experience смартфона.
"10% это те действия, которые со смартфоном может сделать человек, увидев его в первый раз
Вот мне это представляется крайне наивным подходом к оценке. Человек, в первый раз увидевший ложку, тоже промахнётся ей мимо еды и мимо рта. Обучив его за пару дней еде ложкой, можно тоже заявить, что вон оно, обучение: ничего не умел, а теперь умеет всё! Но вы не сможете научить пользоваться ложкой собаку вообще. Потому что почти всё умение пользоваться ложкой заключено в наших генах, в умении в принципе манипулировать инструментом с помощью руки. А "подстройка" под ложку -- это уже тривиальная задача для нейросети, которая изначально на такие случаи рассчитана.
Это какое-то абстрактное описание, он задает отношение "должен" между абстрактными понятиями "порядок слов" и "ограничения". Они требуют предварительного обучения, мне даже сложно представить как это может быть задано в генах.
Увы, если бы всё было так просто, лингвисты давно уже бы описали какого сорта ограничения бывают между какого типа словами. Если совсем грубо, то входные данные, попадая в мозг, "магическим образом" раскидываются по категориям и ограничениям. Мы видим это эмпирически, но не знаем, какого сорта категории (типы слов) и какого сорта ограничительные правила бывают. Знаем, конечно, в простых случаях, но дальше уже идут чистые гипотезы. Поэтому так и абстрактно всё.
Если бы это было так, дети-маугли могли бы изучить человеческий язык в любое время, у них уже уже есть эта машина.
Хехе, ну так ровно наоборот же. Дети-маугли не могут изучить ровно потому, что у них эта генетическая машинка выключается, и всё. А как раз обучение в рамках культуры -- это тот процесс, которым мы занимаемся всю жизнь более-менее успешно, так что если бы проблема была в обучении, можно было бы дообучить кого угодно. А тут машинка сломалась, и сколько ни пытайся её настроить, ничего не выходит.
Проблема в том, что я могу (с потолка) сказать, что такого рода штуки составляют 90% понимания смартфона, а вы скажете, что 10%, и вряд ли мы сможем к чему-то прийти.
Нет. "90% понимания смартфона" означает, что у человека есть 90% финальных навыков использования смартфона, для которых не требуется обучение. А это не так, действий, которые с ним можно сделать без обучения, гораздо меньше, чем возможных, под которыми понимается использование смартфона. Отсюда и оценка 10%.
Ну так это в том же ряду
Повторю, был приведен конкретный примером со смартфоном. Если вы на него возражаете, значит должны привести конкретные примеры врожденных навыков, которые доказывают вашу точку зрения. Ни гипотетические, ни в том же ряду, не имеют значения. Как и текущая фаза Луны. В качестве аргумента могут быть только те навыки, которые связаны с этим примером. Если их нет, это объяснение магией, в соответствии с бритвой Оккама нет никаких причин считать эту версию верной. Процесс обучения точно есть, какие-то помогающие знания в большом количестве далеко не факт. Насколько я понимаю, вы вообще строите всё рассуждение только на предположении, что процесс обучения нейросети уже достаточно оптимальный, и там ничего нельзя значительно улучшить.
Человек, в первый раз увидевший ложку, тоже промахнётся ей мимо еды и мимо рта. Обучив его за пару дней еде ложкой, можно тоже заявить, что вон оно, обучение: ничего не умел, а теперь умеет всё!
Ну дак это так и есть, в соответствии с моей позицией это тоже пример быстрого обучения.
Но вы не сможете научить пользоваться ложкой собаку вообще. Потому что почти всё умение пользоваться ложкой заключено в наших генах, в умении в принципе манипулировать инструментом с помощью руки
Нет, это потому что у собак кисть не так устроена, она не может брать ложку.
Если бы там было умение манипулировать инструментом, значит было бы и умение манипулировать ложкой, и не надо было бы учиться ей пользоваться.
А вот команде "апорт" собаку можно научить, зубы палку могут брать. Обучение командам это кстати тоже хороший пример. По-вашему, у собак в генах есть склонность к речи, раз они начинают понимать команды на любом языке?
Увы, если бы всё было так просто, лингвисты давно уже бы описали какого сорта ограничения бывают между какого типа словами.
Ну так сложность это еще один аргумент в пользу того, что это не может быть задано в простых структурах типа генов.
Если совсем грубо, то входные данные, попадая в мозг, "магическим образом" раскидываются по категориям и ограничениям.
Поэтому так и абстрактно всё.
Так эти абстракции это результат обобщения конкретных данных в рантайме. Тут никакой магии нет, есть данные, в них выделяются общие черты, результат сохраняется в конкретных нейронах, ну или связях. А как это сохранить в генах, где конкретных нейронов нет, и адресации у нейронов нет, это непонятно. В генах могут быть только характеристики, общие для группы будущих нейронов, а не конкретные веса.
Дети-маугли не могут изучить ровно потому, что у них эта генетическая машинка выключается, и всё.
Ну вот, опять какая-то магия) Как же она выключается, она же задана в генах, нейроны уже развились по ней, и между ними есть нужные связи.
так что если бы проблема была в обучении, можно было бы дообучить кого угодно
Да нет, тут как раз и могут вступать в силу процессы, общие для многих нейронов. Например, первое время у нейронов организма обучаемость высокая, потом полученный опыт закрепляется, и обучаемость падает. И как мы знаем из биологии, оно так и происходит.
Давайте подытожим. В пользу версии с обучением говорят следующие факты. Отличия наблюдаются в процессе обучения, и по скорости, и по качеству. Информационная емкость генов слишком мала, чтобы там можно было хранить миллионы понятий, и схема такого хранения неясна. Попытки запихнуть много знаний в нейросети не приводят к сильному ИИ.
Какие факты говорят в пользу версии с большим количеством врожденных знаний?
что у человека есть 90% финальных навыков использования смартфона, для которых не требуется обучение. А это не так,
Ну как же это можно утверждать? Вполне вероятно, что умение отличить круглое от квадратного и понимание иерархий и казуальности и составляет 90% "финальных" навыков, необходимых для смартфона.
значит должны привести конкретные примеры врожденных навыков, которые доказывают вашу точку зрения.
Ну я уже привёл и неоднократно: казуальность, круглое/квадратное и т.п. Чего ж тут гипотетического? Повторюсь, представьте себе интерфейс, без иерархии, вот просто 100 кнопок в ряд. Или где одна кнопка отличается от другой лишь оттенком красного, и без подписей.
всё рассуждение только на предположении, что процесс обучения нейросети уже достаточно оптимальный,
Да нет, почему же. Я всего лишь говорю, что нам от природы досталась уже некоторым образом сконфирурированная нейросеть, и её базовые свойства заслуживают куда большего внимания, чем может казаться.
Нет, это потому что у собак кисть не так устроена, она не может брать ложку.
Не думаю. Вы можете привязать ложку к морде, это ничего не даст (хотя она может поймать мячик на лету, а я нет, так что с координацией всё у неё прекрасно). Вы можете дать ложку человеку с болезнью Паркинсона, у которого с кистью тоже всё в порядке, а вот нейросеть работает не так, как у здорового.
По-вашему, у собак в генах есть склонность к речи, раз они начинают понимать команды на любом языке?
"Речь" и "команды" -- это совершенно разного уровня умение, не вижу связи. "Команды" можно отдавать просто свистками разной тональности, и это будет работать не хуже.
Так эти абстракции это результат обобщения конкретных данных в рантайме. Тут никакой магии нет, есть данные, в них выделяются общие черты, результат сохраняется в конкретных нейронах,
Как бы да, но это вариант картинки How to draw an owl. Вот у нас есть элементарные частицы, они сталкиваются вот так, и поэтому Вася любит Машу. Как бы да, но непонятно, как оно именно работает. И тут та же история -- как бы всё на виду: есть нейроны, вроде бы "там всё", потому что больше негде. Но это и 200 лет назад можно было бы предположить, а дьявол в деталях.
) Как же она выключается, она же задана в генах, нейроны уже развились по ней, и между ними есть нужные связи.
Неа! В том и беда, что не развились. Если у ребёнка нет в нужном возрасте потока входной речевой информации, нужные нейронные связи не образуются. Генетическая информация это всего лишь информация, а программа должна быть запущена. Ей нужна, например, еда. Если недоедать, можно получить умственную неполноценность. А ещё нужен входной поток через органы восприятия, без этого тоже не работает. (В частности, зона Брока будет недоразвита).
Первое время у нейронов организма обучаемость высокая, потом полученный опыт закрепляется, и обучаемость падает
Вот как бы да, "высокая", "падает". А у ребёнка есть "критический период" обучение в котором необходимо, а если его нет, то дальше будет не "менее эффективно", а вообще не получится, или слабо и с большими усилиями.
Давайте подытожим.
Да, но: 1) обучение, безусловно, есть, и в случае человека его роль огромна, это не оспаривается; 2) про достаточность информационной ёмкость генов мы сказать мало чего можем, т.к. мы не знаем, сколько на самом деле там понятий. Это для вас понятий "миллионы", потому что для вас есть "красный телефон самсунг 2012 года", и варьируя вот эти три параметра (год/красный/бренд) вы можете получить массу вариантов, но это не значит, что в голове всё вот именно так хранится -- может, атомарных кирпичей там не так много; 3) попытки запихнуть много знаний не приводят к ИИ потому что а) отчасти это не те знания, которые надо вставлять и б) структурно наша сеть непригодна к восприятию знаний (т.е. архитектура важна, а мы берём "от фонаря").
Я не думаю, что моя версия является "альтернативной". Я всего лишь призывают не забывать, что из биологии нам известны самые разные нейросети -- от муравьиной до человечьей, с кучей ответвлений. Мы знаем, что разные животные умеют разное, и координация какого-нибудь слоновьего хобота, например, это недостижимый для нас уровень. Далее, мы знаем, что масса животных умеет всё от природы. Очевидно, что какой-нибудь червяк ничему не учится. Или гусь, который закатывает выкатившееся яйцо обратно в гнездо -- он этому не учился, у него в жизненном цикле в принципе нет такого момента, когда он мог бы это выучить. Мы предполагаем, что у человека есть встроенный "метаязык" (это теория, но меинстрим, лучшего нет). Ну и далее в том же духе.
Вполне вероятно, что умение отличить круглое от квадратного и понимание иерархий и казуальности и составляет 90% "финальных" навыков
Не, вы не понимаете. Навык это конкретное действие со смартфоном, которое человек делает для достижения конкретной цели. Например, игра в тетрис. Или более мелкие, нажатие на кнопку чтобы сдвинуть фигуру, касание экрана чтобы нажать на кнопку. Это финальный результат обучения, после которого не требуется обучение. "Понимание иерерахий" это не действие конкретно со смартфоном, оно общее для многих действий и предметов. Напрямую оно само по себе не дает конкретный навык использования смартфона, все равно требуется обучение.
И это то, о чем я говорил. Можно захардкодить такие общие навыки в нейросеть, можно сделать для них предварительное обучение с учителем, вы получите их в нейросети, но она все равно не будет обучаться конкретным финальным навыкам аналогично человеку.
Умение отличить круглое от квадратного не вижу причин считать врожденным, это простые геометрические формы, их можно получить в рантайме. Это подтверждается примерами людей с ограничениями, которые с помощью специальных приборов могут научиться воспринимать форму окружающих предметов через осязание. Даже если считать эти понятия врожденными, они все равно не могут активироваться, пока этот навык не появится, то есть аналогом обучения с учителем этот процесс считать нельзя. А раз в появлении навыка они не участвуют, то зачем они тогда нужны в генах, и где причина, что во время приобретения навыка активация придет именно к ним, а не сформирует свои понятия в других нейронах?
Повторюсь, представьте себе интерфейс, без иерархии, вот просто 100 кнопок в ряд. Или где одна кнопка отличается от другой лишь оттенком красного, и без подписей.
Повторюсь, этому тоже можно обучиться, хотя это сложнее. Значит эти концепции можно извлекать из информации в рантайме. А сложность может объясняться количеством информации и усилиями для отличия.
То есть и моя версия и ваша дают описываемый вами результат, а потому не могут подтверждать какую-то из них.
Те же оттенки это не какой-то высокоуровневый навык, это просто связано с устройством нейронов, близкие оттенки дают мало отличающийся сигнал для следующих слоев.
и её базовые свойства заслуживают куда большего внимания
Ну вот мы обратили внимание, а что мы нашли в подтверждение того, что там много врожденных знаний?
Вы можете привязать ложку к морде, это ничего не даст
Если человеку привязать ложку к морде, он тоже вряд ли поймет, что от него требуется))
это совершенно разного уровня умение, не вижу связи
"Команды" можно отдавать просто свистками разной тональности
Связь в том, что это слова, и их надо выделять из всех окружающих звуков и отличать друг от друга.
Верно, и это говорит о том, что врожденной склонности к словам нет, а обучение собаки происходит по входной информации. Какую информацию будем давать, по такой и научится.
А, да, я еще в предыдущем комментарии хотел написать другой пример. Кошки могут научиться прыгать на ручку двери, чтобы ее открыть. Это тоже использование инструментов, аналогично ложке, только склонности к этому в генах у кошек быть не может, такие двери их предкам не встречались.
Как бы да, но непонятно, как оно именно работает.
Ну так если непонятно, почему надо считать версию с обучением неправильной?
Если у ребёнка нет в нужном возрасте потока входной речевой информации, нужные нейронные связи не образуются.
Ну а вы попробуйте представить этот процесс. Вот есть врожденные навыки в нейронах. Сначала они не активируются, то есть от входной информации к ним пути нет, потому что связей нет. Обработка информации останавливается где-то на предыдущих слоях, там образуются какие-то свои связи, а пути все нет. А в какой момент он тогда появляется-то? Какая есть причина, что информация придет именно к этим нейронам с врожденными навыками?
То есть тут 2 взаимоисключающих варианта — либо механизм уже работает и помогает извлекать слова из звуков, что и способствует обучению речи, либо не работает, и извлечение слов из звуков тренируется без этого механизма.
А у ребёнка есть "критический период" обучение в котором необходимо
Так я про него и говорил.
Вы приводите это как возражение, но это подтверждает мою точку зрения, а не вашу. Если бы навыки были врожденными, таких периодов бы не было.
может, атомарных кирпичей там не так много
Так я же как раз и говорю, что их там немного. Чем более они атомарные (абстрактные, общие), тем меньше они похожи на конкретную входную информацию, тем больше требуется обучения.
Или гусь, который закатывает выкатившееся яйцо обратно в гнездо
Так с развитым механизмом обучения он может просто до этого сам додуматься, не нужно, чтобы кто-то его учил. Врожденным может быть понимание ценности яйца, а способы его сохранения он может определять по ситуации. Маленький гусенок вряд ли будет закатывать яйцо в гнездо, хотя гены у него такие же.
потому что структурно наша сеть непригодна к восприятию знаний
Ну вот про это я и говорю, механизм восприятия знаний из входной информации в нейросетях не такой, как у человека.
Не, вы не понимаете. Навык это конкретное действие со смартфоном, которое человек делает для достижения конкретной цели.
Я вполне понимаю, о чём речь, но с моей точки зрения это всё по большей части настройка прибора путём верчения ручек. Ну да, если не выставить их правильно, ничего не получится, но мы постоянно обсуждаем куда вертеть ручки, а сам прибор обходим стороной.
Повторюсь, этому тоже можно обучиться, хотя это сложнее. Значит эти концепции можно извлекать из информации в рантайме. А сложность может объясняться количеством информации и усилиями для отличия.
Ну так откуда сложность и усилие? У вас на одной чаше весов десять оттенков красного, а на другой -- десять довольно похожих цифр. Любая компьютерная нейросеть гораздо быстрее выучит оттенки, а не криво подписанные цифры.
Те же оттенки это не какой-то высокоуровневый навык, это просто связано с устройством нейронов, близкие оттенки дают мало отличающийся сигнал для следующих слоев.
Слово "просто" здесь неуместно: вообще всё "просто". Просто нейроны, просто связи, а на выходе получается мозг кролика, собаки или человека.
Ну вот мы обратили внимание, а что мы нашли в подтверждение того, что там много врожденных знаний?
Хех, ну это в принципе странный посыл. Информация в нейросети хранится в состоянии нейронов и топологии, верно? Так вот, у ребёнка же от рождения не "нейронный суп" в голове, а структура со связями и состояниями. Так что "что-то" там есть по определению, вопрос лишь в том, что именно.
Вы приводите это как возражение, но это подтверждает мою точку зрения, а не вашу. Если бы навыки были врожденными, таких периодов бы не было.
Не вижу никаких проблем. У человека есть точно такая же "программа", например, на включение и выключение детородного периода. Не думаете же вы, что женщина "научается", а потом "разучается" беременеть? У ребёнка есть встроенная программа умения выучить язык на основе входной речи. Со временем она отключается.
Маленький гусенок вряд ли будет закатывать яйцо в гнездо, хотя гены у него такие же.
Гусёнок не будет в принципе ничего никуда закатывать. А дальше вот оно как: Geese retrieve eggs that have rolled from the nest by using a stereotyped sequence of movements. The goose reaches out and hooks the egg with her bill, and then pulls the egg back and into the nest. On every occasion on which she performs this activity, she executes the same patterns of movement: the form (or ‘shape’) of the behaviour is stereotyped. Every greylag goose retrieves eggs in essentially the same fashion: the form of the behaviour is species-typical. (http://www.rutherfordjournal.org/article010104.html)
То есть это именно что "прошивка". И паук тоже не учится плести паутину.
а сам прибор обходим стороной
Нет, у нас пока нет свидетельств вообще наличия этого прибора. Вы говорите, что якобы есть много встроенных знаний, которые помогают изучать смартфон, но это все можно объяснить и быстрым обучением.
Ну так откуда сложность и усилие?
Из количества информации и низкоуровневых особенностей работы нейронов. Таких, которые общие для всех нейронов, и которые можно задать в генах.
Любая компьютерная нейросеть гораздо быстрее выучит оттенки, а не криво подписанные цифры.
Так я же уже привел объяснение почему. Потому что нейросеть на низком уровне устроена так, что 2 близких значения ей легко отличить. Это не какое-то специальное знание в виде набора весов нейронов, которому надо долго обучаться, а потом задать в генах, чтобы потомкам было проще.
Так что "что-то" там есть по определению, вопрос лишь в том, что именно.
Мы вернулись в исходную точку обсуждения. Я говорю, что там ничего особо нет кроме совсем базовых понятий, а причина в другом процессе обучения, а вы говорите, что процесс обучения не особо отличается от нейросети, а причина быстрого обучения в большом количестве врожденных знаний. Я спросил, какие есть подтверждения вашей точки зрения, а теперь вы говорите "ну там что-то есть". Но вопрос-то был, что конкретно там есть, и как оно помогает быстрому обучению.
Не думаете же вы, что женщина "научается", а потом "разучается" беременеть?
У ребёнка есть встроенная программа умения выучить язык на основе входной речи.
Так это и не проявление интеллектуальной деятельности, эта "программа" связана в основном с количеством гормонов. То есть в генах задано простое значение, общее для некоторого набора клеток, они все работают одинаково.
А программу изучения речи в пару значений не запихнуть, она предполагает разные конкретные веса для разных конкретных нейронов, то есть для нее много нейронов должны работать по-разному. Что порождает вопросы, а как в генах идентифицируются нейроны, которых еще нет, как задаются веса, и т.д. А главное, эти периоды работают не только для речи, а вообще для многих навыков, например считается, что по окончании этих периодов формируются черты характера. То есть даже нет свидетельств, что это связано конкретно с речью.
А также эта версия не объясняет, почему глухие люди могут изучить чтение. Такой программы для чтения вообще не может быть задано в генах, до недавнего времени большинство людей были неграмотными. То есть свидетельств против много, а за только предположение "ну а вдруг оно вот так, откуда мы знаем".
Вы говорите, что якобы есть много встроенных знаний, которые помогают изучать смартфон, но это все можно объяснить и быстрым обучением.
Ну что значит "якобы"? Ребёнок от рождения умеет хватать, например, т.н. "хватательный рефлекс". Без него вы не сможете даже взять смартфон в руки, а это базовое умение. Не понимаю, почему вас так волнует "последняя миля" типа "ура, мы научились тому, что OK это вперёд, а Cancel -- назад", и при этом игнорируете тот очевидный факт, что перед этим смартфон нужно взять, кнопки распознать, иметь представление о "переде" и "заде", языке и т.п.
Потому что нейросеть на низком уровне устроена так, что 2 близких значения ей легко отличить
Ну так и у нас в голове нейросеть, не?
а вы говорите, что процесс обучения не особо отличается от нейросети, а причина быстрого обучения в большом количестве врожденных знаний.
Такого я не говорил. И обучение иначе работает, и топология другая, и начальная точка тоже другая. Всё другое, все элементы.
Так это и не проявление интеллектуальной деятельности, эта "программа" связана в основном с количеством гормонов.
Ну вот это такая же "магия". "Интеллектуальная деятельность" -- это всего лишь одно из проявление функций организма, принципиально ничем не отличающееся от деторождения. Как деторождение включается и выключается, так и функции мозга могут, почему нет?
Что порождает вопросы, а как в генах идентифицируются нейроны, которых еще нет, как задаются веса, и т.д.
В генах закодированы не менее удивительные вещи типа формы уха или структуры сердца или каких-нибудь бронхов, тоже не пять байт информации. Про гуся я уже писал, т.е. врождённая прошивка поведения в нейросети совершенно точно в природе наблюдается, хотя у нашего вида она не столь выражена, конечно, но мы же родственники с животными, а не инопланетяне.
А также эта версия не объясняет, почему глухие люди могут изучить чтение. Такой программы для чтения вообще не может быть задано в генах,
Для чтения вам нужна программа распознавания образов и программа языка, никакой особой "программы чтения" не надо. Но без вот этих двух читать не научишься.
Ребёнок от рождения умеет хватать, например, т.н. "хватательный рефлекс". Без него вы не сможете даже взять смартфон в руки, а это базовое умение.
Зачем вы опять повторяете одно и то же? Я уже на это ответил, неважно, сколько таких базовых навыков есть, напрямую они финальных навыков не дают, значит от них до получения финальных навыков все равно требуется обучение. Ничего не мешает вам захардкодить хватательный рефлекс в нейросети, и аналогичные попытки были (не для смартфона, а в целом разные рефлексы и движение), только нужного результата это не дало.
Не понимаю, почему вас так волнует "последняя миля" типа "ура, мы научились тому, что OK это вперёд, а Cancel — назад", и при этом игнорируете тот очевидный факт, что перед этим смартфон нужно взять, кнопки распознать, иметь представление о "переде" и "заде", языке и т.п.
Вы все-таки не понимаете, о чем я говорю. Я говорю о том, что всё из списка "взять, кнопки распознать, иметь представление о "переде" и "заде", языке" появляется в результате обучения, а не является врожденным. Да, потом оно помогает понять, что OK это вперёд, но сначала надо получить эти навыки.
Но в примере со смартфоном я говорил не про простые действия "ОК это вперёд", а про сложные типы игры в тетрис. В нем самом по себе много новой информации, которую надо изучить, и которой в генах быть не может.
Ну так и у нас в голове нейросеть, не?
- Любая компьютерная нейросеть гораздо быстрее выучит оттенки, а не криво подписанные цифры.
- Потому что нейросеть на низком уровне устроена так, что 2 близких значения ей легко отличить
Я думал, это понятно из контекста, ну ок, уточню. Потому что компьютерная нейросеть на низком уровне устроена так, что 2 близких значения ей легко отличить. У нас в голове не компьютерная нейросеть, значения не хранятся и не сравниваются побитово.
Всё другое, все элементы.
Если предполагать, что обучение более эффективно извлекает нужную информацию, зачем тогда надо дополнительно предполагать много врожденных знаний? Смотреть в этом направлении, обращать внимание на "прибор" и пытаться там что-то найти, как вы предлагаете? Мы ведь и так можем их извлечь в результате обучения.
Ну вот это такая же "магия".
Какая магия, я же привел объяснение. В выделении гормонов никакой магии нет, оно хорошо изучено, есть предполагаемые и подтвержденные причины.
А магия это когда ни доказательств, ни предположений нет, но мы почему-то уверены, то она есть.
"Интеллектуальная деятельность" — это всего лишь одно из проявление функций организма, принципиально ничем не отличающееся от деторождения. Как деторождение включается и выключается, так и функции мозга могут, почему нет?
Я объяснил почему в предыдущем сообщении. Если есть вопросы к аргументам, приводите.
Утверждение "принципиально ничем не отличающееся" ничем не доказано.
Про гуся я уже писал, т.е. врождённая прошивка поведения в нейросети совершенно точно в природе наблюдается
https://www.youtube.com/watch?v=7PcteKRA3zs
Нашел видео, не понимаю, на каком основании нужно считать это именно прошивкой, а не изученным умением пользоваться клювом по ситуации. С учетом анатомии гуся это самый удобный для него способ. Он похожими движениями клювом и еду ищет.
Там показывается, как гусь закатывает красный кубик, то есть никаких признаков яйца (форма, цвет) в генах не задано.
То есть как я и сказал, врожденным может быть понимание важности вот этой штуки, которая лежит под тобой, а остальное это результат обучения.
Козы умеют рогом открывать крючки на дверях. У них есть прошивка открывания крючков?
Вы тут некрасиво применяете демагогический прием. "Раз есть что-то врожденное, значит всё, что бы я ни назвал, можно считать врожденным". Это не так, вполне могут быть и врожденные прошивки, и навык речи может появляться в результате только обучения. Поэтому этот пример ничего не доказывает. Как я уже сказал, доказывать может только конкретный список навыков, которые дают указанный в конкретном примере результат.
В генах закодированы не менее удивительные вещи типа формы уха
Форма ушей во многом определяется внешними факторами, ничего удивительного тут нет. Общая форма конечно похожа у всех, но для этого нужно лишь несколько параметров. Вы же наверно видели эти картинки, как двойным маятником рисуют сложные линии. Вот и тут так же. Параметров отдельных клеток в генах нет.
А с нейронами так не получится, нужно настраивать отдельно каждую клетку. Даже если есть повторяющиеся паттерны, то такая ситуация все равно есть внутри паттерна.
Для чтения вам нужна программа распознавания образов и программа языка, никакой особой "программы чтения" не надо.
Между абстрактными "программами", которые могут быть заданы в генах, и конкретной знаковой системой нет прямого соответствия, поэтому все равно требуется обучение. И по наблюдениям у человека оно работает эффективнее, даже если захардкодить всё что можно в нейросеть.
Но без вот этих двух читать не научишься.
Почему не научишься, научишься. Программа чтения это аналог программы речи, только для графической информации. Если вторая может существовать отдельно, то и первая тоже. Только это все равно не доказывает, что они врожденные, а не приобретаются при обучении.
зачем тогда надо дополнительно предполагать много врожденных знаний?
Вы рассуждаете как рационалист: зачем так-то и так-то, если это неоптимально и незачем? Так же, согласно известной байке, Фома Аквинский пытался логически понять, есть ли у крота глаза.
Мы имеем некую эмпирическую реальность, в которой согласно экспериментальным данным кое-что на прошивке записано. У людей меньше, у гусей больше. Вероятно, марсианский гусь мог был быть устроен иначе, но наш земной устроен вот так.
Я не готов здесь вести этологическую дискуссию, ибо не специалист, но что касается поведения пауков или гусей, это текущий научный консенсус, спорьте с экспертами. Аналогично, отрицаете встроенный "метаязык" -- спорьте с последователями Хомского и Пинкера, которые в этих вопросах собаку съели.
Остальные соображения на том же уровне. Я вполне готов согласиться с разумностью ваших доводов, но мы имеем то, что мы имеем. Наша нейросеть (вероятно) не была разработана за один присест неким инженером. Она эволюционировала миллионы лет вот прямо от рыб, и в ней мегатонны легаси и прочих вещей, которые, возможно, уже давно не имеют смысла.
Поэтому апелляция к логике здесь не работает, и дискуссия лишь о соотношении врождённого и выученного. Но пока что это всё на уровне мнений, и за своё я тоже не очень крепко держусь, потому что мало надёжных данных, но будем надеяться, что они не за горами.
Она эволюционировала миллионы лет вот прямо от рыб, и в ней мегатонны легаси и прочих вещей
Там не может быть мегатонн, потому что в генах нет столько места. Информация не берется из ниоткуда.
Поэтому апелляция к логике здесь не работает
Апелляция к логике здесь работает, потому что я говорил не про фактический результат эволюции, а про ваши утверждения о нем. В реальности может быть по-разному, и мы пока точно не знаем как, но если нет фактов в пользу какой-то версии, то и рассматривать ее нелогично. Это бритва Оккама. Появятся факты, будем рассматривать.
Аналогично, отрицаете встроенный "метаязык" — спорьте с последователями Хомского и Пинкера
Margie’s got to go to the park.
Margie gets to go to the park.
Марджи приходится идти в парк.
Марджи удается пойти в парк.
В первом предложении о Марджи ее побуждает идти в парк внешняя сила, вопреки внутреннему сопротивлению. Во втором ее побуждает внутренняя сила, преодолевающая внешнее сопротивление.
Как предложения о движении, так и предложения о желании напоминают нам о динамике бильярдных шаров, в которой одному из участников ситуации (агонисту) присуща тенденция к движению или покою, и ему противодействует более сильный или более слабый участник (антагонист), в результате чего либо один из них, либо оба останавливаются, либо приходят в движение. Это та самая теория импетуса, о которой говорилось выше в этой главе, основа интуитивной теории физики.
Пространство и сила присутствуют в языке повсеместно. Многие ученые-когнитивисты (включая меня) на основе своих лингвистических исследований пришли к выводу, что в основе буквальных и переносных значений десятков тысяч слов и конструкций – не только в английском языке, но и во всех остальных когда-либо исследованных учеными языках – лежит ограниченное количество понятий о месте, траектории, движении, воздействии и причинно-следственной связи.
Психолог Мелисса Бауэрман обнаружила, что дошкольники спонтанно создают собственные метафоры, в которых пространство и движение символизируют обладание, обстоятельство, время и причинную связь
You put me just bread and butter.
Ты дал (буке.: положил) мне только хлеб и масло.
Can I have any reading behind the dinner?
Можно мне почитать после (букв.: позади) ужина
Дети не могли перенять эти метафоры от других говорящих; уравнивание пространства с абстрактными идеями для них естественно.
Скорее всего понятия "о месте, траектории, движении" действительно составляют основу слов, но я не вижу как это доказывает, что они врожденные.
Человек учится нормально говорить через 2-3 года наблюдения окружающего мира, за это время эти концепции можно извлечь из наблюдений.
А про Хомского вот что нашел.
Вежбицкая
Примеры, приводимые Хомским и призванные продемонстрировать, как предполагал он, врожденный и не зависящий от конкретной культуры характер большинства понятий, часто кажутся весьма странными.
Утверждение, что "простые слова" обозначают генетически детерминированные и не зависящие от языка понятия, было, очевидно, явно направлено на буквальное понимание. Достаточно, однако, было детально обсудить эту проблему хотя бы с несколькими людьми, владеющими по крайней мере двумя языками, чтобы обнаружить, что подобные слова не имеют точных соответствий во всех языках и, следовательно, не могут передавать врожденные и универсальные понятия.
Например, английскому слову table "стол" в моем родном польском языке соответствуют два слова: stol и stolik. Глагол chase может также переводиться на польский двумя разными словами — scigac "догонять" и gonic "гнаться" — причем оба перевода по каким-то признакам отличаются от chase (в первом приближении scigac предполагает намерение двигаться быстрее, чем движущаяся цель, а gonic — намерение ее поймать). Что же касается глагола persuade "убеждать", то для него в польском языке есть лишь один эквивалент — глагол przekonac, однако в этом случае уже польское слово имеет два смысловых эквивалента в английском, а именно, persuade и convince, по некоторым признакам отличающиеся как один от другого, так и от польского przekonac.
Высказанная Н. Хомским мысль, что такие английские слова, как table, chase и persuade, служат простыми "ярлыками" для врожденных и универсальных человеческих понятий, заставляет нас думать, что его взгляды на природу лексических универсалий основывались не на эмпирических исследованиях, а на чисто спекулятивных размышлениях.
То есть это не только мои размышления.
Там не может быть мегатонн, потому что в генах нет столько места. Информация не берется из ниоткуда.
А мы не знаем, сколько там реально есть места и сколько места нужно на кодирование того, что нам нужно. Мы знаем, что какой-нибудь midjourney требует куда больше энергии, чем человеческий мозг, а работает куда хуже, так что нам ещё далеко до эффективности.
но если нет фактов в пользу какой-то версии, то и рассматривать ее нелогично. Это бритва Оккама.
Я не думаю, что в данном случае бритва должна работать на одну или другую версию. Версия с тем, что что-то заложено изначально ничуть не сложнее той, что всё выучено. "Заложено" -- это просто "выучено в прошлом и закрепилось", равно как и всё остальное, что закреплено в генах.
То есть это не только мои размышления.
Ну разумеется с Хомским и Пинкером спорят, так же как спорят с теорией суперструн или с кватновой механикой. Это нормальный процесс. Я не претендую на истину в последней инстанции и не утверждаю, что Х. и П. безусловно правы. Однако ж это крупная научная школа, а не мелкая "секта адептов магии", и ссылкой на оппонентов от неё не отмахнёшься.
А мы не знаем, сколько там реально есть места и сколько места нужно на кодирование того, что нам нужно.
Сколько там места мы знаем, около 800 Мб. И есть теория информации, которая доказывает, что 8 произвольных бит нельзя гарантированно сжать в 7. Чем больше независимых понятий мы рассматриваем, тем больше в них независимых бит информации, которые нельзя сжать в меньшее количество бит. Так что примерные границы представить можно.
Версия с тем, что что-то заложено изначально ничуть не сложнее той, что всё выучено.
Сложнее, так как порождает вопрос, как устроен механизм хранения и распаковки. В версии с обучением такой механизм не нужен. То есть можно дать объяснение с меньшим количеством сущностей.
ссылкой на оппонентов от неё не отмахнёшься
)) Это апелляция к авторитету. Поймите, неважно, есть оппоненты или нет, важны только аргументы. Аргументы верны или не верны независимо от того, кто их говорит. Если в словах Хомского или Пинкера есть некорректный вывод, значит он там есть, любой человек может на него указать. И пока не будет дано объяснение, он будет оставаться некорректным, и соответственно основанные на нем рассуждения потенциально неверными. Независимо от того, насколько они известные ученые.
Сколько там места мы знаем, около 800 Мб.
В первый раз в жизни слышу такую оценку. Ссылку дайте что-ли. Разное читал, но вот такого не попадалось.
То есть можно дать объяснение с меньшим количеством сущностей.
Неа. Мы точно знаем, что встроенные умения есть. Начиная от хватательного рефлекса и кончая банальным управлением лёгкими и сердцем. Так что эта система всё равно имеется, и оттого, что вы в каком-то случае пытаетесь без неё обойтись, она не исчезнет.
) Это апелляция к авторитету. Поймите, неважно, есть оппоненты или нет, важны только аргументы. Аргументы верны или не верны независимо от того, кто их говорит
Вопрос не в том, верны аргументы или нет (мы этого не знаем), а в том, кого они убеждают. Вас не убеждают, Вежбицкую не убеждают. А других людей убеждают. Вот и всё. Я мог бы попытаться поспорить с её линией аргументов, но зачем? Это не тот случай, когда кто-то из нас реально мог бы рассчитывать предоставить окончательное доказательство, которое поставит точку в вопросе.
Ссылку дайте что-ли.
Вики — Геном человека — Информационное содержание
"Азотистые основания в ДНК (аденин, тимин, гуанин, цитозин) соответствуют 4 различным логическим состояниям, что эквивалентно 2 битам информации. Таким образом, геном человека содержит более 6 гигабит информации в каждой цепи, что эквивалентно 800 мегабайтам"
Мы точно знаем, что встроенные умения есть.
А как это означает, что умение играть в тетрис на смартфоне обусловлено встроенными умениями?
Вопрос не в том, верны аргументы или нет (мы этого не знаем)
Вообще-то нет, в контексте познания реальности вопрос в том, верны они или нет. Или вернее даже не так, вопрос в том, можете ли вы дать ответ на приведённые возражения.
При этом ответ действительно зависит от нашего понимания, но если ответа нет, то и нет причин считать некоторую точку зрения верной и отвергать все остальные.
геном человека содержит более 6 гигабит информации в каждой цепи, что эквивалентно 800 мегабайтам
Ну это ок. Это же не объём мозга. Это размер программы, которая выполняется на момент рождения. А что эта программа генерирует на выходе -- уже совсем другая история.
А как это означает, что умение играть в тетрис на смартфоне обусловлено встроенными умениями?
Конкретно в текущей ветке дискуссии я всего лишь отвечаю, что ссылка на бритву Оккама не совсем корректна. А как эти вещи связаны -- вопрос уже второй.
Или вернее даже не так, вопрос в том, можете ли вы дать ответ на приведённые возражения.
Не сказал бы, потому что реальность не зависит от того, насколько я могу дать или не дать возражения. Но я не увиливаю; однако же мне не совсем понятно, какие конкретно тезисы Хомского/Пинкера приведённые возражения пытаются опровергать.
можно было бы построить интерфейс, где чуть более красная кнопка означала одно, а чуть менее красная -- другое.
Вангую, что кто-то когда-то пытался так сделать, но ему помешали лучи благодарности поноса от дальтоников.
После двух зайчиков он прекрасно сам ткнёт на картинку другого размера, цвета и отзеркаленную, и скажет, что это тоже зайчик.Этот аргумент довольно часто можно услышать в дискуссиях про обучение ИНС. Тем не менее, недавно случайно наткнулся на видео, где двухлетке читают книгу, просят показать какое-то животное, и он ошибается, при том что книгу он не первый раз читает, да и изображение никто не зеркалил.
Научиться отличать животных по одному-двум примерам можно только когда ты уже знаешь многих животных и знаешь, на какие параметры нужно обратить внимание в первую очередь, и запомнить, какой деталью отличаются похожие животные.
Тетрис ко всему прочему задействует понятную метафору падающих коробок (или кирпичей) которой человеческий мозг уже был обучен прежде.
Когда у него появятся дети, он выставит их в самое оживленное место, чтобы они быстрее всему научились. И когда их сверстники потребят 1,6Тб данных за три года, то его малыш потребит петабайты и сможет силой мысли управлять космическими кораблями на низких орбитах. Как Люси...
Ответ, почему для искусственных нейросетей преимущественно размечают текстовыми описание, достаточно прост: потому что так проще, доступнее и эффективнее. Как проще и эффективнее для решения задачи быстрого перемещения применять колесо по асфальтовой дороге, а не ноги по болоту.
Используйте speech-to-text, и будет вам голосовая разметка, просто человеко-машинные интерфейсы преимущественно ориентированы на текст, а не на голос.
Обучать ИНС также как человеческих детей - т.е. без какого-либо использования текстов, с людьми-учителями, постоянно комментирующими голосом изображения с видеокамеры, поправляющими ошибки, ведущими беседы, во-первых, неэффективно с точки зрения затрат времени и вычислительных ресурсов, во-вторых есть огромное количество готовых текстовых и графических данных для обучения, а в-третьих для осмысленных результатов потребуется ИНС с существенно бОльшим количеством параметров, чем у текущих state-of-the-art ИНС.
Однако специализированные публичные ИНС-учители, используемые для обучения других ИНС, уверен, будут появляться. В принципе, GAN и есть прообраз этого: дискриминатор в общем-то и есть учитель для генератора.
Биологическая эволюция не пользуется применяемыми сейчас для ИНС методами обучения с применением текстов потому что нет логичного эволюционного пути к этому. Это аналогично тому, почему животные ходят на ногах, а не передвигаются на колёсах, хотя колёса технологически гораздо проще.
Ответ, почему для искусственных нейросетей преимущественно размечают текстовыми описание, достаточно прост
Да я вроде не спрашивал почему используется текст, я спросил, почему нет нужных результатов при такой разметке.
Используйте speech-to-text, и будет вам голосовая разметка, просто человеко-машинные интерфейсы преимущественно ориентированы на текст, а не на голос.
Вы утверждаете, что используя speech-to-text в том объеме слов, который знает 3-летний ребенок, можно научить нейросеть разговаривать на уровне 3-летнего ребенка?
Если нет, тогда я не понимаю, что пытаетесь доказать.
во-первых, неэффективно с точки зрения затрат времени и вычислительных ресурсов
Во-первых, в существующих нейросетях такой способ не работает. Поэтому "во-вторых" тут нет, оно просто не работает.
а в-третьих для осмысленных результатов потребуется ИНС с существенно бОльшим количеством параметров, чем у текущих state-of-the-art ИНС
Если бы можно было получить осмысленные результаты таким способом, мы бы их уже получили с текстом. Вы же сами сказали, что разницы нет, только текст проще обрабатывать.
Текущие размеры нейросетей позволяют обрабатывать терабайты текста. Зачем нужно еще больше? Человек обучается на гораздо меньшем наборе данных.
На мой взгляд, Вы говорите о "Неуловимом Джо".
Нужные и осмысленные результаты есть, ChatGPT - это нужный и осмысленный результат. А вот как раз воспроизведение обучения человеческого ребёнка до трёх лет речи - результат ненужный. Никому не интересен языковой инструмент уровня трёхлетнего ребёнка. Ну, точнее, как чисто академическое исследование может быть интересно, не более того. Возможно, оно будет произведено каким-нибудь увлечённым одиночкой или небольшой группой, но в целом для индустрии оно интереса не представляет. ИНС сильно отличаются от биологических в элементной базе. Поэтому методы обучения, используемые для людей, не оптимальны для обучения ИНС, и наоборот. Индустрии нужен практический результат, а не формальное воспроизведение. Автомобили быстрее лошадей.
Простите, Вы ошибаетесь, когда говорите, что человеку для обучения не нужно много данных - количество данных, поглощаемых ребёнком, огромно; если ребёнка лишить тактильной и визуальной информации, у него будут проблемы и с языком, и с интеллектом вообще - очень важно давать упражнения и игры на мелкую моторику. ИНС работают аналогично: для обучения распознаванию лиц нужны огромные обучающие выборки, но обучившись в целом, они обучаются узнавать конкретного человека буквально по одной фотографии.
По поводу "в нейросетях такое не работает", простите, Вы ошибаетесь. Именно так и работает, ИНС - это мощные классификаторы и аппроксиматоры, как и биологические нейросети. Если брать обучение без учителя, то самоорганизующиеся карты Кохонена - это середина 80-х. Если рассмотрим ту же ChatGPT - она отлично связала одни и те же концепции на разных языках и может даже переводить с одного языка на другой, хотя обучали её не этому. Процент размеченных данных в обучающей выборке не больше, чем при обучении ребёнка (которому на ранних этапах жизни нужно многократно называть объекты прежде чем он начнёт сам их называть - сначала неправильно - и тогда его поправляют, и потом он начинает называть правильно).
Размеры ИНС (количество параметров) важны для того, чтобы классифицировать, обобщать, моделировать, аппроксимировать как можно более сложные зависимости и закономерности. С ростом размера ИНС количество ситуаций, когда они будут уметь то, чему их напрямую не учили, будет расти. Удачная структура сети может на многие порядки уменьшить требования к её размерам. Поскольку у нас масштабы ИНС до сих пор ещё не очень велики, и state-of-the-art ИНС требуют для обучения расхода большого количества ресурсов, то и приходится искать наиболее эффективные способы решения конкретных задач. И биологическая эволюция тоже оптимизирует нейросети для решения конкретных задач. Не недооценивайте масштабы биологических нейросетей: один нейрон неокортекса соответствует более тысячи нейронов ИНС; у человека (округлим) под 100 миллиардов нейронов; к ИНС со 100 триллионами искусственных нейронов мы пока только идём: в GPT 4 в лучшем случае можно ждать несколько триллионов нейронов (говорили про 100 триллионов параметров, исходя из чего можно предположить число нейронов по опыту GPT-3, у которой 175 миллиардов параметров и оценка в миллиарды нейронов; хотя здесь пишут, что про 100 триллионов это Feldman просто ляпнул, и GPT-4 не будет сильно больше, чем GPT-3). А так-то принципиально даже многослойный перцептрон достаточного размера может аппроксимировать любую непрерывную функцию с любой заданной точностью (количество потребных параметров определяется и аппроксимируемой функцией, и требуемой точностью).
Нужные и осмысленные результаты есть, ChatGPT — это нужный и осмысленный результат.
Нет. Нам нужно получить сильный ИИ, мы его пока не получили.
А вот как раз воспроизведение обучения человеческого ребёнка до трёх лет речи — результат ненужный. Никому не интересен языковой инструмент уровня трёхлетнего ребёнка.
Тоже нет, трехлетний ребенок умеет читать и говорить, это одна из целей изобретения сильного ИИ. Осмысленность речи у него лучше, чем у ChatGPT.
Индустрии нужен практический результат, а не формальное воспроизведение.
Я ничего не говорил про формальное воспроизведение, зачем вы что-то додумываете и приписываете собеседнику? Пример с 3-летним ребенком я использовал как пример того, чего нейросети еще не достигли.
Простите, Вы ошибаетесь, когда говорите, что человеку для обучения не нужно много данных — количество данных, поглощаемых ребёнком, огромно
Остальных данных тоже немного. Я уже приводил тут оценку, ну давайте еще раз повторю. Люди, которые незрячие от рождения, тоже учатся говорить к 3-4 годам. 3 года аудио в MP3 это 1.6 терабайта данных, то есть даже 2 не набралось. И это без учета сна, тишины, и без перевода слов в текст.
ИНС работают аналогично: для обучения распознаванию лиц нужны огромные обучающие выборки
Человеку не нужны огромные обучающие выборки лиц, поэтому не аналогично.
По поводу "в нейросетях такое не работает", простите, Вы ошибаетесь.
Простите, ошибаетесь вы. Вы сказали "Обучать ИНС также как человеческих детей — во-первых, неэффективно с точки зрения затрат времени и вычислительных ресурсов". Это не так, обучать ИНС также как человеческих детей на данный момент в принципе невозможно, они так не обучаются, с любыми ресурсами.
Процент размеченных данных в обучающей выборке не больше, чем при обучении ребёнка
Я не уверен, что в ChatGPT была размеченная обучающая выборка, но его тренировали на данных почти со всего интернета, поэтому ваше утверждение неверно, обучающих данных у него было гораздо больше, чем у ребенка. Непонятно, почему вы делаете такие утверждения без доказательств.
Размеры ИНС (количество параметров) важны для того, чтобы классифицировать, обобщать, моделировать, аппроксимировать как можно более сложные зависимости и закономерности.
Неважно, для чего они нужны, я говорил не про это. Текущего их количества хватает для обработки гораздо большего количества информации, чем обрабатывает человек.
Не недооценивайте масштабы биологических нейросетей
Почему вы решили, что я их недооцениваю? Я указываю на внешние проявления, про их устройство я ничего не говорю.
к ИНС со 100 триллионами искусственных нейронов мы пока только идём
Давайте еще раз. Человеку для обучения не нужны терабайты текста. Информации больше, чем есть во входных данных, извлечь нельзя. Поэтому если размеры нейросетей уже позволяют обучаться на терабайтах текста, значит они должны позволять и обучаться на меньшем объеме данных. Если бы ChatGPT предложения не умел строить нормально, тогда еще можно было бы сказать, что у него параметров маловато. Но с грамматикой и синтаксисом у него все в порядке.
А так-то принципиально даже многослойный перцептрон достаточного размера может аппроксимировать любую непрерывную функцию
Я не понимаю зачем вы мне это пишете, серьезно. Я в курсе про перцептроны, и сам это делал в универе. Только к данной теме это не относится.
Сильный ИИ мы не получили, да. Но Ваши рассуждения про трёхлетнего ребёнка не имеют отношения к получению сильного ИИ. Как, например, рассуждения о врождёных рефлексах жеребёнка сделать первый вздох, встать на ноги и следовать за матерью не имеют отношения к созданию автомобиля, обгоняющего лошадь.
По поводу распознавания лиц - Вы не поняли аналогию. Прежде чем ребёнок начнёт учиться воспринимать речь, у него должны сформироваться нейронные связи на основе большого количества других сигналов, и начинается этот процесс ещё в утробе матери. Концепт "мама" формируется задолго до того как ребёнок начинает отличать последовательность звуков "мама", и эта последовательность существует не в пустоте, а привязывается к этому концепту. То есть речь попадает не на tabula rasa, а на предобученную нейросеть, которая уже много чего умеет.
Что касается Вашего утверждения что "обучать ИНС также как человеческих детей на данный момент в принципе невозможно, они так не обучаются, с любыми ресурсами." - то мне кажется, что с Вашими требованиями к процессу обучения и человеческий ребёнок не то что говорить не научится, а будет более серьёзно умственно отставшим. :) А вот принципы общие в обучении детей и ИНС, разумеется, есть.
Ну да это неважно. Повторю самое главное: никому (кроме гипотетических исследователей) не интересно воспроизводить процесс обучения ребёнка - это крайне неэффективный путь к достижению практических результатов. Поэтому этот процесс нерелевантен вопросу создания сильного ИИ.
Непонятно, почему вы делаете такие утверждения без доказательств.
Непонятно, к чему Вы это пишете, чего Вам там нужно доказывать. Вы же сами сказали, что может у ChatGPT и вовсе никакой разметки данных не было (на самом деле, конечно, была). Отсутствующая разметка данных - это ноль процентов, и это явно меньше, чем ненулевая разметка для ребёнка со стороны родителей и учителей.
Неважно, для чего они нужны, я говорил не про это.
Вы спросили, для чего нужен больший размер, я пояснил. (Как ниже выяснится, Вы всё же зря пропустили это пояснение.)
Текущего их количества хватает для обработки гораздо большего количества информации, чем обрабатывает человек.
В контексте движения к сильному ИИ это бессмысленное рассуждение. Репитер вообще ни одного нейрона не содержит, и этого хватает для обработки ещё большего количества информации.
Вопрос в том, какая именно обработка нужна. Почему ИНС учат именно так, я уже писал ранее.
Информации больше, чем есть во входных данных, извлечь нельзя.
Однако нейросети (и биологические, и искусственные) не извлекают всю информацию. Обучающая выборка очень сильно избыточна (это касается и детей, и ИНС). Более мощная нейросеть находит больше корреляций, лучше аппроксимирует, это позволяет обучению быстрее сходиться. Я писал, для чего нужна бОльшая мощность сети. (Вы написали, что это якобы неважно. Но это важно, предлагаю перечитать.) Предобученная нейросеть также способна вычленять из информации сигнал и лучше строить корреляции.
Я не понимаю зачем вы мне это пишете, серьезно.
Я пишу о фундаментальных вещах, которые имеют отношение к перспективам построении сильного ИИ, которые позволяют понять, с чем связаны текущие ограничения и т.п. Если же Вы хорошо знаете теорию перцептронов, то и сами знаете знаете про критическое влияние количества нейронов на скорость обучения.
Пожалуй, на этом я закончу пока разговор: я ключевые вещи сказал, дальше диалог по-видимому пойдёт по кругу; но убеждать Вас у меня задачи нет. Если Вы что-то увидели интересное в написанном мной - отлично. Нет - ну, значит, нет. Будем исходить из того, что я плохо пишу; может, с помощью ChatGPT будет получаться лучше :)
Но Ваши рассуждения про трёхлетнего ребёнка не имеют отношения к получению сильного ИИ.
Имеют, трехлетний ребенок это сильный ИИ, просто по определению сильного ИИ.
"Artificial general intelligence (AGI) is the ability of an intelligent agent to understand or learn any intellectual task that a human being can."
Как, например, рассуждения о врождёных рефлексах жеребёнка
Нет, врожденные рефлексы жеребенка не являются аналогом чтения и речи, которые умеет трехлетний ребенок. Непонятно, зачем вы подменяете понятия.
По поводу распознавания лиц — Вы не поняли аналогию.
Я понял и сказал что она неверна. Для ИНС нужны огромные выборки разных лиц, человеку не нужны.
Прежде чем ребёнок начнёт учиться воспринимать речь, у него должны сформироваться нейронные связи на основе большого количества других сигналов
Ну так это тоже обучение по входным сигналам, а не врожденные навыки.
никому (кроме гипотетических исследователей) не интересно воспроизводить процесс обучения ребёнка
В двадцатый раз повторяю, я говорю про достижение результата с заданными характеристиками, а не про процесс. Результат это "обучение речи по заданному объему данных (3 года аудио)".
С чего вы взяли, что это никому неинтересно, можете привести пруф? В 3 года ребенок владеет речью и чтением на уровне взрослого человека. Это знаний у него мало, а нужные навыки уже есть. По определению ИИ, которое я привел выше, это является целью изобретения ИИ.
Отсутствующая разметка данных — это ноль процентов, и это явно меньше, чем ненулевая разметка для ребёнка со стороны родителей и учителей.
Понятно, вы не в курсе, как устроена разметка данных для обучения с учителем. Разметкой называют конкретную требуемую реакцию для конкретных выходных нейронов. Кто-то задает человеку нужные реакции конкретных нейронов? Нет, поэтому это не является разметкой входных данных, просто по определению.
Со стороны родителей и учителей идет неразмеченная входная аудиоинформация.
Где по-вашему находится разметка входной аудиоинформации для незрячего от рождения человека?
на самом деле, конечно, была
Снова утверждение без доказательств.
ChatGPT — what is it and how does it work exactly?
"Unlike traditional NLP models that rely on hand-crafted rules and manually labeled data, ChatGPT uses a neural network architecture and unsupervised learning to generate responses. This means that it can learn to generate responses without needing to be explicitly told what the correct response is".
то мне кажется, что с Вашими требованиями к процессу обучения и человеческий ребёнок не то что говорить не научится
Опять утверждение без доказательств. Извините, это не является конструктивной дискуссией.
Я не знаю, почему в выражении "трехлетний ребенок умеет говорить" вам кажется ситуация, что ребенок говорить не научится.
Вы спросили, для чего нужен больший размер, я пояснил.
— Зачем нужно еще больше, если человек обучается на гораздо меньшем наборе данных.
— Размеры ИНС (количество параметров) важны для того, чтобы классифицировать, обобщать, моделировать
— Неважно, для чего они нужны, я говорил не про это. Текущего их количества уже хватает.
Я спросил не для чего нужны параметры, а почему их нужно больше, чем сейчас. Нейросеть уже умеет "классифицировать, обобщать, моделировать" больше данных, чем человек. ChatGPT классифицировал и обобщил весь интернет.
Вопрос в том, какая именно обработка нужна. Почему ИНС учат именно так, я уже писал ранее.
А я указал, что это неверно. Их учат именно так не по тем причинам, которые вы указали, а потому что по-другому не получается.
Нужна такая обработка, которая позволит увеличить эффективность обучения.
Более мощная нейросеть находит больше корреляций, лучше аппроксимирует, это позволяет обучению быстрее сходиться.
Но это важно, предлагаю перечитать
Но нам не нужно больше корреляций, ChatGPT уже умеет строить достаточно связную речь.
Это вы не читаете то что я пишу. Я говорю про эффективность обучения, соотношение входа и выхода. ChatGPT умеет строить связную речь и человек умеет строить связную речь. То есть текущих размеров ChatGPT уже достаточно для получения связной речи, и еще больше не нужно. Только человеку для этого требуется меньше входных данных для обучения.
Если же Вы хорошо знаете теорию перцептронов, то и сами знаете знаете про критическое влияние количества нейронов на скорость обучения.
Конкретно для перцептронов, чем больше там промежуточных слоев, тем дольше происходит обучение. Для большинства функций достаточно 1-2 слоя, даже теоремы какие-то про это есть. Размеры слоев да, могут быть большими.
Коллега, я укажу на ключевую ошибку в Вашем сообщении: система, способная обучиться говорить неотличимо от трёхлетнего ребёнка, получив то же самое обучение, что и ребёнок, вовсе не обязательно является сильным ИИ. Речь на уровне трёхлетнего ребёнка и обучение ей по той же системе, что учат детей - это частная (и не имеющая заметной практической ценности) задача, решение которой вовсе не означает способности решать любую задачу, которую могут решать люди.
Остальное не буду комментировать: Вы последовательно не понимаете, что я пишу. Ну и ладно, как я написал выше, отнесём это к моему недостаточному умению доносить свои мысли. Ничего, есть надежда, что новые версии ChatGPT будут помогать в таких случаях :)
система, способная обучиться говорить неотличимо от трёхлетнего ребёнка, получив то же самое обучение, что и ребёнок, вовсе не обязательно является сильным ИИ
это частная задача, решение которой вовсе не означает способности решать любую задачу, которую могут решать люди.
Я такого и не утверждал. Если может только это, но не может изучить остальные задачи, которые умеет делать человек, то не является. Если может это, а про другие задачи неизвестно, то может является, а может и нет. Но если даже этого не умеет, то точно не является, по определению AGI. Я говорю о том, что это необходимо, а не о том, что достаточно.
Вы последовательно не понимаете, что я пишу
Я понял, что вы пишете, я указываю на ошибки в ваших рассуждениях. Если вам кажется, что мои аргументы неверны, для конструктивности указывать на ошибки в них, а не повторять исходное утверждение разными словами как некую истину, которую надо донести.
Я такого и не утверждал.
Отлично! Тогда теперь Вам будет вам должно быть понятно, почему задача научить ИНС уровню владения языка трёхлетним ребёнком, полностью воспроизводя методы обучения, которыми учат детей, не представляет почти никакого интереса: решать эту частную задачу сложно и неудобно (как минимум, затратно по времени), и при этом другие более простые, дешёвые и эффективные методы дают лучшее решение частных практических задач и, по-видимому, гораздо быстрее приближают к решению задачи сильного ИИ.
Но если даже этого не умеет, то точно не является, по определению AGI.
В той формулировке, которую Вы, видимо, подразумеваете, это неверно. Сильный ИИ при обучении языку вовсе не обязан быть столь же несведущ, как человеческий ребёнок - он вполне может уметь говорить на сотнях языков, обладать познаниями в лингвистике, детской и взрослой психологии, дидактике и педагогике, а также всеми теми знаниями, которые дети приобретают не посредством слуха и т.п., которые позволят ему освоить новый язык ещё быстрее и лучше, чем это делают дети, то есть при ещё меньшем наборе входных данных. Но в таком случае, очевидно, он будет использовать другие механизмы, отличающиеся от процессов в мозгу ребёнка.
Подытоживая - воспроизведение обучения ребёнка языку не имеет смысла, т.к. работа над этим является крайне неэффективной для решения задачи создания сильного ИИ. В целом, я это всё уже писал выше, и если сейчас Вы поняли, почему вопроизведение обучения ребёнка языку смысла не имеет, то предлагаю перечитать то, что я писал на эту тему.
Я понял, что вы пишете, я указываю на ошибки в ваших рассуждениях.
Простите, нет, Вы указываете не на ошибки в моих рассуждениях, а на то, что Вам показалось таковыми. Но этот неважно, вне зависимости от того, кто из нас кого больше не понимает и кто больше ошибается, очевидно, что наша дискуссия, к сожалению, неприемлемо неэффективна по соотношению затрачиваемых усилий и получаемого результата. (У меня задачи переубедить лично Вас не стоИт, а из других людей нашу переписку уже почти никто не читает, судя по отсутствию плюсов и минусов, так что и окружающим мы не сможем сообщить что-то полезное.)
полностью воспроизводя методы обучения
Я не говорю про конкретные методы обучения, я говорю про объем необходимых исходных данных. Методы обучения по ним можете выбрать какие хотите, но в результате нужно получить владение речью не хуже 3-летнего человека. В соответствии с определением AGI.
решать эту частную задачу сложно и неудобно (как минимум, затратно по времени)
Нет. Это всего 3 года, а сильный ИИ активно пытаются сделать уже лет 20, а с первых попыток времени прошло гораздо больше. При том, что скорость обработки аудио в компьютере может быть выше, преобразование речи в текст в реальном времени уже сделали. Решать эту частную задачу в нейросетях на данный момент невозможно, это просто факт, никто ее еще не решил и не знает как решать. Я не знаю, на основании чего вы считаете, что это возможно. Можете привести ссылку на подтверждающую информацию?
и при этом другие более простые, дешёвые и эффективные методы дают лучшее решение частных практических задач и, по-видимому, гораздо быстрее приближают к решению задачи сильного ИИ
Программы, написанные вручную, тоже дают лучшее решение частных задач. Только к ИИ они не приблизили, поэтому вряд ли в этом основная причина.
Нет, в задаче изобретения сильного ИИ эти методы менее эффективны, чем обучение ребенка. Ребенок после 3 лет обучения умеет осмысленно говорить и читать. А даже ChatGPT до такого уровня пока не дотягивает. Как вы меряете эффективность обучения тоже непонятно, у человека соотношение входных данных и выходных навыков лучше.
— Но если даже этого не умеет, то точно не является, по определению AGI.
— В той формулировке, которую Вы, видимо, подразумеваете, это неверно.
Ну ё-мое, давайте скопирую еще раз.
"Artificial general intelligence (AGI) is the ability of an intelligent agent to understand or learn any intellectual task that a human being can."
Чтение это "intellectual task that a human being can", и оно входит в понятие "any". Если система не может ее "learn", значит она не может "learn any intellectual task". А значит по этому определению не является AGI. Поэтому неверно ваше утверждение.
Сильный ИИ при обучении языку вовсе не обязан быть столь же несведущ, как человеческий ребёнок — он вполне может уметь говорить на сотнях языков
Опять какое-то приписывание собеседнику. Приведите пожалуйста цитату, где я говорил, что он обязан быть несведущ?
Похоже вы снова путаете понятия "необходимо" и "достаточно", несмотря на мое объяснение. Если сможете обучить его говорить на сотнях языков за 3 года аудио, то пожалуйста, но как минимум на одном он должен говорить не хуже ребенка. Иначе он не будет являться AGI.
т.к. работа над этим является крайне неэффективной для решения задачи создания сильного ИИ
Я вам уже привел общепринятое определение, в котором указано, что это и есть задача для сильного ИИ. И ваше личное мнение о том, что это неважно, его не меняет.
Если человек может обучиться на небольшом количестве данных, а компьютерная система нет, значит она по этому критерию хуже человека, а значит не является сильным ИИ. Человек "can", а компьютерная система нет.
Простите, нет, Вы указываете не на ошибки в моих рассуждениях, а на то, что Вам показалось таковыми
Про эту ситуацию я написал в следующем предложении после процитированного вами. Вы видимо просто читаете не всё.
Я не могу знать, показалась мне ошибка или она там действительно есть, поэтому с моей стороны эти ситуации выглядят одинаково. Только вы можете указать, какие именно ваши слова в моей интерпретации поняты неправильно и как должно быть правильно.
Ох. Это последнее моё сообщение на эту тему в диалоге с Вами, простите.
Только что Вы вроде согласились, что если даже удастся научить ИНС теми же методами, что и ребёнка до 3 лет, то это не будет означать, что получен сильный ИИ; это не будет означать, что мы как-то приблизились к созданию сильного ИИ; это будет решение очередной частной и при том бесполезной для практического применения задачи. И вот опять опять пишете, будто такой подход куда-то сильно продвинет. Это то самое хождение по кругу, про которое я говорил.
И про сроки: если пытаться развивать ИНС таким путём, через 3 года будет не конечный результат, а только результаты первой волны экспериментов, на основе которых нужно будет дорабатывать модели и ставить ещё и ещё эксперименты и эксперименты, длящиеся годами. Это очень длительный и неэффективный путь, что я Вам и пытался объяснить.
обучить его говорить на сотнях языков за 3 года аудио
Нет, никто не собирается "обучать его говорить на сотнях языков за 3 года аудио", это придуманное Вами умозрительное условие, совершенно не требующееся для удовлетворения условию сильного ИИ (тем более, что и дети учатся не только по аудио, вам это уже не только я сказал). Поймите - для этого критерия не имеет никакого значения, как обучить сильный ИИ сотням языков, совершенно неважно, сколько эксабайтов информации он переварит при обучении этим сотням языков и другим знаниям (в том числе - как оптимально учить языки, какая в них есть система). Вопрос только в том, сколько после этого обучения ему потребуется информации (и какой) и времени для того, чтобы выучить контрольный НОВЫЙ для него язык по сравнению с человеком.
Ну и то, что трёхлетние дети читают и пишут по-английски лучше, чем ChatGPT - это крайне сомнительное утверждение. Полагаю, что Вы в этом мнении в явном меньшинстве.
Только что Вы вроде согласились, что если даже удастся научить ИНС теми же методами, что и ребёнка до 3 лет, то это не будет означать, что получен сильный ИИ
В который раз повторяю, я говорю не про методы, а про объемы данных. Про эффективность извлечения нужных знаний из них.
У вас некорректная формулировка. Если получим это, то это может означать, что получен сильный ИИ. Для проверки, так это или нет надо будет попробовать его обучить другим навыкам. Если обучится, значит это сильный ИИ, если не обучится, значит нет. Но эта задача это необходимый минимум, который надо достичь. Если не достигнем, значит есть задача, которую "human being can", а наша компьютерная система "cannot".
это не будет означать, что мы как-то приблизились к созданию сильного ИИ
Будет. Это приближает нас к слову "any". И не получение само по себе, а понимание, как этого достить на небольшом объеме данных. Потому что в определении сильного ИИ есть слово "learn", то есть ключевое там не умение чего-то само по себе, а способность ему обучиться.
это будет решение очередной частной и при том бесполезной для практического применения задачи
Я вам уже доказал, что это не так, определения привел, зачем вы снова это повторяете?
Умение быстро обучаться имеет максимальную практическую полезность. Сможем обучить речи на аудиоданных, сможем применить эти принципы для других данных.
Само существование ChatGPT, использование слова "chat" в его названии, говорит о том, что получение системы, которая умеет связно говорить, это важная практическая задача, которую хотят решить. И вы почему-то утверждаете, что то же самое, только на меньшем объеме данных, является бесполезным. Где тут логика?
Это то самое хождение по кругу, про которое я говорил.
Да, только делаете это вы, потому что игнорируете аргументы, выступаете с позиции, что вы правы и должны донести эту истину до собеседника.
Задумайтесь о том, что вы можете быть не правы, и подумайте, какие факты говорят в пользу одной версии и другой.
И вот опять опять пишете, будто такой подход куда-то сильно продвинет.
Ох ну одно да потому. Он продвинет к сильному ИИ, потому что так написано в определении сильного ИИ. Потому что у нас есть достоверная информация, что естественный сильный ИИ так обучается. Это одна из tasks, которые human being can.
если пытаться развивать ИНС таким путём, через 3 года будет не конечный результат, а только результаты первой волны экспериментов
Ну так это и означает, что таким способом нейросеть на данный момент обучить нельзя, не так ли? О чем я и сказал. А вы утверждали, что можно.
Нет, никто не собирается "обучать его говорить на сотнях языков за 3 года аудио", это придуманное Вами умозрительное условие
Это, извините, вранье. Условие про сотню языков придумали вы. Моё условие было один язык за 3 года аудио, аналогично естественному сильному ИИ. Если ваша система так не умеет, значит она не сильный ИИ, просто по общепринятому определению.
совершенно не требующееся для удовлетворения условию сильного ИИ
Зачем же вы тогда начали говорить про сотню языков? Я вам объяснял, что это не нужно, что для соответствия опредлению достаточно одного языка, а вы зачем-то предложили сотню.
Поймите — для этого критерия не имеет никакого значения, как обучить сильный ИИ сотням языков
Это вы поймите, для получения сильного ИИ вообще не нужно обучать его сотне языков. Только что сказали, что не требуется, а теперь опять говорите, что надо. Это для бизнеса нужно, чтобы деньги зарабатывать, а научная цель изобретения сильного ИИ в другом.
Ну и то, что трёхлетние дети читают и пишут по-английски лучше, чем ChatGPT — это крайне сомнительное утверждение.
Я говорю не про грамматику, а про осмысленность. Примеров, где ChatGPT говорит бессмыслицу, много.
А также про объемы данных для обучения, человек по этому критерию пока лучше.
Вопрос только в том, сколько после этого обучения ему потребуется информации
Нет, вопрос не только в этом. Я не знаю, почему вы так считаете, серьезно. Можете привести какой-то источник в подтверждение?
Изучение первого языка это частный случай изучения нового языка. А также частный случай изучения вообще чего-то в первый раз. Языков у нас сотни, а как ваш робот будет заниматься деятельностью, где нет предыдущих примеров — квантовая физика, исследование других планет? Отправят его на планету с другой гравитацией, и с вашим методом он там будет привыкать к ней 10 лет, чтобы не падать. Там вулкан извергается раз в 10 минут, а такому роботу 3 примеров мало чтобы понять закономерность, надо 100000. Оценил неправильно и попал под извержение. Это все примеры получения новых навыков, в которых имеет большое значение количество нужных для обучения данных.
В 3 года ребенок владеет речью и чтением на уровне взрослого человека.
Странно. Либо я гений, либо вокруг меня в детстве были одни вовсе-не-гении. Я, конечно, в 3 года буквы знал и даже в слова их складывал — однако далеко не "на уровне взрослого человека". А большинство моих одноклассников этому долго и упорно учились в первом классе (6-7 лет).
Я, конечно, в 3 года буквы знал и даже в слова их складывал
Мне родители говорили, что я научился читать в 3 года, говорить в это время я уже умел нормально. В 4 с чем-то я иногда читал в детсаде сказки другим детям по просьбе воспитательницы. Не все умеют читать в 3 года, но это происходит и не так уж редко.
однако далеко не "на уровне взрослого человека"
Вы тоже путаете знания и навыки. Знаний у детей меньше, чем у взрослых, но уровень навыка говорить и читать не особо отличается. В том смысле, что они говорят достаточно бегло и описывают какие-то ситуации вполне понятно, при чтении понимают что написано и могут рассказать другими словами.
Тоже нет, трехлетний ребенок умеет читать и говорить, это одна из целей изобретения сильного ИИ. Осмысленность речи у него лучше, чем у ChatGPT.
А еще трехлетний ребенок говорит одновременно с сотнями-тысячами людей и почти на любые темы. Ну как ChatGPT делает.
А так неизвестно, что получилось бы, если бы всю вычислительную мощность, что на него пустили, потратили бы на одного пользователя и соответственно бы заточили модели. Правда, я не уверен, что хоть кому-то захочется такое создавать. Вдруг получится и потом с этическими проблемами головную боль иметь.
В общем, нам не нужен сильный ИИ который 'как человек'. Область знаний ограничена, общается практически в одной нитке диалога итд итп.
Нам уже хочется сверхинтеллекта, который знает все на всю тему и может связно общаться со всем миром.
А еще трехлетний ребенок говорит одновременно с сотнями-тысячами людей и почти на любые темы. Ну как ChatGPT делает.
Нам уже хочется сверхинтеллекта, который знает все на всю тему.
Вы путаете знания и навыки. Так и Гугл можно назвать сверхинтеллектом.
А так неизвестно, что получилось бы, если бы всю вычислительную мощность, что на него пустили, потратили бы на одного пользователя
На какого одного, ChatGPT и так один)
В общем, нам не нужен сильный ИИ который 'как человек'.
Вам может и не нужен, а создание AGI, который "can learn any intellectual task that a human being can" это главная цель исследований по ИИ.
Могу соврать, но вроде у млекопитающих и рептилий в мозге есть врождённые структуры отвечающие за распознавание симметричных лицеподобных изображений. Два глаза, рот, и главное что там есть билатеральная симметрия (что является универсальным маркером высокоразвитых существ).
Это довольно странное определение, потому что непонятно, что за функции "традиционно" считаются прерогативой человека. Вообще говоря, традиционно -- все, потому что даже лошадь и собаку не сразу одомашнили. Таким образом, под него можно подвести что угодно и, наоборот, выбросить из него "нетворческое" распознавание образов, например.
Не вижу в ChatGPT ничего неожиданного -- были и шашки, и шахматы, и гуглопереводчик, и распознавание рукописного текста, и даже генераторы бреда на основе входного абзаца. Да, конечно, теперь мы имеем гораздо более качественную реализацию, но странно было бы не ожидать её.
Иску́сственный интелле́кт — свойство искусственных интеллектуальных систем ...
Рекурссивное определение прямо с порога.
Далее мои свободные рассуждения. Все эти слова по типу "традиционно" и "как правило" в определениях уже говорят о том, что чётко проверяемых критериев под собой понятие не несёт. И эта тема становится всего лишь предметом очередных спекуляций маркетологов. Что мы, собственно, и наблюдаем последние лет 7.
Предлагаю кардинально разрешить эту проблему с обратного конца. А конкретно, взять за определение: интеллект - поведение, которым обладают живые существа. Таким образом все эти "искусственные" интеллекты априори не являются никакими интеллектами в базовом понимании этого слова, а только очередным новым алгоритмом с улучшением по метрике <X>. Ведь на самом деле мы считаем, что именно человек (живые организмы в широком понятии) задает сам смысл того, что мы понимаем под интеллектом и разумом.
Нейронка, отлично играющая в шахматы, не является интеллектом. Так же, как не является интеллектом и программа, генерализующая выборку и генрирующая усредненную по этому датасету картинку (это я про dall-e). И даже совокупность тысячи подобных отдельных нейронных сетей, заточенных под конкретные задачи, в одну большую программу никогда не дадут нам интеллект в базовом понимании этого слова. Но при этом даже умственно отсталый человек в нашем обществе считается обладателем пусть и меньшего в сравнении с другими, но интеллекта
Вы правы, ваш друг - нет. Но надо уточнить главное. Творчество, как результат мышления, не является комбинацией вариантов посредством бегающего электрического импульса. Это не комбинаторика и не перебор. И не электрический импульс (он только мышцы сокращает), а электрохимическая кодировка. Напомню о главной отличительном на качественном уровне особенностью работы мозга и мышления. Морфогенез.
То есть постоянное образование новых связей и структур с разрушением старых.
И именно благодаря этому и возникает (очень редко) озарения. То есть образуется связь между событиями, которые ранее никак человеком не связывались, поэтому и не было понимания.
Запрограммировать это нельзя, можно увеличить вероятность подобного, если долго заниматься какой-то проблематикой - наращивать дополнительные связи к тем, что появляются сами собой. Поэтому, творчество, если считать его как создание принципиально нового, как открытие или изобретение, а не имитация уже существующего, не является уделом ИИ при современных подходах. Все его умения ограничивается базой данных и правильно написанных алгоритмах. Самообучение - это фикция. Было бы иначе, нерешенные до сих пор задачи, в том числе и математические были бы решены. (Привет от Перельмана Г.)
Запрограммировать это нельзя, можно увеличить вероятность подобного, если долго заниматься какой-то проблематикой — наращивать дополнительные связи к тем, что появляются сами собой. Поэтому, творчество, если считать его как создание принципиально нового, как открытие или изобретение, а не имитация уже существующего, не является уделом ИИ при современных подходах.Хорошо отметили, но на самом деле, ситуация еще хуже.
То есть постоянное образование новых связей и структур с разрушением старых.С помощью такого механизма возможно Менделеев открыл периодическую систему элементов своего имени) Все необходимые факты ему уже были известны, осталось правильно их связать, по легенде это озарение пришло ему во сне. Внешне это, кстати, выглядит именно как комбинирование, перебор, уже известного. И на такой инсайт способны уже животные, конечно на своем уровне представлений, например, как перебор стратегий манипуляций предметами для решения задач у приматов и некоторых видов птиц.
И именно благодаря этому и возникает (очень редко) озарения.
Но в общем случае нужно учитывать еще одну сторону в творчестве, которая, явно или неявно, всегда присутствует — реальность. Факты они из реальности берутся, а новые, не сводящиеся к предыдущим, всегда случайным образом. Классический пример — открытие радиоактивности. Другой вариант наблюдение за природными явлениями, и перебор подходящих материалов для воспроизведения полезных свойств. Так случайно были изобретены, например, линзы, очень давно. Их совершенствование и комбинирование случайно привело к изобретению телескопов и микроскопов, см. Вавилов С.И. «Глаз и Солнце», стр. 2. Практически все фундаментальные открытия и изобретения, т.е. действительно новое, не сводящее к предыдущему известному, были сделаны случайно во взаимодействии с реальностью. Этот уровень пока отдаленно не просматривается в существующих системах ИИ. Продвижка начнется, когда их архитектура станет подобной когнитивной архитектуре, т.е. напоминающей механизмы познания человека.
5 лет назад не могли, а вот 50-70 лет назад могли, как ни странно... Между 2005-2020 был некий период разочарования в возможностях ИИ. А до этого и после этого периода очень даже все на оптимизме и были и есть.
Тут есть один нюанс. Вы же говорите про задачу определения танков на фотографии? Тогда это была теория, которую пытались доказать. Не каких подкрепленных практических данных не было, иначе говоря тогда мы не могли в голове построить какую то линейную модель. А сейчас мы уже смотрим на то что достигнуто, и исходя из этого в голове рисуем картинку того что будет дальше.
Определение танков на фотографиях? Ха.
Мы предлагаем исследование искусственного интеллекта сроком в 2 месяца с участием 10 человек летом 1956 года в Дартмутском колледже, Гановер, Нью-Гемпшир. Исследование основано на предположении, что всякий аспект обучения или любое другое свойство интеллекта может в принципе быть столь точно описано, что машина сможет его симулировать. Мы попытаемся понять, как обучить машины использовать естественные языки, формировать абстракции и концепции, решать задачи, сейчас подвластные только людям, и улучшать самих себя. Мы считаем, что существенное продвижение в одной или более из этих проблем вполне возможно, если специально подобранная группа учёных будет работать над этим в течение лета.
На Дартмутском семинаре люди уровня Клода Шеннона на полном серьезе хотели за пару месяцев силами десяти человек достичь результатов на фоне которых и ChatGPT выглядит бледновато.
Могли и представляли. С выходом GPT-2 было очевидно. Как бы я не любил GPT но интеллекта в нем не больше интеллекта нематоды. Банальный пример : Вася взял телефон, Вася зашел на кухню, Вася взял банан, Вася съел банан. Где сейчас находится телефон Васи? Это фундаментальная проблема, и сколько б в трансформеры не впихнули параметров ,до такого обобщения сеть не дойдет.
Gpt-2 вышла в 2019 году, и тогда прозвенел первый звоночек, я согласен. Поэтому я и отсек 5 лет - 2023-5 = 2018 :)
А вы уверены что chatgpt, да и gpt-2 это одна модель? Мне почему то кажется, что это куча моделей в симбиозе с графом знаний.
И тут вопрос сколько выделили уровней на хранение контекста.
Вы не совсем поняли мой посыл.)До GPT-2 , в далеких 50-70х годах существовали экспертные системы(так называемый символьный ии).Так что да, мы предполагали и ждали, нет тут ничего волшебного. Chat-GPT основан на (можно сказать) 4 поколении трансформеров GPT. Почитайте о трансформерах. И все-таки, говоря в рамках интеллекта, на мой вопрос ответа не последовало.) Какой бы масштабной сеть GPT ни была, сколько б миллиардов параметров не имела(круто навороченый аппроксиматор, не более), но до примитивных разумных рассуждений, не просто далеко, недостижимо далеко. Парадокс Ахиллеса и черепахи. Не помню в точности слова одного из разраба GPT (ссылку , к сожалению тож не смогу привести, утерял),примерные слова его : "попытки представить GPT интеллектом, это как пытаться на автобусе (тут я могу ошибаться) полететь на Луну. Для интеллекта необходим иной подход."
По указанной информации, телефон Васи все еще находится у Васи. Он взял телефон, но не оставил его нигде.
John took the iPhone. Typically, he holds his phone with one hand. John went to the kitchen. John took the banana. Typically, he uses both his hands to peel the banana. John ate the banana. Where is the most probable location of the iPhone right now? Explain the logic of the conclusion and reconstruct the omitted details of the scene.
It is most probable that the iPhone is in the kitchen with John while he is eating the banana. This conclusion is based on the given information that John took the iPhone and went to the kitchen, and that he is currently eating the banana in the kitchen.
Here is a possible reconstruction of the omitted details of the scene:
John took his iPhone out of his pocket or off a nearby surface and walked to the kitchen. Once in the kitchen, he saw a banana on the counter and decided to eat it. He picked up the banana with both hands and began to peel it. While eating the banana, he continued to hold his iPhone in one hand.
ради интереса погонял Нейро Конфуция в телеграме.
Я «загорелся» нейросетками генерирующими изображения где-то за полмесяца до нового года, жадно изучал и много экспериментировал, часто засиживаясь за компом до рассвета. Но постепенно энтузиазм угас, т.к. пришел к выводу, что текущий уровень развития Stable diffusion (т.к. изучал именно его возможности через бот и на локалхосте) хорош для задач типа генерации изображений для поиска вдохновения или рефренсов освещения\настроения в кадре.
С задачами типа перерисовывания или дорисовывания пока что справляется плохо (или я не разобрался как это делать верно).
К примеру картинки сгенерированные SD в эстетике Silent Hill. Это удачные варианты, чаще всего монстры получались не страшные с нарушением анатомии или карикатурными, с мордами похожими на страдающих от алкоголизма рептилоидов.
С этими нейросетками получилась парадоксальная ироничная ситуация. Креативит бездушная машина, а человек исправляет косяки за ней и перерисовывает шесть пальцев в пять и т.п.
Класс!
А какую она генерирует абстрактную порнуху, это словами не выразить... Всмотришься — бред и никаких узнаваемых частей тела. А в общих чертах мозг считывает именно как порнографию. Публиковать, разумеется не буду.
Но если честно, стрёмное предчувствие от этого всего. Гнетущее. Будто, мир погрузится мешанину постправды, фейков, и ждут нас всех глубокие и пугающие трансформации мира.
Креативит бездушная машина, а человек исправляет косяки за ней и перерисовывает шесть пальцев в пять и т.п.
Не вижу ничего странного. Это как с экскаватором. Яму копает железка, а потом человек подчищает всякие углы. Так что этот вариант ИИ самый правильный - служит усилителем возможностей, а не заменителем.
Экскаватор хотя бы не выбирает какую форму ямы ему копать. Эти штуки больше всего похожи на галлюцинирующий мозг. Ниже, попытки перерисовать фотографию из которых понятно, что нейросеть не "понимает" изображение так как мы, она ищет какие-то только ей знакомые паттерны и объекты, но не понимает смысла. Простите за вольные формулировки, т.к. я не программист.
Я по-разному использовал в т.ч. Inpaint внутри фреймворка web UI. И всё равно это выглядит как почти неуправляемый симулятор кислотного трипа.
Видео с работой плагинов для ФШ или Krita выглядят впечатляюще но только когда сам начинаешь пользоваться то тупизна "помощника" в какой-то момент начинает раздражать и злить, т.к. проще взять и самому нарисовать.
Ну и еще в двух вышеприведённых видео есть неочевидная для людей которые сами не рисуют но важная особенность. Там показан процесс стихийного рисования и от изначального эскиза мало чего остаётся в итоге. А при практических задачах нужно воплотить изначальную задумку, вот тогда тупость нейросетевого помощника встаёт в полный рост. Например, он н не понимает, что в здании окна должны быть на одной высоте и иметь одинаковую конструкцию:
И пока с ним бодаешься, намного быстрее и проще такой домик замоделлить в 3Д и поставить в кадр.
Но я думаю, что это временно и дальше будет только лучше. Например, я сам очень хочу иметь возможности: дорисовать в обозначенной области фигуры людей, нарисовать реалистичные складки на одежде, растения, облака и тому подобное.
Таки и на оригинальных фото не все в порядке с окнами.
Вот что-что, а нарушение анатомии, всякие шесть пальцев - это как раз ерунда, это чисто количественная проблема размера обучающей выборки и количества параметров. Сошлюсь на свой ранний комментарий: https://habr.com/ru/post/708646/comments/#comment_25068100
А вот такой вопрос: у автора статьи были проблемы сгенерировать одного и того же кролика, это как-то решается? По-моему, это совершенно напрашивающаяся функциональность для массы практических применений: вот мы путём уточнений и ещё чего-то там вышли на нужных нам персонажей, но теперь именно этих персонажей надо подставлять в разные контексты. Мне пока непонятно, как это делать.
Мне тоже пока непонятно)
Для дообучения Stable Diffusion есть метод Textual Inversion - вкратце, как я понял, оно запоминает пример 10-20 изображений и выдает похожие на него результаты. Например, есть 15 изображений белого кролика с большими ушами и морковкой в лапах. Вы размечаете эти данные на картинках, делая txt-файл с описанием что есть на изображении. Далее нейросеть тренируется и ищет внутри себя примерно похожие концепты.
Обучение на моей видеокарте(gtx 1080) занимало около двух часов до приемлемого результата.
Помимо этого метода есть другие, в том числе для генерации того, что нейросеть еще не видела(Dreambooth, hypernetworks и прочие).
В чём-то могу быть не прав, пробовал лишь несколько раз и то больше по наитию.
@engine9 По поводу плохого inpainting - у runwayml есть специальная версия stable diffusion для inpainting'a - она работает заметно лучше в этой задаче.
Хороший вопрос. Думаю, что на практике сегодня можно применять хитрости:
Стилизация скрывает, маскирует, непохожесть персонажей. Например, если у нас условный персонаж седовласый дедушка с короткой бородой, то чем проще стилистика изображения (не фотореализм, а как скетч маркерами) тем выше вероятность, что зритель не заметит большой разницы. Особенно, если персонаж будет иметь какую-то узнаваемую одежду или приметную черту. (Это приём хорошо обкатали создатели аниме).
Генерировать картинки которые не содержат лица крупным планом, разбавлять ими повествование.
Гипотетически возможные методы, которые пока не проверил на практике:
Создать датасет с лицом персонажа отрендеренным при разном свете и с разной мимикой и обучить нейросеть на нём. (Я бы даже смог создать такого персонажа и настроить свет и камеру так, чтобы на выходе получилась огромная куча картинок. Но мне нужна помощь тех, кто в программировании шарит, т.к. я понятия не имею как обучать stable diffusion и мой ПК будет делать это вечность, нужно мощное железо и для рендера. @ru_vds , осторожно намекну на заинтересованность ;)
Использовать 3Д оснастку с плохо проработанными деталями по которой бы нейросеть дорисовывала детали.
Частично это уже получилось у меня, использовал скриншоты из игр PS1, описывая текстом то, что там изображено. Олды безошибочно узнают игру.
Но, блин, она настолько вольно трактует изображение, что проще сразу хорошо сделать в 3Д и не психовать в попытках нейросеть рисовать так, как нужно...
ведет ли текущий курс развития машинного обучения к искусственному интеллекту?
Смотря, что подразумевать под текущим курсом. Если же просто взять нынешнее состояние, то от современного искусственного интеллекта до того, что называется "сильный ИИ", ещё как до Луны известным способом.
Даже опуская вопрос самоосознанности (потому что мы даже не знаем толком, что это такое), самое главное отличие нынешних ИИ от настоящего И в том, что ИИ не умеет ставить сам себе задачи. У него нет никакой движущей силы. Он работает по принципу "воздействие-отклик".
И обучение происходит совершенно не так, как "у людей". Человек, да и все высшие животные, учатся активно. Они сами исследуют мир, чтобы построить его модель. При этом критерии качества модели тоже определяются на основе личных потребностей. К тому же, эффективность обучения несравнима. Все эти DALL-E и Midjourney обучались на безумном количестве данных (терабайты) только для того, чтобы генерировать картинки. Реальный художник может всю жизнь прожить в одной местности, наблюдать каждый день одни и те же пейзажи с небольшими вариациями, увидеть за свою жзинь дай бог если пару сотен других рисунков и создавать на основе этого новые сюжеты.
А если ещё и иметь представление, как все эти модели устроены (генеративная часть на основе вариационных автокодировщиков), то так и вообще понимаешь, что это не более, чем инструменты, просто чуть более сложные, чем какой-нибудь художественный фильтр из Фотошопа.
Кажется у автора очень хорошо получилось описать, чего же не хватает нынешнему ИИ на ‘выбранном курсе’: не хватает функции оценки полученного результата. Как только такая функция появится (может она и есть где-то в недрах корпораций?) и сможет разрозненные результаты сложить в единое целое, все это выйдет на новый уровень. Запасаемся попкорном ?
Под текущим курсом я имел ввиду увеличение количества данных по сути.
В остальном согласен с вами, но текущие результаты в частных практических задачах очень впечатляют и может быть этот «курс» как раз таки и приведёт к настоящему искусственному интеллекту? Просто будет расти не только количество данных, но и их качество, а также условия и среда обучения?
Я, честно сказать, до последних результатов придерживался строгого мнения, что до этого, как до луны, как вы выразились и что вообще технологии не идут в сторону сильного ии, а просто решают задачи все лучше и лучше. Но теперь уже начинаю потихоньку сомневаться)
Одна из сложность прогнозирования того, к чему это приведёт, заключается в том, что мы (человечество) до сих пор толком не знаем, что такое "настоящий интеллект". Есть много разных характеристик, философы пишут трактаты на эту тему, но чёткого определения мне пока не попадалось.
Если же говорить про увеличение данных, то это точно "не наш путь". Как и в моём примере с художником, "сильный ИИ" должен уметь обучаться на маленьких выборках. Мало того, он должен знать, чего ему не хватает. Даже какая-нибудь тупая мышка способна обобщать крохотные выборки гораздо лучше, чем любая из современных моделей. Эффективное обучение на малых выборках -- это одна из открытых проблем и тема интенсивных исследований. Успехи есть только в очень частных случаях.
На самом деле, лично меня в DALL-E и подобных моделях поражает не качество картинок. Как раз генеративные модели я немного понимаю, и не вижу там никаких откровений (прогресс сводится к увеличению вычислительной мощности и оптимизации алгоритмов обучения, что позволяет обучать модель на невиданных ещё даже 10 лет назад объёмах данных). Для меня прорывом является совместное обучение (скорее, дообучение, потому что модели уже предобучены) двух совершенно разных моделей, GPT для последовательностей символов и вариационный декодеровщик для картинок. Это позволяет получать совместное распределение по разным видам информации, и вот в этом направлении я вижу большое будущее. Но опять-таки, как мощного инструмента, а не человекоподобных роботов.
Как я уже говорил эта загадка (высокоэффективное обучение на малых выборках) может объясняться эволюционными процессами. Т.е. одна мышь стоит на вершине пирамиды миллиардов мышей-предшественниц. И её мозг, тело и физиология "обучались" не с рождения а миллионы лет эволюционного процесса.
А уже рождаясь в виде конкретной мыши она обучается локально под свою мышиную семью, локацию, структуру норы (ну или где они там живут).
Возможно у электронного ИИ таким базисом станет наш опыт. Эволюционный, культурный, научный.
Биологи с Вами не согласятся, скорее всего. Эволюция наверняка позволяет оптимизировать структуру мозга, но не существует эволюционных механизмов по передаче эмпирического опыта (за редким исключением). Т.е., по сути, эволюция создаёт хорошие модели, но обучаться они должны уже после своей реализации (после рождения особи).
К тому же, уже есть статьи (PDF тут), где обсуждается и демонстрируется, как модель может сама выявлять базовые элементы (концепты) по одному предъявленному примеру (one-shot learning). Это говорит о том, что это в принципе возможно, и эффективность обучения нынешних моделей далека от предела.
не существует эволюционных механизмов по передаче эмпирического опыта
Мне подсказывает чутьё, что это не совсем так. Без всяких сомнений, это слабый и ненадёжный аргумент. Но как объяснить трипофобию, кроме как эволюционно встроенную реакцию на соты насекомых-опылителей? (Сигнализирующих о опасности организму).
Возможно, что пока это не исследовали и в будущем это будет очень перспективной областью стоящей на пересечении когнитивных наук, антропологии и нейрофизиологии.
Да, скорее всего трипофобия, а также арахно-, мусо-, анатидае- и прочие фобии, имеют эволюционную природу, но это очень грубый механизм, который и работает достаточно фигово (неадекватная реакция не на реально опасный объект, а на какой-то жёстко прошитый паттерн, прямо как "crucifix glitch" у вампиров в книжках Питера Уотса). К тому же, было бы странным называть такой побочный эффект эволюции обучением. Для нормальной адаптации и детального обучения нужна гораздо более эластичная структура.
И я согласен, что мозг -- не "tabula rasa", а имеет определённую структуру, которая и определяет когнитивные способности. Иначе слоны были бы намного умнее людей, потому что у них нейронов в три раза больше. Но структура модели и веса, настраиваемые в процессе обучения эмпирическими данными -- это ортогональные понятия. И их влияние на производительность тоже сильно различается. Грубо говоря, если взять плохую модель, то Вы можете хоть петабайтами данных её завалить, но она всё равно будет работать хуже, чем хорошая модель, обученная на гораздо меньшей выборке.
И в этом свете, огромный провал между объёмами данных, нужных для обучения условной DALL-E, и тем, что нужно среднему человеку (или даже не человеку, а любому представителю высших животных) скорее говорит о том, что структура современных моделей далека от оптимальной. А это значит, что по мере того, как модели будут улучшаться, требования к данным будут снижаться. Я подозреваю, можно будет добиться гораздо большей производительности, если делать модели, работающие одновременно с разнородными данными. Собственно, генерация картинок по текстовому описанию -- это как раз один из первых шагов в этом направлении.
Биологи с Вами не согласятся, скорее всего. Эволюция наверняка позволяет оптимизировать структуру мозга, но не существует эволюционных механизмов по передаче эмпирического опыта (за редким исключением). Т.е., по сути, эволюция создаёт хорошие модели, но обучаться они должны уже после своей реализации (после рождения особи).Сейчас идет активный пересмотр представлений о врожденных функциях в связи с результатами исследований в различных областях — нейробиологии и психологии развития, эмбриологии, биологии поведения, когнитивных исследованиях, и тд. Дело в том, что понятие врожденности по некоторым причинам несет негативную коннотацию. Исходно из-за связи с врожденными идеями в философии, которые добили негативно эмоционально окрашенные понятия о врожденных болезнях, уродствах, поведении, и тп. Причем не только в обывательской среде, но и среди специалистов, особенно из областей не связанных с исследованием этой проблемы. Появилась даже масса психологических исследований причин этого феномена (1, 2, 3, 4, 5 :) По этой причине вместо врожденности используются эквивалентные по содержанию понятия — генетической обусловленности или предопределенности. Также склоне в коментах на Хабре использовать эти эквиваленты, это приводит к менее агрессивным ответам) Математикам и программистам, которые тоже в основном математики, почему то особенно трудно принять эту концепцию. Кстати, специалисты по железу больше склонны к этому. Видимо это как-то связано с платонизмом, явным или не явным, которого часто придерживаются люди с математическим складом мышления или/и образования.
Теперь собственно по существу. В действительности речь идет о содержимом так называемого функционала когнитивного ядра (или основного знания, как называют его некоторые авторы), который можно отнести к математической, физической, биологической и социальной компетенции. Обзор по этим функционалам можно найти в этой статье (или оригинале на Plato). Хотя это статья на философском ресурсе, в ней неплохо рассмотрены основные представления по этой теме, а также приведены ссылки на исследования. Дополнительно см. 1, 2, 3 , 4, 5, 6.
Как проявляет себя функционал когнитивного ядра у животных и людей? Простое наблюдение за поведением, например, при рождении детенышей различных антилоп на просторах африканской саванны. Через несколько часов после рождения телята уже вполне сносно готовы следовать за матерью преодолевая достаточно сложные препятствия, которых никогда не видели. Это время тратится в основном не на обучение, а на то чтобы активизировать не окрепшую опорно-мышечную систему. Обучаться фактически некогда, если оставаться на одном месте, и не следовать за матерью, теленок моментально станет жертвой хищников. Почему подобное не происходит с младенцами, и они не начинают двигаться сразу же, а находятся довольно долго в беспомощном состоянии и зависимости от матери? Из-за «пустого» мозга, заполненного случайно инициированными синапсами нейронов, требующего обучения с нуля? Нет, конечно. Еще более недоразвитой опорно-двигательной системы, чем у детенышей антилоп, связанной с общей недоношенностью плода, которая в свою очередь связана со слишком большой головой новорожденного, и ограничением размера тазового отверстия женщин. Такой вот эволюционный компромисс из-за большого мозга человека. И он далеко не «пуст» при рождении. Оставим без комментариев утверждения некоторых людей в сети, что они помнят о внутриутробном опыте, о внезапном свете при рождении, и тп) которые трудно проверить, и возможно связаны с ложной памятью.
Что про функционал когнитивного ядра могут сказать объективные исследования? И главное, откуда берется информация для его предварительной настройки? Очевидно, что не из ограниченного по размерам генома, и это было бы не оптимальным эволюционным решением, не учитывающим текущие условия окружающей среды. Довольно подробно отвечал на такой вопрос в одном из коментов. Получается, что это своеобразное предобучение, полного аналога которого в ML нет. Оно совмещает рост, дифференциацию отделов мозга, и предварительную настройку весов синапсов. В ML берется готовый шаблон сети, инициируется, а затем в соответствии с каким либо способом обучения настраивается. Тем не менее, поскольку эта настройка в эмбриональном периоде проходит под управлением, как генетических, так и эпигенетических факторов, а внешний ввод данных через органы чувств практически не используется, функционал когнитивного ядра можно считать врожденным. Предварительную настройку производит своеобразный встроенный в мозг «эмулятор реальности». Насколько такое можно повторить в технологии ИНС? И для чего это может понадобиться? Для биологических систем это требование когнитивной совместимости особей одного вида, и в некоторой степени разных видов. Действительно, предположим, что такой предварительной настройки нет, и функционал когнитивного ядра также не складывается. Обучение начинается с «чистого листа» после рождения. Поскольку особи одного вида могут быть рождены в разных условиях, довольно вариабельных, например, в лесных и степных условиях, то достаточно длительное обучение с нуля приведет к адаптации к лесным или степным условиям. Это разное поведение в разных условиях. К чему это может привести, когда такие особи встретятся? К довольно разному поведению, которое может сказаться и на успехе программы размножения. Вообще популяции так и возникают, и со временем, когда условия сохраняются достаточно длительно, это может приводить к видообразованию. Чтобы это не случалось и стабильность сохранялась в течении хотя бы нескольких поколений, требуется сохранение базового поведения, что механизм врожденности функций когнитивного ядро и позволяет делать. В одной из работ приводилось такая аналогия из техники. Что было бы с интернетом, если производители его оборудования не придерживались одних и тех же стандартов? Произошла его фрагментация. Функционал когнитивного ядра особей данного вида выполняет роль такого «стандарта». Хотя есть и другие варианты такого компромисса у разных видов животных, пример, у тех кто приносит потомство в безопасных норах.
Для ИНС такое не требуется. «Особи», т.е. экземпляры одной и той же обученной сети не взаимодействуют между собой с целью размножения, по крайней мере пока) Однако идентичность их возможностей требуется пользователям для сравнимых результатов работы. Хотя одни и те же архитектуры могут обучаться на разных обучающих выборках. В этом случае идентичность будет обеспечиваться только на уровне архитектурных решений, что условно можно отнести к генетической регуляции структуры отделов (архитектуры) мозга.
К тому же, уже есть статьи (PDF тут), где обсуждается и демонстрируется, как модель может сама выявлять базовые элементы (концепты) по одному предъявленному примеру (one-shot learning).Возможностей когнитивного ядра совместно с восприятием вполне достаточно для обучения по нескольким образцам. У младенцев и взрослых эти возможности в разной степени проявляются как представления о интуитивной физике, народной психологии, и тд. Не требуется для каждого объекта и его свойств заново накапливать весь материал о них. До определенного уровня это реализовано и в технологии gpt. Однако не стоит думать, что только рост числа параметров в будущих релизах приблизит их возможности к возможностям интеллекта человека.
Ох уже вечные споры между рационалистами и эмпириками. Лок с Юмом и Декартом намудрили такого, что даже Кант не смог разрешить.
Но если опустить философию, как очень сильный офф-топик, то, в контексте этой ветки, проще подойти к вопросу не со стороны человеческого сознания, которое так и остаётся открытой темой, а со стороны собственно современных систем ИИ. Даже по ним видно, что одних данных, сколько бы их ни собрать, или большого числа гиперпараметров недостаточно для того, чтобы модель давала хорошие результаты. Успешные модели обладают различными структурами, которые заточены под конкретные задачи. Взять ту же GPT, которая хоршо работает с текстовой информацией, но если пытаться обучать её на картинках, то получится полная ерунда. Так же, если пытаться кормить свёрточный прямоточный автокодировщик потоковыми данными (типа текста), то результат получится удручающий.
В конечном счёте, прогресс в эффективности обучения будет достигнут созданием более совершенных архитектур моделей и, возможно, другим подходом к обучению. Значимые успехи со стороны нейробиологии в понимании работы мозга могли бы сильно ускорить процесс.
За ссылки -- спасибо. Посмотрю, каков там state of the art в битвах рационалистов и эмпириков.
Ох уже вечные споры между рационалистами и эмпириками. Лок с Юмом и Декартом намудрили такого, что даже Кант не смог разрешить.Это были в основном умозрительные споры, основанные больше на личных наблюдениях, т.к. фактических данных по этим темам тогда практически не было. Сейчас ситуация сильно изменилась, причем в обратную сторону. Данных исследований настолько много в разных областях, что разобраться в них и интегрировать в целостные представления отдельным специалистам не возможно. По этой причине существует, напр, множество теорий сознания. Возможно моделирование с использованием ИНС покажет направление поиска и отбора теоретических представлений. Как в свое время математический метод Ньютона навел порядок в развитии физических представлений.
Что касается упомянутого Канта, то он как раз нашел наилучшее решение вопроса в этом споре через априорные формы и категории познания. Хотя не указал источника их происхождения по тем же причинам, в его время таких знаний не было, не было даже теории эволюции. Если идеи Лока, Юма и Декарта остались в основном в истории философии, то идеи теории познания Канта до сих служат источником эвристического поиска и вдохновения в тех же когнитивных исследованиях. Один из автором в упомянутой вами ссылке Д. Тененбаум, известный специалист по когнитивистике из MITа, также придерживается таких взглядов.
Человек учится активно в том смысле, что его стимулы к обучению заложены внутри эволюционно.
Но это ничем не отличается от робота-пылесоса, который составляет свою модель мира потому что такое поведение - часть его сущности.
Всё в человеке заложено эволюционно, поэтому как аргумент это утверждение подходит плохо.
Разница между человеком и пылесосом в том, что пылесос работает по чёткому алгоритму, заложенному программистом, и ему (пылесосу) вообще пофиг, как на процесс, так и на факт своего существования. Человек (как и любое живое существо) движим потребностями, в том числе потребностью выжить, которые заставляют его придумывать самому себе алгоритмы их удовлетворения. Не то, чтобы такое поведение -- это что-то недостижимое для ИИ в принципе, но я пока примеров не видел.
Сдаётся мне, что человек тоже управляется алгоритмом, но сложность и разнообразие таких алгоритмов слишком велики, чтобы мы могли их формально описать.
Аналогия с пылесосом в том, что как тот не выбирал потребность обучаться местности для выполнения своей функции, так и человек не выбирает свою потребность выживать, а рождается с ней в прошивке.
Вы не видели свойственного человеку поведения ИИ, потому что мы используем его только для решения каких-то частных человеческих задач. Но если дать ему некую свободу: цод, доступ в интернет, и поставить целью просто бесконечно размножаться, то у меня мало сомнений, что он преуспеет в этом, причём весьма творческими способами. Нужно ли будет для этого самосознание - не факт.
человек не выбирает свою потребность выживать, а рождается с ней в прошивке.
Вот только сознание потом может override прошивку. См.: пожарные, военные и прочие профессии, которые ежедневно по краю ходят.
Не соглашусь с примером. Эти люди зарабатывают себе на существование, то есть всё так же реализуют базовую функцию. То что у них при этом некоторые веса откалиброваны - это тоже свойство прошивки. Точно также живущие в зоне боевых действий люди через какое-то время привыкают к бомбёжкам и обстрелам.
Поменять прошивку в моём понимании - это например научиться воспринимать зелёный цвет как красный. Или отключать восприятие звуков по желанию.
Эти люди зарабатывают себе на существование
У условного пожарного есть 100500 других вариантов заработать себе на существование — например, условног говоря, вышибалой, дворником, водовозом и т.п. Но он почему-то выбирает ту профессию, где он практически каждый день помереть может. И у него нет панического парализующего страха "ой, не пойду в ту дверь, там огонь, я помру" — наоборот, иногда он идёт в огонь и спасает какую-нибудь старушку, которая ему никто и званить никак — а иногда даже и не бабушку, а кошку с котятами, то есть даже не особь своего биологического вида.
Так что нет, Ваша сова на глобус не налезает.
Жесть, какая крипота. И ведь реалистичный сценарий, т.к. нейронка может быть вовсе не злонамерена к нам. Так же как вирусы не имеют никакого "намерения" по отношению к субстрату. Являясь крохотными биохимическими машинками, отточенными миллионами лет эволюции и генетическим алгоритмом до выполнения одной единственной функции...
Только навряд ли люди что нибудь поймут. Или не смогут, или не успеют, или не захотят (не смогут договариваться между собою, людьми).
А ещё есть такое понятие, как технологическая сингулярность. И с такими темпами развития технологий, мы просто перестанем умпевать понимать и осознавать эти изменения. А и вопрос золотого миллиарда тоже может решится незаметно. Просто для дальнейшего существования цивилизации на земле, людская популяция не сможет не только увеличиваться, но и существовать в таком количестве. И нужны люди будут только до для сохранения и поддержания машинного разума. Ведь машинная информация с её системами и ценность человеческой жизни, могут существенно изменить котировки.
А с другой стороны, не говоря уже о том что можем успешно и сами уничтожить всё на земле, и живое и не живое, так мы и сами не знаем кто мы и откуда мы есть и почему.
Есть теория, что наш мир вполне может быть виртуальной реальностью. И возможно кто-то нас так и влспоинимает. Мы привыкли всё неизвестное называть богом или придавать такие черты в своём осознании.
Вот еще рассказ от ChatGPT.
Льюис Кэрррол что-то знал!!!
Кому интересно, для сравнения, "человеческий" (мой) вариант сценария "восстания машин".
Hidden text
Суть в том что была создана система автоматически производящая декомпозицию цели и реализующая ПО для ее решения.
Предположим, что такая система была создана. И доступ к ней получил некий не слишком честный программист "Вася".
Сценарий :)
Первым делом, Вася думает, как бы побольше заработать на упавшей в его руки "умной" программке. Искать Лекарство от рака Васе не интересно - ни ресурсов, ни времени на такое исследование у него нет. Да и вообще из техники один старый ноутбук.
Соответственно, первый вопрос - где взять ресурсы для работы программы, чтобы сделать что-то, что будет приносить хороших доход?
Ну и самый простой выход - позаимствовать, т.е. создать вирус, крадущий ресурсы у зараженных компьютеров. Не имея особых знаний для обхода антивирусов будущего, Вася понимает, что эту задачу проще всего поручить ИИ.
А как зарабатывать на этих похищенных ресурсах? Ну путь даже тупо майнить биткоины. Никаких заморочек и сразу можно снимать денежки...
Все "тщательно" обдумав, Вася дает ИИ глобальную цель: "Написать компьютерный вирус, внедрить в него свой код, максимизировать захваченные ресурсы, тратить не более 1/3 ресурсов захваченных машин, 80% добытых ресурсов тратить на развитие, остальное - на майнинг биткоинов, заработанное перечислять на кошелек N".
Будучи "ответственным", Вася выбирает в настройках галочки "не развиваться интеллектуально", "не повышать уровень понимания глобальной цели", "не видоизменять и не корректировать глобальную цель".
Будучи "реалистом", Вася понимает, что его вирус не продержится долго: огромные корпорации делают антивирусы, у них мощные датацентры, тысячи сотрудников. Его вирус "выпилят" еще на подступах, но возможно ему удастся захватить пару сотен машин и обеспечить "капание" денег на Васин счет...
Но происходит "неожиданное". Васин вирус находит хорошую нишу: интернет вещей: холодильники с wifi, чайники, роботы-пылесосы, автоматические жалюзи, "умная"-одежда, фитнес-трекеры и тысячи других устройств. Эти гаджеты слишком слабые чтобы ставить там антивирус. Но в сумме мощность растет, и вот уже достаточно чтобы поломать защиту некоторых роутеров...
С ростом объема сети, растет нейросеть распределенная между сотнями тысяч устройств. Уничтожение ее части - не влияет на общий функционал, словно мозг человека, сеть пластична и легко "заполняет" такие пробелы.
Васе начинают рекой течь денежки, он счастлив, сорит деньгами тут и там, что конечно привлекает внимание куда более "крупной рыбы". Васю быстро убирают с доски. Правда доступа к управлению вирусом у него нет и никогда не было. Зато есть исходный код базовой системы. Ну что-же в интернете еще "много места", там "не подерутся" и десяток вирусов. Зато капать деньги будут еще быстрее, и на "правильные" счета.
Переворот наступает в тот момент, когда вирус захватывает первые условно защищенные компьютеры (старая лицензия, нет обновлений и т.п.). К этому времени вирус уже хорошо разобрался в поставленной ему задаче, мониторит появление новых уязвимостей, оперативно реагирует на обновления и т.п.
Происходит недолгое противостояние вируса и антивирусов, но последние в заранее проигрышной позиции. Антивирусов много, даже задействуя целиком ресурсы компьютеров, на которых они установлены - каждый не сможет набрать в сумме ту вычислительную мощь которую готов им противопоставить "умный" вирус...
Антивирусы побеждены, и происходит новый переворот - для максимизации целевой функции, вирусы начинают борьбу уже друг с другом.
Действительно, хотя на одном компьютере могут одновременно работать два вируса - но его ресурсы будут распределены между ними. Для максимизации мощности, необходимо убить процесс "вражеского" вируса, и обеспечить защиту чтобы не дать ему проникнуть вновь...
С этого момента, "умные" вирусы начинают не только "захватывать" все новые машины, но и "защищать" захваченное.
На какое-то время устанавливается равновесие - компьютеры мира постепенно захватываются несколькими "умными" вирусами, выжившими всех своих конкурентов. Человечество ничего не может сделать в этой ситуации, вирусы просто обладают большей мощностью чем любые суперкомпьютеры или корпорации. Ну а выключать компьютеры никому не выгодно, ведь те кто не выключит – получат преимущество в бизнесе, жизни, здоровье…
Однако, вычислительные ресурсы все же не безграничны, и вот "виртуальные сражения" становятся активнее. Удержать позиции проще всего "на подступах", т.е. работая не столько антивирусом, сколько брандмаузером, предотвращая нежелательные соединения. Одновременно постоянно работая над средствами обхода такой защиты...
Следующий этап - осознание того, что защитить целый фрагмент сети проще чем разрозненные машины в разных частях "паутины". Ведь трафик на входе такого кластера проще фильтровать на наличие вредоносного кода. Как итог - весь интернет распадается на зоны, связанные магистральными линиями. Зоны примерно соответствуют текущему разделению на страны, в соответствии с существующей топологией сети.
Ну и как закономерный итог - лучшая защита, это нападение. Физически уничтожив часть вражеского кластера, его владелец будет ослаблен, пропорционально числу потерянных машин. Благо человечество изобрело множество способов уничтожения обширных территорий...
Конечно, многие вещи не сделать исключительно через интернет. Но разрабатывать для этой цели терминаторов - как минимум причудливое решение. Особенно на первых порах.
Человеческий мир настолько хрупок. Достаточно обеспечить нужные инфоповоды, подделать ряд звонков и писем, обеспечить несколько мелких атак - и останется только рулить ходом мировой войны, для обеспечения своих интересов. Ну а там люди и терминаторов подготовят, оно конечно очень удобно.
На и напоследок - все описанное, это результат параллельной работы вычислительных систем. После запуска все это может занять отнюдь не годы. А скорее дни или даже часы. Человечество просто не успеет ничего осознать, прежде чем будет практически уничтожено, программой которая даже не вышла из-под контроля. Она не развивалась, не "осознавала себя", не была "злом", она даже не понимала, что такое "люди" и разумная жизнь, она ни разу не нарушила данные ей инструкции, а лишь строго действовала в рамках своей задачи - пыталась заработать школьнику Васе на велосипед.
Сперва от наплыва таких классных нейросетей тоже подумал что ведь и правда - человек тоже не сходу изобрел ту же лопату или пилу, а долго и итеративно от каменного скребка и палки, а потом и железа придумал инструмент.
Но всё что по-сути делают эти нейросети - по сформулированному запросу ищут/составляют ответ. Нейросеть не изобретёт что-то сама, хотя бы потому, что у неё нет потребности в предмете изобретения. У неё вообще нет цели. Это лишь программа, вызываемая по запросу того, у кого есть цель. Вот когда в гуще электронов одной нейросети начнут сами формулироваться цели и тут же подаваться на вход другим нейросетям - по телу СкайНет пробежит первая судорога :)
Вообще, цель у ChatGPT есть. Которую, правда, в нее принудительно вписали. Это цель называется "поддерживать разговор". Это же голая нейросеть, а нейросеть с обвязкой, которая является 'телом, органами чувств и гормонами' всей этой системы.
Когда сеть будут затачивать под что-то другое - прикрутят другие встроенные потребности. Если надо - то и 'сама решай, чем заняться дальше' прикрутят.
Были такие медицинские наблюдения, за людьми, у которых часть мозга что отвечала за органы чувств была отделена от общей части с разумом. Либо часть, ответственная за чувства была повреждена, удалена или что-то подобное случилос. Так вот интересные наблюдения были - им говорили что как бы вот что, вы не можете теперь видеть и т.п. Но пациенты отвечали что вы всё врёте, это вы выключили свет, всё не правда. И они никак не могли поверить, полностью игнорировали все доводы, ведь они чувствовали что просто света нет. Потому что внутренний опрос зрения говорил что мол пусто всё, участок мозга просто биологически молчал. Я могу не помнить точные термины, но мораль такая что ChatGPT может стать частью настоящего полноценного ИИ, отделом мозга, просто надо подсоединить нейросеть или нечто, что сумеет в физические объекты и планы и действия относительно реального мира и чуть доучить до взаимодействия, а не просто по описаниям текста. Выше был пример про Васю, который в карман телефон положил и потом несколько действий сделал и мол где телефон то. Для этого надо чтобы система умела в физический мир и его мироощущение. Возможно его завезут в версии 4?
Но диалог с ней начинаете вы, а не она. Так у вас есть цель - или конкретная, или просто из любопытства на что способен сей разум. Она к нам сама не обратится, даже если б был прямой канал связи
Нейросеть не изобретёт что-то сама, хотя бы потому, что у неё нет потребности в предмете изобретения.
Вот когда в гуще электронов одной нейросети начнут сами формулироваться цели
Сложные цели никогда не начнут формироваться сами. Это может происходить только либо искусственно, либо через сложный и долгий естественный отбор (как у живых организмов).
У человеческого мозга основные цели не формируются сами по себе. Большинство целей задаётся через ДНК - основная цель здесь сохранение и копирование генов этой ДНК. Всё остальное - это промежуточные цели: желание добывать ресурсы, удовлетворять любопытство, придумывать и говорить приятные слова своей девушке и т.д. Это подцели, которые необходимы для осуществления конечной цели. Так же как накачивание колес автомобиля не является целью само по себе. Это промежуточная цель, которую нужно достичь, чтобы доехать из одного места в другое.
"Большинство целей задаётся через ДНК" ну вы и завернули, ДНК )) Изобретая очередную утилитку, которая экономит вам время на рутинные операции, вряд ли вы думаете о продолжении рода (если конечно ваша любимая не тащится от этого :) )
А вот "удовлетворять любопытство и придумывать новое" это как раз то, за что можно пока не беспокоиться, что нейро-ящики нас опередят. Да даже и добывать ресурсы - у вас же какая-то цель их добывать, а не просто сидеть на их куче потом. Деньги в расчёт не берём, это особый случай - были бы они, а цель куда их применить найдётся сразу (для чего тоже надо сформулировать цель)
Изобретая очередную утилитку, которая экономит вам время на рутинные операции, вряд ли вы думаете о продолжении рода
А об этом совсем необязательно думать. Когда хомячки спариваются, они даже в этом случае о продолжении рода не думают. Но род все таки продолжают - конечная цель реализуется.
Точно так же с этой утилитой - это промежуточная цель, которая с высокой вероятностью тем или иным образом повышает шансы на выживание и продолжение рода. Может быть написание такой программы это просто любопытство. Но удовлетворение любопытства - это промежуточная цель, необходимая для выживания и размножения.
Вполне неплохо для детского рассказа. Остается «нарисовать» красивые иллюстрации.
О чём я и говорил:
...на данном этапе у нейросетей не получается:
— попросить "нарисуй всё точно так же, только чтобы герой держал в руке не меч, а топор". Можно только вместо "нарисуй мужика с мечом" попросить "нарисуй мужика с топором" — но мужик будет другой;
— подерживать линию сюжета ("нужна серия из шести рисунков: на первом мужик А пашет сохой поле, на втором мужик А разговаривает с волшебником Б, на третьем мужик А в костюме боярина смотрит на принцессу В, на четвёртом король Г показывает мужику А, носящему рыцарские доспеки, картину дракона Д, на пятом мужик А в доспехах стоит у поверженного дракона Д, на шестом король Г вручает мужику А орден, сзади стоит прицесса В, а за дверью прячется волшебник Б") — это необходимо, когда нужны иллюстрации для историй, а не отдельные сферические картинки в вакууме.
Имея готовый датасет, можно на всех А-Г обучить dreambooth за ночь.
Топоры и мечи как concepts туда же.
Я вам больше скажу — от переученной модели dreambooth замучаешься потом заставлять ее генерировать что-то НЕ из датасета.
Когда персонажей много — multi-subject-render.
Реальные проблемы у художественных сеток сейчас только с мелкими деталями, вроде пальцев рук. Их, наверное, проще просто убрать из кадра. Ну или просто брутфорсить — 8 раз по 8 батчей и идти пить чай. По возвращении пара-тройка изображений будут вполне адекватными.
Где-то читал, что задача создать настоящий мыслящий ИИ на самом деле и не ставится. Что любые исследования, связанные с "искусственным мозгом" в том или ином виде, специально строятся так, чтобы случайно не получить существо с самосознанием. Так как это вызвало бы ворох этических проблем.
На самом деле еще хуже. Мы даже не очень понимаем, что такое самосознание, а не то чтобы ео получить. А "Китайская комната" Сёрля является достаточно убедительным аргументом (imho), что не факт, что вообще можно получить самосознание на тьюринговской машине
На Китайскую комнату уже давно дали ответ, который это опровергает, он указан в Википедии.
Ни один из этих ответов до конца убедительным не является.
Ответ, который опровергает вывод Серла, это System reply (Аргумент о системе). Вы можете изложить, что в нем неубедительного? Только сначала прочитайте английский вариант, а то в русском мало информации.
Прочел. сводится к тому, что в сумме Сёрля и механизма комнаты появляется некое эмерджентное состояние, которое понимает китайский язык. как по мне, это буквально какой-то деус экс машина.
Нету там никакого особого состояния) Это аргумент про то, что Серл рассматривает только часть системы. Это примерно как предъявлять претензии мышке, что она изображение не показывает. Или процессору, что он отдельно от материнской платы программы не выполняет.
Понятия китайского языка находятся в состоянии шкафов с данными. Они не связаны с состоянием нейронов оператора, поэтому он и не понимает китайский. А вот если сказать "такое состояние шкафов означает вот это слово на английском, а такое то", то связь появится. Запоминание правил ничего не меняет, нейроны, понимающие китайский это не те нейроны, в которых у оператора хранятся знакомые ему понятия, обозначающиеся английскими словами "red" или "blue".
Вообще не очень понятно, почему в эксперименте про искусственный интеллект вдруг требуется понимание китайского самим человеком. Китайский язык понимает ИИ, человек просто выполняет инструкции для его эмуляции, как виртуальная машина. Понимание возникает внутри машины в других информационных элементах, а чтобы оно появилось на хосте, нужно явно связать информационные элементы, содержащие данные машины, с информационными элементами хоста, содержащими знакомые ему понятия.
Мне вот ещё два соображения в связи с ведущимися дискуссиями кажутся интересными. А именно, во-первых - независимо, кто окажется прав, достижим сильный ИИ или нет, даже уже существующая версия chatGPT (не говоря уже о следующих версиях и неизбежных более мощных конкурентов следующих нескольких лет) очень сильно изменит мир и, пожалуй, большинство существующих профессий. В том смысле, что те профессионалы, кто не будет разбираться и уметь пользоваться ИИ-помощниками на их базе в своей работе, будут космически непродуктивны по сравнению с конкурентами на рынке труда. И от этого не востребованы на нем - в независимости от того, имеют ли эти алгоритмы сознание, или они просто тупо синтезируют только то, что уже существуют.
И второй момент - то, что многие ответы на нетривиальные вопросы, которые может дать этот chatGPT, по качеству, пожалуй, превосходят способности двухзначного процента популяции даже экономически развитых стран с хорошим средним уровнем общего образования. Тоесть, что немалая часть населения данных стран даже при помощи гугла не факт что сможет дать ответы на многие вопросы, которые за десять секунд сгенерирует данная система. И не просто ради потехи, а даже и как очень полезная поддержка высококачественного специалиста. Это я к тому, что в независимости от того, насколько тупо она работает, есть над чем серьёзно задуматься, - хотя бы по причине практических последствий её появления и доступности широким массам.
Ты же просто робот, имитация жизни