Декартовское "Я" с обнаружения которого начинается "новая философия", не имеет материальной основы. Совершенно непонятно, где это "Я" располагается, может в голове, а может и не в голове, Хомский вона объявил, что язык принадлежит всему виду сразу, и находится вне особей, а без языка, никакого "Я" не сформируется. Мышление может принадлежит конкретному индивиду, а может и всем сразу (мыслишь вроде бы в тишине и одиночестве, а убери всех остальных и предшествующих и никакого акта мышления не получится).
Так что, как не могли человеки соединить "материю" и "мышление", так и не могут (синтез Канта Локка с Декартом подружил на время, но проблему не разрешил, ибо не разрешимы философские проблемы, свойство у них такое). А в компьютере, у каждого символа из которого программа складывается есть конкретное место на конкретной железке и у каждого объекта уже скомпилированного тоже есть. Никакой дуализма, все сплошной монизм. А уже наше мышление превращает этот компьютерный монизм в софт и хард (чтобы можно было с полным правом отделить жителей подземелий - админов от обитателей башни из слоновой кости - программистов, аналитиков и датасайнтистов).
Уж про аналогии структур разума со структурами компьютера даже комментировать неудобно. Структуры человеческого мышления создают тот мир, в котором мы (человеки со своим то ли личным, то ли общим мышлением) живем. Драйвера же оставляют какие-то магнитные следы на железяке, никому не нужные и не интересные. Может компьютер и конструирует там чего для себя, но это нам никак не познать (ибо "вещь в себе") а в нашем мире он ничего сконструировать не способен. В нашем Мире (созданным нашим мышлением) он всего лишь следы на железках и на пластике монитора оставляет, а уже наше мышление из этих следов чего-то лепит, чего мы в меру индивидуальной испорченности пользуем.
Вы, профессор, воля ваша, что-то нескладное придумали! Оно, может, и умно, но больно непонятно...
Кстати, да, сегодняшний ИИ это только умный (не то чтобы прям очень, но сильно умнее, чем раньше) калькулятор, с этим и Кант согласен.
О том, что ChatGPT ошибается в сравнении килограммов я узнал из какой-то статьи. Я перепроверил. Сейчас уже не ошибается (общаюсь с ней через тот же тг канал, что и раньше)
Насчет "не умеет дообучаться" не понял. Сеть не умеет дообучаться, но ее могут дообучить (переобучить) ее создатели, чем они и занимаются судя по тому, что ошибки исправляются.
Голые люди в лесу жили несколько сотен тысяч лет до того, как научились говорить (во всяком случае на современном уровне), писать и читать. Жили настолько успешно, что вот мы, их потомки продолжаем жить уже не в лесу.
Если сунуть палец в стакан с горячей водой то будет больно, мы узнали не из книг, или если удариться головой обо что-то твердое, то это не пойдет на пользу голове. Как и много всего остального. Это и есть основа человеческого опыта, основа нашего понимания мира, на эту основу дальше уже накладываются знания из текстов, устных и письменных. При этом ценность наших "знаний из книг" почти нулевая (никому они не нужны). Ценностью обладают только те знания (умения), которые мы освоили. Те, которые нам позволяют воздействовать на окружающий мир, изменяя его в нужную нам сторону.
Перефразируя вас, мы - это наши умения. Если кто-то прочитает (и даже посмотрит видосик), как удалять аппендицит, а потом предложит свои бесценные услуги, боюсь, что никто не согласится воспользоваться (хотя казалось бы, книжка то прочитана). Никому не нужны знания из книжек, нужна их связь с окружающим миром, которую человек собой можете обеспечить (а если не может, то никому он не интересен). Получение опыта - это итеративный процесс взаимодействия с окружающей средой, получения обратной связи от среды, корректировка своего поведения до тех пор, пока не выработается навык, позволяющий решать задачу.
Более того, сами знания в текстах - это продолжение опыта. Был бы у нас другой чувственный опыт (другие органы чувств, другое ощущение времени), вся наша система знаний (в т. ч. физика) была бы другой. Об этом много писали философы и этот же факт (результаты наблюдения зависят от наблюдателя) положен в основу квантовой механики. Чувственный опыт и наука (систематизированные знания) связаны неразрывно.
И это я оставляю за скобками вопросы о неправильной (не соответствующей чувственному опыту) информации, которой в Интернетах на много порядков больше, чем "правильной" (соответствующей). Большую ее часть мы отсеиваем автоматически как раз на основе нашего чувственного опыта, которого нет у сети.
Я вижу, что у вас есть много идей, как улучшить качество работы таких сетей и преодолеть их ограничения, кажется вы могли бы предложить ваши услуги OpenAI. Деньги у ребят есть (Майрософт им недавно 10 млрд. долларов занесла), ваш труд может быть достойно оплачен ;)
Слепоглухонемых детей обучают взаимодействовать с реальным миром через доступные им каналы обмена информации (телесные ощущения, так как остальные - звуковые и визуальные у них отсутствуют). И благодаря этой связи с внешним миром эти люди достигают определенных успехов (правда, насколько я знаю, слепоглухонемой человек, получив высшее образование, покончил с жизнью, но к дискуссии это отношение не имеет).
Выросший "Маугли" вполне адаптирован к окружающей среде, он не может научиться говорить, читать, писать и усвоить достижения цивилизации (исследователи считают, что освоение языка происходит на ранней стадии развития мозга ребенка, если этот момент упустить, то уже ничего нельзя поделать). Но если оставить Маугли в покое и выдать ему такую же девочку, то у них появится плодовитое потомство и они проживут свою жизнь, возможно даже вполне счастливо. Их потомки может быть даже со временем построят цивилизацию, которая создаст "Искусственный разум". Именно благодаря пониманию окружающей среды и взаимодействию с ней они принимают правильные решения и выживают.
В виртуальном мире нет ограничений (точнее они совершенно другие, мало имеющие отношения к реальному миру), а значит там нет понятия "правильного решения для реального мира". Вы предлагаете смоделировать для ИИ "реальный мир", в рамках которого он будет принимать решения и выдавать их нам. Именно это и пытаются сделать "датасаентисты", обучая ChatGPT и прочие нейросетевые модели. В 80х-90х годах прошлого века (в до нейросетевую эпоху) делали ставку на "онтологии" - логическое описание реального мира. "Онтологические попытки" (во всяком случае универсальные) потерпели неудачу из-за сложности задачи, описать реальный мир не удалось. "Онтологический" ИИ предпочтительнее того, который мы сегодня имеем в виду интерпретируемости принимаемых им решений.
Но "модель реального мира" это не реальный мир. "Реальный мир" сам показывает "субъекту" (кто в нем действует), где субъект прав, а где нет (особо грубые ошибки заканчиваются смертью субъекта и позволяют естественному отбору отбраковывать негодных к взаимодействию с реальным миром)). Речь об этом. Для того, чтобы сеть действовала правильно, ей нужно создать модель реального мира, а это очень не просто из-за его сложности. У самой сети нет возможности эту модель "тестировать на практике" и "самообучаться". Она полностью зависит от "обучающего" (и от своих внутренних логических ограничений, которые мы не до конца понимаем в случае LLM). Отсюда совершенно глупые ошибки и ограниченность (одна из) в применении. Не знаю, насколько я мне удалось донести идею (мы очень сложный вопрос обсуждаем, один из ключевых).
В статье, ссылку на которую которую я привожу (https://arxiv.org/pdf/2303.12712.pdf) ChatGPT исследована вдоль и поперек (в сравнении с GPT-4, которой и посвящено исследование). Вопрос не в том, насколько хорошо именно это техническое решение (скажу, как причастный, если его можно дообучать, то под любую частную задачу (например писать код в какой-то области на уровне Мидла), ее можно заточить за довольно короткое время но за большие деньги).
Если это решение "законсервируется", то это будет очередной "хайп", о котором все забудут через год (кроме тех, под чью работу ее "кастомизируют").
Отдельный вопрос - что дешевле, использовать такую модель, дообучать ее или нанять живого разработчика (бухгалтера, юриста, т. п.)).
Надо смотреть не на эту модель, а на динамику, не прошло и года, вышла GPT-4 (в статье выше показывают, что она качественно лучше, чем ChatGPT) и до конца 2023 OpenAI грозится выкатить GPT-5.
Дальше можно делать предположения, как оно все будет развиваться (есть разные аппроксимационные предположения, я на них намекнул в статье, чтобы сколько-нибудь затронуть эту тему (дальнейшие сценарии) надо написать еще одну (не одну) большую статью (там же не только языковые модели, это широкий фронт, одним своим "крылом" выходящий на робототехнику). Но, как я показал в примере с прогнозами Митио Каку (не самый глупый и весьма информированный человек) линейные прогнозы не реализуются.
Процесс или должен упереться в какое-то принципиальное, непреодолимое ограничение, либо пойти по какому-то не линейному пути.
По-моему больше :)
Когда начинал, думал, за месяцок-другой совладаю. Ожидания были очень оптимистичные.
Однако, денег мне за это не платят и возвращаюсь я к переводу по мере появления свободного времени.
Карантин в этом деле очень подсобил.
Спасибо, что следите и читаете.
Впрочем, есть уже полностью готовый перевод. Где-то в комментариях к моим главам один хабрчанин оставил ссылку, можно не ждать. Человек взялся и быстро перевел всю книгу, а я потихоньку, надеюсь до лета завершить (если чего опять не навалится).
Я взял определения случайной и систематической ошибки из собственного «физико-технического» прошлого. Где они являлись аналогом bias и variance в физическом эксперименте. При этом так определяемые ошибки имеют точно такое же математическое выражение (относительно истинного значения измеряемой величины), что и bias и variance относительно истинного значения класса классифицируемого алгоритмом примера (дисперсия и мат. ожидание смещения относительно истинного значения).
Т. е. формально ошибки нет (опустим тот нюанс, что Эндрю Ын переопределил эти два понятия и они стали у него чем-то третьим). Однако, я согласен с вами, что в русскоязычной литературе по машинному обучению, по-видимому, закрепились понятия «смещения» и «разброса». Специально посмотрел работы Воронцова К. В. (главный популяризатор ML в наших краях). Должен согласиться с вашим замечанием и буду переделывать перевод.
Спасибо за помощь!
Спасибо за замечание (об этом значении слова eyeball я не знал). Но кроме «пристального рассмотрения» или того, что это выборка нам хорошо знакома (или достоверна) в эту выборку Эндрю Ын вкладывает еще один смысл — он говорит, что мы должны все примеры этой выборки изучать собственными глазами (we’ll call an Eyeball dev set to remind ourselves that we are looking at it with our eyes). Т. е. главное в этом определение то, что мы с ней работаем «вручную» (а, не скажем, какими-нибудь статистическими методами, которые тоже могут многое рассказать о выборке и так же позволят судить об ее достоверности). Тут может быть подошло бы что-то типа «ручной выборки», «глазной выборки» (там дальше он прямо так и говорит про случай анализа аудио-клипов: «you would call this set an Ear dev set instead», т. е. «ушная выборка»). Но все эти словосочетания не добавляют благозвучия, поэтому я оставил «выборку глазного яблока».
Хорошее предложение, но насколько я понимаю, данный подход не решит проблему модерации результатов коллективного труда. А от меня потребуются усилия, чтобы разобраться, как выложить туда текст и администрировать еще один ресурс. На самом деле у меня серьезный дефицит времени (перевод в отличие от простого чтения занимает несоизмеримо больше времени, даже такой непрофессиональный и я с трудом могу это время выделять).
Я бы пока остановился на том, что если кто-то в комментарии укажет на ошибку или предложит более удачный перевод, я просто поправлю свой текст здесь.
Хотя может быть через некоторое время я дозрею (или по какой-то другой причине разберусь с этими ресурсами) и последую вашему совету.
Декартовское "Я" с обнаружения которого начинается "новая философия", не имеет материальной основы. Совершенно непонятно, где это "Я" располагается, может в голове, а может и не в голове, Хомский вона объявил, что язык принадлежит всему виду сразу, и находится вне особей, а без языка, никакого "Я" не сформируется. Мышление может принадлежит конкретному индивиду, а может и всем сразу (мыслишь вроде бы в тишине и одиночестве, а убери всех остальных и предшествующих и никакого акта мышления не получится).
Так что, как не могли человеки соединить "материю" и "мышление", так и не могут (синтез Канта Локка с Декартом подружил на время, но проблему не разрешил, ибо не разрешимы философские проблемы, свойство у них такое). А в компьютере, у каждого символа из которого программа складывается есть конкретное место на конкретной железке и у каждого объекта уже скомпилированного тоже есть. Никакой дуализма, все сплошной монизм. А уже наше мышление превращает этот компьютерный монизм в софт и хард (чтобы можно было с полным правом отделить жителей подземелий - админов от обитателей башни из слоновой кости - программистов, аналитиков и датасайнтистов).
Уж про аналогии структур разума со структурами компьютера даже комментировать неудобно. Структуры человеческого мышления создают тот мир, в котором мы (человеки со своим то ли личным, то ли общим мышлением) живем. Драйвера же оставляют какие-то магнитные следы на железяке, никому не нужные и не интересные. Может компьютер и конструирует там чего для себя, но это нам никак не познать (ибо "вещь в себе") а в нашем мире он ничего сконструировать не способен. В нашем Мире (созданным нашим мышлением) он всего лишь следы на железках и на пластике монитора оставляет, а уже наше мышление из этих следов чего-то лепит, чего мы в меру индивидуальной испорченности пользуем.
Вы, профессор, воля ваша, что-то нескладное придумали! Оно, может, и умно, но больно непонятно...
Кстати, да, сегодняшний ИИ это только умный (не то чтобы прям очень, но сильно умнее, чем раньше) калькулятор, с этим и Кант согласен.
Чуть раньше приводил скрин из Телеграмм бота с ответом сети от 8 февраля https://habr.com/ru/articles/729408/comments/#comment_25475176
О том, что ChatGPT ошибается в сравнении килограммов я узнал из какой-то статьи. Я перепроверил. Сейчас уже не ошибается (общаюсь с ней через тот же тг канал, что и раньше)
Насчет "не умеет дообучаться" не понял. Сеть не умеет дообучаться, но ее могут дообучить (переобучить) ее создатели, чем они и занимаются судя по тому, что ошибки исправляются.
Голые люди в лесу жили несколько сотен тысяч лет до того, как научились говорить (во всяком случае на современном уровне), писать и читать. Жили настолько успешно, что вот мы, их потомки продолжаем жить уже не в лесу.
Если сунуть палец в стакан с горячей водой то будет больно, мы узнали не из книг, или если удариться головой обо что-то твердое, то это не пойдет на пользу голове. Как и много всего остального. Это и есть основа человеческого опыта, основа нашего понимания мира, на эту основу дальше уже накладываются знания из текстов, устных и письменных. При этом ценность наших "знаний из книг" почти нулевая (никому они не нужны). Ценностью обладают только те знания (умения), которые мы освоили. Те, которые нам позволяют воздействовать на окружающий мир, изменяя его в нужную нам сторону.
Перефразируя вас, мы - это наши умения. Если кто-то прочитает (и даже посмотрит видосик), как удалять аппендицит, а потом предложит свои бесценные услуги, боюсь, что никто не согласится воспользоваться (хотя казалось бы, книжка то прочитана). Никому не нужны знания из книжек, нужна их связь с окружающим миром, которую человек собой можете обеспечить (а если не может, то никому он не интересен). Получение опыта - это итеративный процесс взаимодействия с окружающей средой, получения обратной связи от среды, корректировка своего поведения до тех пор, пока не выработается навык, позволяющий решать задачу.
Более того, сами знания в текстах - это продолжение опыта. Был бы у нас другой чувственный опыт (другие органы чувств, другое ощущение времени), вся наша система знаний (в т. ч. физика) была бы другой. Об этом много писали философы и этот же факт (результаты наблюдения зависят от наблюдателя) положен в основу квантовой механики. Чувственный опыт и наука (систематизированные знания) связаны неразрывно.
И это я оставляю за скобками вопросы о неправильной (не соответствующей чувственному опыту) информации, которой в Интернетах на много порядков больше, чем "правильной" (соответствующей). Большую ее часть мы отсеиваем автоматически как раз на основе нашего чувственного опыта, которого нет у сети.
Я вижу, что у вас есть много идей, как улучшить качество работы таких сетей и преодолеть их ограничения, кажется вы могли бы предложить ваши услуги OpenAI. Деньги у ребят есть (Майрософт им недавно 10 млрд. долларов занесла), ваш труд может быть достойно оплачен ;)
да, они починили )
вот так ChatGPT мне ответил 8 февраля:
еще про количество лап таракана наврал ))) (сейчас тоже правильно отвечает, прогрессирует)
Слепоглухонемых детей обучают взаимодействовать с реальным миром через доступные им каналы обмена информации (телесные ощущения, так как остальные - звуковые и визуальные у них отсутствуют). И благодаря этой связи с внешним миром эти люди достигают определенных успехов (правда, насколько я знаю, слепоглухонемой человек, получив высшее образование, покончил с жизнью, но к дискуссии это отношение не имеет).
Выросший "Маугли" вполне адаптирован к окружающей среде, он не может научиться говорить, читать, писать и усвоить достижения цивилизации (исследователи считают, что освоение языка происходит на ранней стадии развития мозга ребенка, если этот момент упустить, то уже ничего нельзя поделать). Но если оставить Маугли в покое и выдать ему такую же девочку, то у них появится плодовитое потомство и они проживут свою жизнь, возможно даже вполне счастливо. Их потомки может быть даже со временем построят цивилизацию, которая создаст "Искусственный разум". Именно благодаря пониманию окружающей среды и взаимодействию с ней они принимают правильные решения и выживают.
В виртуальном мире нет ограничений (точнее они совершенно другие, мало имеющие отношения к реальному миру), а значит там нет понятия "правильного решения для реального мира". Вы предлагаете смоделировать для ИИ "реальный мир", в рамках которого он будет принимать решения и выдавать их нам. Именно это и пытаются сделать "датасаентисты", обучая ChatGPT и прочие нейросетевые модели. В 80х-90х годах прошлого века (в до нейросетевую эпоху) делали ставку на "онтологии" - логическое описание реального мира. "Онтологические попытки" (во всяком случае универсальные) потерпели неудачу из-за сложности задачи, описать реальный мир не удалось. "Онтологический" ИИ предпочтительнее того, который мы сегодня имеем в виду интерпретируемости принимаемых им решений.
Но "модель реального мира" это не реальный мир. "Реальный мир" сам показывает "субъекту" (кто в нем действует), где субъект прав, а где нет (особо грубые ошибки заканчиваются смертью субъекта и позволяют естественному отбору отбраковывать негодных к взаимодействию с реальным миром)). Речь об этом. Для того, чтобы сеть действовала правильно, ей нужно создать модель реального мира, а это очень не просто из-за его сложности. У самой сети нет возможности эту модель "тестировать на практике" и "самообучаться". Она полностью зависит от "обучающего" (и от своих внутренних логических ограничений, которые мы не до конца понимаем в случае LLM). Отсюда совершенно глупые ошибки и ограниченность (одна из) в применении. Не знаю, насколько я мне удалось донести идею (мы очень сложный вопрос обсуждаем, один из ключевых).
В статье, ссылку на которую которую я привожу (https://arxiv.org/pdf/2303.12712.pdf) ChatGPT исследована вдоль и поперек (в сравнении с GPT-4, которой и посвящено исследование). Вопрос не в том, насколько хорошо именно это техническое решение (скажу, как причастный, если его можно дообучать, то под любую частную задачу (например писать код в какой-то области на уровне Мидла), ее можно заточить за довольно короткое время но за большие деньги).
Если это решение "законсервируется", то это будет очередной "хайп", о котором все забудут через год (кроме тех, под чью работу ее "кастомизируют").
Отдельный вопрос - что дешевле, использовать такую модель, дообучать ее или нанять живого разработчика (бухгалтера, юриста, т. п.)).
Надо смотреть не на эту модель, а на динамику, не прошло и года, вышла GPT-4 (в статье выше показывают, что она качественно лучше, чем ChatGPT) и до конца 2023 OpenAI грозится выкатить GPT-5.
Дальше можно делать предположения, как оно все будет развиваться (есть разные аппроксимационные предположения, я на них намекнул в статье, чтобы сколько-нибудь затронуть эту тему (дальнейшие сценарии) надо написать еще одну (не одну) большую статью (там же не только языковые модели, это широкий фронт, одним своим "крылом" выходящий на робототехнику). Но, как я показал в примере с прогнозами Митио Каку (не самый глупый и весьма информированный человек) линейные прогнозы не реализуются.
Процесс или должен упереться в какое-то принципиальное, непреодолимое ограничение, либо пойти по какому-то не линейному пути.
я ответил на возражение подобного толка, заданное немного раньше
https://habr.com/ru/articles/729408/#comment_25458266
Кажется, наоборот, сейчас туда будут вкладывать даже сильно не причастные (государства и далекие от АйТи бизнесы), и одновременно секретить решения
не задумано )
я давно ничего не публиковал, не знаю, как сделать, чтобы было видно
добавил картинку внутрь статьи
Когда начинал, думал, за месяцок-другой совладаю. Ожидания были очень оптимистичные.
Однако, денег мне за это не платят и возвращаюсь я к переводу по мере появления свободного времени.
Карантин в этом деле очень подсобил.
Спасибо, что следите и читаете.
Впрочем, есть уже полностью готовый перевод. Где-то в комментариях к моим главам один хабрчанин оставил ссылку, можно не ждать. Человек взялся и быстро перевел всю книгу, а я потихоньку, надеюсь до лета завершить (если чего опять не навалится).
Т. е. формально ошибки нет (опустим тот нюанс, что Эндрю Ын переопределил эти два понятия и они стали у него чем-то третьим). Однако, я согласен с вами, что в русскоязычной литературе по машинному обучению, по-видимому, закрепились понятия «смещения» и «разброса». Специально посмотрел работы Воронцова К. В. (главный популяризатор ML в наших краях). Должен согласиться с вашим замечанием и буду переделывать перевод.
Спасибо за помощь!
Я бы пока остановился на том, что если кто-то в комментарии укажет на ошибку или предложит более удачный перевод, я просто поправлю свой текст здесь.
Хотя может быть через некоторое время я дозрею (или по какой-то другой причине разберусь с этими ресурсами) и последую вашему совету.