Комментарии 31
Этот прогресс нейронных сетей и исскуственного разума не остановить
На обложке этой статьи
...которую не видно, если открыть статью не из ленты, а, например, из "читают сейчас". Это так и задумано?
Прорыв, конечно, огромный, но здесь все ещё больше хайпа, чем реальной пользы. Из опыта общения с ботом есть ощущение, что он дообучается, но совсем не в сторону улучшения ответов. Они становятся все более общими и неправдивыми. В начале все это забавно, но потом понимаешь, насколько ответы однообразны и скучны. И к практической копирайтерской или редакторской работе прикрутить его я так и не смогла, а хотелось )))
И, кстати, может, на железе и моркови он и дообучился, но с аналогичными задачами так и не справляется )))
Катерина:
Что тяжелее, килограмм золота или килограмм живых цыплят?
ChatGPTBot:
это ничего не зависит от количества цыплят, а зависит от их массы. Средний вес одного цыпленка составляет около 0,75 килограмма. Так что килограмм золота будет тяжелее, поскольку он имеет большую плотность, чем цыплята. Однако не стоит забывать, что цыплята могут быть разной массы, так что правильным ответом будет "зависит от того, сколько цыплят".
В статье, ссылку на которую которую я привожу (https://arxiv.org/pdf/2303.12712.pdf) ChatGPT исследована вдоль и поперек (в сравнении с GPT-4, которой и посвящено исследование). Вопрос не в том, насколько хорошо именно это техническое решение (скажу, как причастный, если его можно дообучать, то под любую частную задачу (например писать код в какой-то области на уровне Мидла), ее можно заточить за довольно короткое время но за большие деньги).
Если это решение "законсервируется", то это будет очередной "хайп", о котором все забудут через год (кроме тех, под чью работу ее "кастомизируют").
Отдельный вопрос - что дешевле, использовать такую модель, дообучать ее или нанять живого разработчика (бухгалтера, юриста, т. п.)).
Надо смотреть не на эту модель, а на динамику, не прошло и года, вышла GPT-4 (в статье выше показывают, что она качественно лучше, чем ChatGPT) и до конца 2023 OpenAI грозится выкатить GPT-5.
Дальше можно делать предположения, как оно все будет развиваться (есть разные аппроксимационные предположения, я на них намекнул в статье, чтобы сколько-нибудь затронуть эту тему (дальнейшие сценарии) надо написать еще одну (не одну) большую статью (там же не только языковые модели, это широкий фронт, одним своим "крылом" выходящий на робототехнику). Но, как я показал в примере с прогнозами Митио Каку (не самый глупый и весьма информированный человек) линейные прогнозы не реализуются.
Процесс или должен упереться в какое-то принципиальное, непреодолимое ограничение, либо пойти по какому-то не линейному пути.
Да, предсказывать тут что-то – гиблое дело. Говорю только о практическом опыте на сегодня. Сейчас чатждипити выглядит как типичный филистер – многословный, самодовольный, невежественный и абсолютно бесполезный. Примеры с тем, как он у кого-то собаку вылечил или, наоборот, мужика довел до самоубийства, считаю случайностью или стремлением выдать желаемое за действительное.
Но, разумеется, опыта общения с джипити-4 у меня нет. И все может измениться в любой момент и в любом направлении. Наблюдаем )
Даже если это решение "законсервируется" то все равно последствия будут глобальными. По крайней мере это революция в компьютерном интерфейсе.
Смерть командной строки так точно. Чем запоминать команды можно будет сказать - найди на моем жестком диске все фотографии с зеленым попугаем, выбери с самым большим, перекрась попугая в жёлтый цвет и отправь по email.
Я знаю - что фотошоп может заменить фон ( но я не умею - нужно разбираться как )
Я знаю - что маткад может взять интеграл в символьном виде ( но я не знаю как точно это сделать - нужно разбираться как ).
Я знаю - что звуковой редактор может поменять тональность звукового сообщения ( но я не умею - нужно разбираться как )
Я знаю - что на bash можно написать простенький скрипт ( но я не знаю синтаксиса ).
Я знаю - по набору данных можно делать разные выборки ( но нужно знать язык выборок )
И т.д. и т.п.
От 99% процентов идей что можно было-бы что-то не сложное сделать, я отказываюсь, не заморачиваясь с разбором. А с остальными - нахожу решения типа "сделай фотку красивой на нашем сайте в один клик за просмотр рекламы"
Проблему сложности интерфейсов осознали давно - появились Wizard -ы. Но идея не взлетела совсем. А сейчас если ChatGPT дообучить пользованию конкретными программными пакетами и командами ОС - получится совсем другой уровень взаимодействия человека и компьютера.
Да, вполне возможен такой вариант (хотя подавляющее большинство юзеров и так не пользуются командной строкой, и интегралы им ни к чему).
Но мне кажется, вряд ли развитие языковых моделей законсервируют. Если только упремся в принципиальные ограничения
Идеальный вариант - включаешь компьютер: белый экран и запрос - чего желаете?.
"Хочу создать таблицу" - опаньки на белом экране нарисована таблица и две кнопки add row и add column. Ввожу данные. "Хочу раскрасить таблицу" - опаньки добавилась панелька выбора цветов. И т.д. И в конце - "запомни этот вид экрана - может ещё пригодится"
Умрут и понятия файла и понятие ОС и понятие приложения и т.д. Что 99% людей навязали как костыли эпохи начала компьютеризации.
Вот что по моему стоило-бы желать от ИИ. А не глубокомысленных и логичных рассуждений о смысле жизни или решений крутых головоломок. Или текстов фактологически выверенных лучше статей с Большой Советской Энциклопедии ;)))
Гораздо важнее начинать не с белого экрана, а помнить контекст на много лет назад.
Если пользователь увлекается создание умного дома, он не должен каждый диалог начинать с километрового промта "у меня умный дом на контроллерах Siemens, который включены так и так. Я хочу..." Помощник должен идеально знать все скопившиеся за годы требования и локальную кодовую базу, чтобы при внесении изменений не делать типовые решения, а делать как, как нравится пользователю и давно обговорено.
Bing не провести, еще и смайлик ставит в конце)
Hidden text
Но он еще в интернет подсматривает.
да, они починили )
вот так ChatGPT мне ответил 8 февраля:
еще про количество лап таракана наврал ))) (сейчас тоже правильно отвечает, прогрессирует)
Это правильный ответ с точки зрения зануды. Потому что вес (по определению из школьного учебника) — это сила, действующая на опору. Измеряется в Ньютонах, не путать с массой.
В атмосфере более плотные объекты весят больше (при условии одинаковой массы), потому что часть силы тяжести компенсируется архимедовой силой.
Извините, конечно. Но либо вы используете не GPT модель (что часто в разных телеграмм ботах) либо как то дополнительно вопрос усложнили. Вот ответ gpt-4:
Килограмм золота и килограмм живых цыплят весят одинаково, поскольку оба имеют массу в 1 килограмм. Вес – это мера массы, и когда мы говорим "килограмм", мы сравниваем массу этих двух объектов. Таким образом, 1 килограмм золота и 1 килограмм живых цыплят весят одинаково.
И я напомню, что сеть не умеет "дообучаться" ее могут настроить или она может смотреть по контексту (истории общения в чате) но не дообучать.
Чуть раньше приводил скрин из Телеграмм бота с ответом сети от 8 февраля https://habr.com/ru/articles/729408/comments/#comment_25475176
О том, что ChatGPT ошибается в сравнении килограммов я узнал из какой-то статьи. Я перепроверил. Сейчас уже не ошибается (общаюсь с ней через тот же тг канал, что и раньше)
Насчет "не умеет дообучаться" не понял. Сеть не умеет дообучаться, но ее могут дообучить (переобучить) ее создатели, чем они и занимаются судя по тому, что ошибки исправляются.
Попробовать модель можно через Телеграм-бота (вдруг кто-то еще не...)
хорошо, уговорили. попробую я ваш chatGPT
)
я ответил на возражение подобного толка, заданное немного раньше
https://habr.com/ru/articles/729408/#comment_25458266
Позволю себе усомниться в основном тезисе статьи - необходимости чувственного опыта.
1) Ещё в советские времена были методики обучения слепоглухих детей, позволившие некоторым получить lдаже высшее образование.
2) Дети-маугли. При огромном чувственном опыте от жизни на природе - хождение на четвереньках и без речи отсутствие сознания.
3) В конце концов - чем принципиально отличаются три высказывания - "вода жидкая","если упадешь с большой высоты - убьешься","земля круглая". Первое проверяется чувственно, второе гипотетически можно проверить ( но не хочется ) и третье обычный человек проверить особо не может. Все три 100500 раз встречаются в разных текстах. Нужен ли тут чувственный опыт?
Анатомически человеческий мозг от мозга обезьяны не отличается. Рискну предположить что на земле вообще одно единственное! сознание - "Логос". Заключенное в речи: во всех письменных и устных текстах. Логос живой и живет своей жизнью. А человек это "хард", на котором крутится ( и бэкапится ) часть "программы" этого всемирного Логоса. Без него - он маугли...
Так почему этот "хард" обязательно должен быть человеческим мозгом?
P.S. Я лично считаю что весь возможный чувственный опыт человека УЖЕ отражен в письменных текстах. Но даже если это не так - что мешает прокрутить перед ИИ миллиард любых роликов с ютуба, на которых небо вверху, земля внизу, камень падает вниз, небоскреб больше наперстка, лошадь бегает быстрее человека и т.д. и т.п.
Часто об этом думаю ) Выглядит как план: 1. Накопление локаций и условий для получения разнообразного опыта и создание множества вариантов биологического кода.
Появление разумов, которые дают всему этому имена и в целом способны описать сущее, осмыслить и перекодировать в удобные смысловые единицы.
Описания сущего в разных форматах (текст, аудио, изображения, видео) в большом количестве оцифрованы и перенесены в интернет.
Появление разума, способного увидеть не фрагменты сущего (как люди), а охватить и понять все целиком
Что дальше? ))
Проблема Соляриса. Может ли быть у Соляриса ( нашего Логоса ) самосознание?
Имхо самосознание возникает из первичного разделения ( я и не я, я и остальной мир ).
Солярис - он для себя весь мир. Для него ничего ( отдельно от него и вне него ) - нет.
Так и для нашего Логоса ( мира речи и идей ) - ничего кроме него нет ( как в материальном мире - нет ничего за границей вселенной, ни стенки ни пустоты )
Так что имхо - будет бесконечно развиваться и усложняться. Но уже без какого-то качественного перехода...
Таки Солярис, как мы помним, создавал разные сущности внутри себя и для себя даже до того, как появились другие, с которыми тоже можно было повзаимодействовать )
Если следовать разным не очень-то новым представлениям, другого и не существует, а есть игра, майя, смысл которой в том, чтобы единому притвориться многими и забыть про это. А потом эти многие долго и мучительно пытаются снова понять, что они по сути одно. Наступает конец игры, а потом опять по новой.
Солярис создавал, потому что он был придуман человеком.
А если бы никаких людей не было, и других сознаний не было, не факт, что Солярис додумался бы до того, что их можно/нужно создать.
Я имею в виду не людей ))) Симметриады он там всякие создавал сам для себя и прочее.
Так-то да, конечно, Солярис придумал человек. И единственный пока разум, который мы знаем, все время что-то пытается создать, в том числе вот уже и другой разум. Может, и способен существовать разум, у которого нет самосознания и который не пытается осознать себя через другого. Но как понять, что это разум?
Слепоглухонемых детей обучают взаимодействовать с реальным миром через доступные им каналы обмена информации (телесные ощущения, так как остальные - звуковые и визуальные у них отсутствуют). И благодаря этой связи с внешним миром эти люди достигают определенных успехов (правда, насколько я знаю, слепоглухонемой человек, получив высшее образование, покончил с жизнью, но к дискуссии это отношение не имеет).
Выросший "Маугли" вполне адаптирован к окружающей среде, он не может научиться говорить, читать, писать и усвоить достижения цивилизации (исследователи считают, что освоение языка происходит на ранней стадии развития мозга ребенка, если этот момент упустить, то уже ничего нельзя поделать). Но если оставить Маугли в покое и выдать ему такую же девочку, то у них появится плодовитое потомство и они проживут свою жизнь, возможно даже вполне счастливо. Их потомки может быть даже со временем построят цивилизацию, которая создаст "Искусственный разум". Именно благодаря пониманию окружающей среды и взаимодействию с ней они принимают правильные решения и выживают.
В виртуальном мире нет ограничений (точнее они совершенно другие, мало имеющие отношения к реальному миру), а значит там нет понятия "правильного решения для реального мира". Вы предлагаете смоделировать для ИИ "реальный мир", в рамках которого он будет принимать решения и выдавать их нам. Именно это и пытаются сделать "датасаентисты", обучая ChatGPT и прочие нейросетевые модели. В 80х-90х годах прошлого века (в до нейросетевую эпоху) делали ставку на "онтологии" - логическое описание реального мира. "Онтологические попытки" (во всяком случае универсальные) потерпели неудачу из-за сложности задачи, описать реальный мир не удалось. "Онтологический" ИИ предпочтительнее того, который мы сегодня имеем в виду интерпретируемости принимаемых им решений.
Но "модель реального мира" это не реальный мир. "Реальный мир" сам показывает "субъекту" (кто в нем действует), где субъект прав, а где нет (особо грубые ошибки заканчиваются смертью субъекта и позволяют естественному отбору отбраковывать негодных к взаимодействию с реальным миром)). Речь об этом. Для того, чтобы сеть действовала правильно, ей нужно создать модель реального мира, а это очень не просто из-за его сложности. У самой сети нет возможности эту модель "тестировать на практике" и "самообучаться". Она полностью зависит от "обучающего" (и от своих внутренних логических ограничений, которые мы не до конца понимаем в случае LLM). Отсюда совершенно глупые ошибки и ограниченность (одна из) в применении. Не знаю, насколько я мне удалось донести идею (мы очень сложный вопрос обсуждаем, один из ключевых).
Я считаю что если взять все тексты мира ( на всех языках ), ранжировать их по доверительности :
(написанное в учебниках с миллионными тиражами имеет бОльшой вес, написанное в блоге под названием "Записки сумасшедшего" с тремя подписчиками - малый ) и проанализировать их - можно узнать свойства мира не экспериментируя!
Если в большом количестве текстов и учебников написано - "камень сам упал в низ",
а в малом количестве текстов встречаются слова "камень сам улетел вверх", причем в соседстве со словами "чудо", "псих", "вещества", то видимо тому что означает слово "камень" свойственно стремиться к чему-то, что означает слово "низ" ( и не свойственно стремиться к тому, что обозначается словом-антонимом "верх" )
Весь чувственный опыт обычного человека уже описан в текстах ( причем на разных языках, разными семантическими конструкциями и так и этак ).
В конце - концов, что реальный человек узнает из опыта?
Пожалуй только моторные кинетические навыки - с какой силой нужно нажать на стамеску, если глаза видят что слои дерева "перепутаны". Это да - непосредственный мышечный опыт столяра. Но он-то ИИ не нужен... А то что нужно быть особо аккуратным при резьбе по дереву около сучков, а то будут сколы - в какой-то книжке уж обязательно написано.
Большинство того что мы знаем - мы восприняли на веру со слов ( устных текстов ) других людей. Таблицу умножения редкий школьник проверял сложением ( верил учителям, книжкам и калькулятору ).
Я смог придумать только один опыт ( эксперимент или проверку утверждения ) доступный обычному человеку и ещё возможно не описанный ни в одном тексте :
Сыграть на том что чисел бесконечно много - возможно верного утверждения, что ( 123 456 * 123 ) / 13 = 1 168 083,6923076923076923076923077 нет ни в одном тексте в мире, т.к. математических выражений бесконечно много...
Хотя правила арифметических действий в десятичной системе описаны. И мой эксперимент банально из них вытекает и ценности не представляет.
Все остальные эксперименты которые я могу поставить при помощи "кошки, палки и верёвки" уже давно поставлены и наверняка описаны.
Новое ( не описанное ) знание от взаимодействия с миром получают единицы: летчики испытатели, ученые ЦЕРН, спелеологи и полярники...
Так что я считаю - непосредственный опыт человека не нужен ( он уже есть в текстах ). Все упирается в то как:
Как взять все тексты мира на всех языках ( а если не все - то сколько? ).
По какому алгоритму отранжировать их по доверительности?
Ну и собственно алгоритм нейросети...
P.S. Голый человек в лесу - без справочника ( хотя-бы без справочника по выживанию ), без инструментов ( в которых опосредованно заложены знания других людей ), без советчиков и помощников в виде других людей, с которыми он коммуницирует при помощи речи....
Что он из себя представляет? И какие эксперименты ему помогут от смерти...
Значение того что "Реальный мир" сам показывает "субъекту" сильно преувеличено.
Мы - это то что мы узнали от других людей из текстов ( устных и письменных ). И только один из 10 000 нас обогатил эти тексты чем-то новым...
Голые люди в лесу жили несколько сотен тысяч лет до того, как научились говорить (во всяком случае на современном уровне), писать и читать. Жили настолько успешно, что вот мы, их потомки продолжаем жить уже не в лесу.
Если сунуть палец в стакан с горячей водой то будет больно, мы узнали не из книг, или если удариться головой обо что-то твердое, то это не пойдет на пользу голове. Как и много всего остального. Это и есть основа человеческого опыта, основа нашего понимания мира, на эту основу дальше уже накладываются знания из текстов, устных и письменных. При этом ценность наших "знаний из книг" почти нулевая (никому они не нужны). Ценностью обладают только те знания (умения), которые мы освоили. Те, которые нам позволяют воздействовать на окружающий мир, изменяя его в нужную нам сторону.
Перефразируя вас, мы - это наши умения. Если кто-то прочитает (и даже посмотрит видосик), как удалять аппендицит, а потом предложит свои бесценные услуги, боюсь, что никто не согласится воспользоваться (хотя казалось бы, книжка то прочитана). Никому не нужны знания из книжек, нужна их связь с окружающим миром, которую человек собой можете обеспечить (а если не может, то никому он не интересен). Получение опыта - это итеративный процесс взаимодействия с окружающей средой, получения обратной связи от среды, корректировка своего поведения до тех пор, пока не выработается навык, позволяющий решать задачу.
Более того, сами знания в текстах - это продолжение опыта. Был бы у нас другой чувственный опыт (другие органы чувств, другое ощущение времени), вся наша система знаний (в т. ч. физика) была бы другой. Об этом много писали философы и этот же факт (результаты наблюдения зависят от наблюдателя) положен в основу квантовой механики. Чувственный опыт и наука (систематизированные знания) связаны неразрывно.
И это я оставляю за скобками вопросы о неправильной (не соответствующей чувственному опыту) информации, которой в Интернетах на много порядков больше, чем "правильной" (соответствующей). Большую ее часть мы отсеиваем автоматически как раз на основе нашего чувственного опыта, которого нет у сети.
Я вижу, что у вас есть много идей, как улучшить качество работы таких сетей и преодолеть их ограничения, кажется вы могли бы предложить ваши услуги OpenAI. Деньги у ребят есть (Майрософт им недавно 10 млрд. долларов занесла), ваш труд может быть достойно оплачен ;)
del
Про ChatGPT и Искусственный интеллект