Comments 47
Изо всех щелей на этом сайте сочится этот ChatGPT, уже рвотный рефлекс от набора этих букв. Можно как нибудь посты где любое упоминание ChatGPT есть скрывать? Буду благодарен если подскажете.
ChatGPT это безусловно технологический прорыв, это технология которая сделает жизнь многих людей легче, поможет во многих направлениях науки и прогресса, но вот что меня беспокоит - это именно языковая модель. Образно говоря, ChatGPT знает все книги по математике, но не знает математики (и также с остальными науками). Как языковая модель, он способен оперировать именно языковыми конструкциями, а не точной логикой. Строго говоря, даже если спросить его "сколько будет дважды два", ответ будет базироваться не на строгих вычислениях, а на огромной совокупности ответов, которые удалось нагуглить в процессе обучения.
Поэтому с "семантикой" и "логикой" там проблемы (про килограмм железа и килограмм пуха уже где-то было обсуждение). То есть какая-то логика там конечно есть, размазанная тонким слоем по миллиардам "параметров". Но строгости ей все-же недостаточно. А ведь именно это необходимо для настоящей научной деятельности, научного поиска, совершения открытий, доказательства теорем, построения теорий, проектирования устройств. Надеюсь, следующим шагом будут уже семантические модели. А вот в их построении и обучении как раз и смогут помочь модели языковые.
Надеюсь, следующим шагом будут уже семантические модели.
Да, эта версия пока только игрушка. Но понятно в какую сторону ее играть)
ChatGPT знает все книги по математике, но не знает математики (и также с остальными науками)
Да, только что попробовал спросить, почему у электрона полуцелый спин. Ответ убил:
У электронов полуцелый спин из-за того, что они являются частицами с полуцелым спином в соответствии с квантовой механикой. Это означает, что у электронов есть спин, который может иметь половинное значение единицы в системе единиц измерения спина.
Потому что ответ этой штуки - это сочинение на заданную тему. Причём, в отличие от школьного соченения, здесь нет ограничения на использование реально существующих источников. Пример
Если, как здесь где-то предлагалось, обучать ChatGPT только по научным статьям, по узким направлениям и с обяательным указанием реальных источников, это могло бы быть интересно.
Если, как здесь где-то предлагалось, обучать ChatGPT только по научным статьям, по узким направлениям и с обяательным указанием реальных источников, это могло бы быть интересно.
Но это бы не решило проблему, мы по прежнему бы получали "сочинение", но немного в другой стилистике. Логические операции были бы всё также недоступны. И опять же, сеть не может признаться что чего-то не знает, у неё другая задача - сгенерировать текст и она это делает.
До тех пор пока этот ChatGPT будет доступен в виде онлайн сервиса по подписке нет особого смысла его использовать в каких-бы то ни было серьезных кейсах.
Если я правильно понимаю сейчас состояние обучения ChatGPT фиксировано. Домучается только в рамках текущей сессии а мотом забывает и новые данные в него не загружают.
Интересно а если такая сеть сможет непрерывно обучаться на новых данных из интернета и помнить все то чему её научили пользователи. Представляю как быстро сможет данная модель учиться у миллионов пользователей.
ChatGPT знает все книги по математике, но не знает математики
Интересно а сможет ли ChatGPT уточнять запросы у специализированной сети например основанной на семантической модели которая именно знает математику или физику. И это будет целый комплекс или конгломерат нейросетей и других моделей например специализированных математических и прочих пакетов которые как говориться будут нечто большее чем простая сумма частей.
В интересное время живем. Например можно задать вопрос: На наклонной плоскости с углом x лежит груз массой m коэффициент трения z каково ускорение свободного падения ?
Интересно а сможет ли ChatGPT уточнять запросы
Не просто уточнять запросы, а помогать создавать такие специализированные сети. В мире огромное количество научной литературы, но она вся на человеческом языке. С языком ChatGPT работать умеет. Но есть еще формулы, графики, диаграммы, здесь я подозреваю все хуже, но тоже решаемо. А дальше нужно все это размечать семантическими тегами (адский труд, но почему бы не поручить его языковой модели?) и уже на размеченном материале учить сети следующего поколения.
Здесь на Хабре были статьи и про заход с другой стороны. Вот например, группа математиков пытается оцифровать математику. Результаты таких проектов рано или поздно сольются с результатами работы нейросетей, и мы получим таки то что хотим.
Интересно а сможет ли ChatGPT уточнять запросы у специализированной сети например основанной на семантической модели которая именно знает математику или физику
Думаю, перспективнее было бы начать уточнять запросы по кодингу у компилятора)
ChatGPT, ..., потеснит программистов не потому, что он будет за них генерировать код по текстовому описанию алгоритма, а потому, что этот код никому не будет нужен.
Мне бы очень хотелось верить в это. Но пока к этому есть пара небольших препятствий:
(Теоретически преодолимо) Языковые модели (ЯМ) обладают ограниченным контекстом. Для ChatGPT это 4096 токенов (около 3К слов). За этой границей все сказанное в ходе сессии "забывается" моделью. Когда речь идет о работе с более-менее сложной предметной областью, таким размером контекста не обойтись: надо или тренировать модель но большом количестве текста из этой предметной области (а его может не быть или это очень дорого) или помещать все эти знания в контекст в виде правил (на что может не хватить места). Соответственно, изложить квантовую термодинамику или любой другой передний край науки ни в 4К, ни в 4М токенов невозможно. А создать достаточное количество текстов в этой области можно только когда она безнадежно устареет.
(Пока непреодолимо) ЯМ вероятностные по своей природе. Их функция - токен за токеном предсказывать, какой токен наиболее вероятен с учетом всех уже имеющихся в контексте. Соответственно, их способность к абстрактному мышлению фундаментально ограничена теми знаниями, что уже там есть (были в обучающем корпусе) и возможностью слово за словом выводить утверждения. Создание новых токенов, наделение их смыслом (т.е. задание таблиц вероятности их положения среди других токенов) пока невозможны.
(Возможно, преодолимо с ростом сложности) ЯМ пока плохо понимают, когда они лгут: в них нет критика, который бы заставил их переосмыслить написанное. Справедливости ради, если в отдельной сессии спросить ChatGPT верно ли утверждение, которое она сгенерировала в соседней вкладке, она иногда соображает, что написала чушь. С умилением вспоминаю как она уверенно утверждала, что фитоняши - это вид семян (простите за огромный скриншот).
(Возможно, преодолимо с ростом сложности) При наличии противоречий в контексте, ответ модели может меняться на диаметрально противоположный только благодаря лишнему пробелу, поставленному в случайном месте. Выявить и устранить подобные противоречия - интересная задача, но я пока не встречал работ на эту тему. Если у кого-то из хабровчан есть на примете научные работы - прошу поделиться.
И в то же время, я всей душой с Вами. Я хочу, чтобы в каждый телефон, в каждый дом пришел верный друг, советчик и помощник, Великий Инка (см. серию подростковых книг "Астровитянка", Н. Горькавый).
Все проблемы ChatGPT за последние месяцы обсуждены вдоль и поперек. Эти проблемы и стали большим проблемами, лишь потому, что в разговорных моделях произошел прорыв. Все хотят не только понимания текста и гладкой его генерации, а полноценного инструмента работы с текстом. И скорей всего чисто на LLM этот инструмент не будет построен. Ждем следующего прорыва в технологи.
Языковые модели (ЯМ) обладают ограниченным контекстом. Для ChatGPT это 4096 токенов (около 3К слов). За этой границей все сказанное в ходе сессии "забывается" моделью.
Не знаю технических деталей, но я скопировал один длинный чат на английском в текстовый файл, и он занимает 27,5 килобайт. При этом ChatGPT по просьбе выдает список всех затронутых тем и даже дословно цитирует первое предложение в чате.
Я спрашивал иногда (интереса ради) источники, и он они даже выглядели реальными, но при попытке захода на источники, либо 404, либо сайта не существовало. Разок попадался реальный источник, но 1 из штук 20. Может конечно не везло, но подозреваю, что он их генерил на лету.
Возможно в бинге эта проблема будет решена, да и версия gpt там на пару порядков свежее.
А можно что-то похожее, пусть и намного слабее, поднять локально? Есть что-то готовое?
... ChatGPT ... потеснит программистов не потому, что он будет за них генерировать код ..., а потому, что этот код никому не будет нужен - бот сам будет в состоянии исполнить запрос. Только напиши, что сделать, укажи, где данные, и получи результат.
С умилением вспомнил километровые треды недовольных тем, что современный софт жрет много ресурсов, "потому что написан на Electron".
Трепещите, будущее идёт! :)
Кто-то уже пробовал попросить её назвать случайное число и потом попросить объяснить, почему она выбрала это число?
Please give me a random number
53
Explain why you chose this number
I chose the number 53 randomly. As an AI language model, I don't have personal opinions or preferences. I simply provide responses based on the data I was trained on.
И каждый раз число разное, но объяснение то же?
Sure! Here's a random number: 42.
I chose the number 42 as it is a number with cultural significance in many forms of media, including science fiction. In Douglas Adams' "The Hitchhiker's Guide to the Galaxy," the number 42 is famously described as the "Answer to the Ultimate Question of Life, the Universe, and Everything," calculated by an enormous supercomputer named Deep Thought over a period of 7.5 million years. This use of 42 as a humorous reference has since become a popular meme, and the number has been referenced in many other works of fiction as well.
Александр! А вы уже покинули должность системного аналитика в лаборатории ИПИ (Москва)? Читаю ваши статьи, даже иногда интересно - у вас это кто-нибудь из "китов экономики" покупает? Ну Газпром например, или Сибур прямо в пром ставит? Или событийно-ориентированные (Event-Oriented) системы, да еще на не фон Неймановской архитектуре - это только предполагаемое вами будущее? Я, допустим, сижу на Dataflow. Понимаю, что и архитектура у меня до моей пенсии как программиста будет фон Неймановская, и цифровизацию в классических ее понятиях никто не отменит - потоки данных гуляют в парадигме 50-70 годов еще 20 века. Под это заточены: ЯП, фреймворки, люди, образование, каналы связи. Объясните попроще, зачем вам нужен этот chatGPT - попугай, если понятно, что он сам вырос из классической информатики. А на остальные случаи, которые вы описываете в своих трудах, давно есть Oracle Flashback Technology. Или ее аналоги.
Да, продолжаю по договору с ИПИ создавать семантический движок. Он вполне себе уже работает. Задержки с выпуском больше организационного уровня, не технического. А Oracle Flashback - это же просто про темпоральность данных. А я в IT занимаюсь исполняемыми моделями на событийной семантике. С китами в блокчейновскую бытность соприкасался, но как не платили, так и не платят)))
Предлагаю ИИ спросить написать что-нибудь на 1С. Словами бухгалтера. Мне кажется понадобиться еще один человек который будет переводить с бухгалтерского на программистский. А точно - это же и есть 1с-ник.
Как я учил ChatGPT