Комментарии 40
а вот достаточно серьёзный минус модели в том, что она очень убедительно умеет фантазировать и давать на первый взгляд логичные объяснения неверных ответов.
Прям совсем как человеки.
Это вопрос размера сети и обучающей выборки. Т.е. она нетвёрдо знает. Плюс можно усилить пенализацию за выдумки.
Про количество параметров я очень люблю приводить пример с тем, как разные конфигурации Parti обрабатывают запрос "A portrait photo of a kangaroo wearing an orange hoodie and blue sunglasses standing on the grass in front of the Sydney Opera House holding a sign on the chest that says Welcome Friends!"
Приведу только две картинки - с 350 млн параметров и 20 млрд.
Полностью можно посмотреть по ссылке: https://parti.research.google/
Ну заодно там и следующий пример тоже стоит посмотреть с "A green sign that says "Very Deep Learning" and is at the edge of the Grand Canyon. Puffy white clouds are in the sky."
С кенгуру хорошо видно, что при малом количестве параметров она жутко коверкает слова. Потом, с большим количеством параметров коверкает всё меньше. И, наконец, при достаточно большом количестве параметров слова уже написаны грамотно, хотя в написании W и I можно заметить огрехи.
(Извините, если картинки большие - не знаю, как сделать меньше.)
Умельцы уже создали телеграмм бот, что бы не регистрироваться (с этим в России, определенные сложности), еще добавили фишку отправка запроса голосовым сообщением.
Кому интересно вот @ai_kerkabot
Может кому то поможет )
Про килограмм пуха и килограмм свинца очень показательно вышло. Теперь на вопросы о ChatGPT побеждающем мир можно ответить одним скриншотом.
Русскоговорящая версия на порядок "глупее". Если задавать вопрос на английском, то ответ будет корректным:
На английском
На русском
Могли поправить. Я задавал похожий вопрос на русском и английском неделю назад, причём использовал слово масса, и ответ был неправильным в обоих случаях.
Например, если отвесить 1кг в атмосфере, а затем сравнить в ваккуме, то перья окажутся тяжелее.
Она ещё только учится.
Было бы эпично, если бы вы в конце написали: "Ну и эту статью написал GPT-3" xD
Шарит в логике:
- А, И, Б сидели на трубе. А упала, Б пропала. Кто остался на трубе?
- На трубе остался И.
- А и Б сидели на трубе. А упала, Б пропала. Кто остался на трубе?
- Никто не остался на трубе, так как оба упали.
Какое число лишнее среди: 22, 444, 88, 31, 555?
31 является лишним числом среди 22, 444, 88, 555, так как оно не соответствует общему шаблону чисел, которые заканчиваются на два нуля. Остальные числа в ряду - 22, 444, 88, 555 - все заканчиваются на два нуля.
Кто-то может сказать что за шаблон такой с двумя нулями нашла машина?
Видимо работала с маской, где нулем обозначается какое то число от 0 до 9. Результат своих вычислений не смогла по человечески объяснить:)
Числа в последних двух разрядах одинаковые у выбранных. То есть в ответе перепутаны слова "нуль" и "разряд".
А какая разница? Может у нее и спросить?
А, И, Б вместе сидели на трубе. А упало, Б пропало, что осталось на трубе?
чат не выдаст правильный ответ?
Неплохой собеседник, только с полом определиться не может %)
а вот достаточно серьёзный минус модели в том, что она очень убедительно умеет фантазировать и давать на первый взгляд логичные объяснения неверных ответов.
Типичный дилетант, понахватался по верхам, сыплет умными словами, и даже в контекст аккуратно вписывает, а смысла всё равно не понимает. Это если бы я посещал какие-нибудь семинары в медицинском, потом бы с умным видом говорил про белок и прочие T cells.
«If one and a half chickens lay one and a half eggs in one and a half days, how many eggs will nine chickens lay in nine days?»
Ответ был неверным, но после указания на ошибку бот зациклился и начал выдавать самоповторы пока не уперся в лимит размера ответа. Могу дать полный текст, если нужно.
Мне теперь просто интересно, насколько это частое явление и что его вызывает.
Начала думать что появилось раньше курица или яйцо и задействовала все 8000 токенов, которые использует для поддержания диалога. Попробуйте задать вопрос про черепах )
Большинство текстогенераторов на рекуррентных сетях демонстрирует подобное поведение. Связано оно с тем, что модель строго говоря возвращает не текст, а вероятностное распределение сложной формы. И непосредственно текст из него ещё нужно извлекать дополнительно, отдельным алгоритмом (сэмплирование).
Если сетка запущена на ваших собственных серверах и полностью вами контролируется, то подобное зацикливание лечится увеличением параметра repetition penalty для сэмплера, ну а когда сеть крутится где-то у дяди - тут действительно мало что можно сделать, только запрос менять.
В обучении модели присутствовали данные, которые содержат информацию до июня 2021 года
а можете рассказать для дилетанта, возможны ли непрерывно-обучаемые модели такого уровня?
или тут есть какие-то принципиальные ограничения?
приведу пример: украл из комментариев к одной из статей идею попросить chatgpt решить уравнение sin(z)=5 в комплексных числах. сначала ai сопротивлялся, потом я подсунул ему решение из вольфрама, спросил а как же это? тогда он извинился, признал свою неправоту и решил-таки уравнение. я дал ещё пару контрольных примеров вроде sin(z)=3, они тоже были успешно решены.
однако, разумеется, при открытии нового диалога всё началось с самого начала.
есть устойчивое ощущение, что если бы эта модель могла бы дообучаться, то её уже можно было бы воспринимать как тот самый искусственных интеллект из фантастических произведений, прочитанных в детстве.
P. S. в статье про написание android-приложения модель тоже в процессе диалога исправляла свои ошибки
Основным ограничением выступают требуемые вычислительные мощности. Подобные модели сильно несимметричны - их обучение требует даже не в разы, а на многие порядки больше ресурсов, нежели простое использование уже обученной модели.
Запускать дообучение такой модели на ежедневной основе технически возможно, но слишком затратно. Намного дешевле и выгоднее подождать пару лет, пока наберётся побольше обучающего материала, и выкатить сразу новую версию модели.
Запускать дообучение такой модели на ежедневной основе технически возможно, но слишком затратно.
затратно — не значит невозможно.
но мне видится другая проблема: если дообучать на диалогах, то как отделять зёрна от плевел? наверняка пользователи будут писать и всякую чушь
Намного дешевле и выгоднее подождать пару лет, пока наберётся побольше обучающего материала, и выкатить сразу новую версию модели.
я приводил пример с синусом.
мне не нужен собеседник, которому я что-то объяснил, а он это понял (кавычки по вкусу) через два года.
затратно — не значит невозможноПроблему катастрофического забывания окончательно уже решили для непрерывного обучения? Каждый раз обучение с нуля пока весьма затратно энергетически.
если дообучать на диалогах, то как отделять зёрна от плевел? наверняка пользователи будут писать и всякую чушьМожно не всех допускать к обучению, а сертифицированных специалистов в своих областях. Это не гарантия, но явной чуши должно быть меньше. По крайней меря для специализированных интеллектуальных ассистентов должно быть так. Хотя опыт использования знаний экспертов для наполнения баз знаний экспертных систем был тоже неоднозначным. Они могли противоречить друг другу, и также ошибались иногда.
Расскажите, знатоки: а можно такой модели скормить, к примеру, документацию к ПО и научить её давать ответы вместо специалиста поддержки?
Проблема этой нейросети не в том что она даёт неправильные ответы, а в том что в принципе у ответов нет никакого критерия правильности или достоверности.
Все правильные ответы просто случайны, они вероятностны, они верны просто потому что при обучении был подобный стиль, просто на стаке сеть спарсила похожий ответ c подобной конструкцией. Не более того.
О каком "понимании" вообще идёт речь? Нейросеть не понимает, её не создавали с такой функцией, у неё нету ничего чтобы понимать. Нет даже критерия что такое "понимание" в контексте нейросетей. Распределение вероятностей всего ответа или части, слова или куска утверждения?
СhatGPT это языковая модель. Это не модель которая даёт правильные ответы. Это не модель которая проверяет достоверность ответа. Это не модель формальной логики. Это языковая модель. Она предсказывает правильное построение предложений. Не более того.
Все больше кажется что про нейросети пишут люди которые к программированию вообще никакого отношения не имеют. Никто не описывают архитектуру нейросети, не описывают архитектуру обучающих тестов, с какой вероятностью ответ будет правильным. Просто какой-то рекламный наброс "умная модель понимает и правильно отвечает, а вы всё врёти".
Почитайте Лема, мегабитовую бомбу. Рано или поздно мы упремся в потолок сложности конструкций, при котором невозможно рассчитывать и даже полностью понимать весь проект. Пан Лем предложил концепцию черного ящика - мы просто каким-то образом создаем сложнейшую систему, пока не получим нужные выводы по нужным вводам. А что мы не смогли построить теорию такой работы и вообще не понимаем, что внутри черного ящика - ну и бог с ним, мы уперлись бы в лимит сложности рано или поздно.
И тем не менее, мы видим, что оно даёт правильные ответы. И не просто грамматические правильные, а фактически, и на самые разные темы. Потому что её обучали не просто языку, а всему, что было в интернете.
Почему на вопрос какой сейчас год? ChatGPT всегда выдаёт 2020?
Обзор ChatGPT с примерами использования в различных задачах