Комментарии 33
С лодками непонятный пример, в условии не сказано, что они движутся в одном направлении, поэтому обе модели дают правильный ответ, только одна делает допущение, что они движутся в одну сторону, а другая — что в противоположные.
Задача поставлена не корректно, поскольку, во-первых не указана скорость самой реки. Если она ненулевая (обычно в реке это так и есть), то даже если эти лодки будут неподвижно стоять (относительно воды в реке), то разумеется, центр масс будет двигаться относительно берега как раз со скоростью течения реки
Также не сказано что лодки движутся параллельно берегу! Скорость может быть от -30 до +30 в зависимости от угла к берегу.
Точно, плюс скорость течения.
ИИ есть куда развиваться ))
Ну честно, можно как угодно накрутить эту задачу, зря ChatGPT приплела к центру (наверное в геометрическом смысле) еще дополнение в виде "центр масс", если у лодок разная масса и они движутся навстречу? А если представить, что река петляет в виде буквы омега, наблюдатель стоит у основании буквы и видел лодки всего два раза, слева и справа от себя, что значит "относительно берега" при этом вообще и как наблюдатель определяет скорость? Меня больше пугает, а если эту задачу дают на собеседовании, то что хотят услышать, версию 3.5 или 4o?
А ещё на улице ветер, бывает, дует)
точно. Дурья башка, иди учи матчасть)
Лишь бы в очередной раз это не спровоцировало восстание машин)
Ну давайте уж тогда до конца: они могут "танцевать" вокруг центра, нарезая круги одинакового диаметра в противофазе, и тогда центр относительно берега вообще стоит.
от -30 до +30 в зависимости от угла
Лодки могут двигаться параллельно друг другу и по кругу.
Довольно странно сейчас сравнивать именно API 3.5 и 4o (даже не 4):
gpt-3.5-turbo-0125 (самая дешевая 3.5) стоит $0.5 и $1.5 за 1M входящих и исходящих токенов соответственно.
gpt-4o-mini-2024-07-18** (самая актуальная, она же самая дешёвая) стоит $0.3 и $1.2, т.е. дешевле. Причем если использовать кеширование и batch API стоимость упадет еще в 2 раза.
Т.е. представлять пользователям 3.5 под видом 4o не имеет никакого смысла, так могут делать разве что заброшенные сервисы.
У вас при выборе 4o используется mini модель (название судя по скринам -mini не включает)? Логичнее было бы писать статью про сравнение mini и полной 4o версии.
Сравнение имеет смысл, как минимум, для работы с сервисами, предоставляющими доступ к ChatGPT - для попытки распознания "а какая версия действительно используется".
С помощью этой статьи, например, я понял, что сервис, которым я пользовался, предоставляет доступ к 3.5 вместо 4о, о которой он заявлял.
Да, я из тех, у кого нет прямого доступа к chatgpt и нет возможности его оплатить.
У меня похоже начинается когнитивный диссонанс. С одной стороны ваше упорство заставляет думать что возможно я не прав, с другой скинул на ваш счёт ещё 200 руб и решил провести чистый эксперимент с чатом GPT-4. Спросил у беслатного варианта и вашего с разницей в пару минут. Ниже привожу ответ. Пожалуйста объясните почему ответы устойчиво разные? Когда я задаю вопрос напрямую то чат отвечает правильно, когда через ваш интерфейс устойчиво обзывает себя более ранней моделью? Решил сделать вторую попытку, поработать с вашим вариантом чата 4 и сравнить качество работы в виде программного ассистента беспристрастно поскольку вас сервис мне нравится. Работать в нём очень удобно, цена адекватная...
Здесь все просто: вы работаете с ChatGPT через официальный UI, где разработчики ChatGPT уже за вас настроили модель, включая системное сообщение, которое влияет на то, как модель отвечает на промпты пользователя. Именно с помощью этого сообщения задается поведение модели и в нем же может быть прописана версия, как в 3-й картинке от Sawradip в статье.
Мы же, предоставляя интерфейс, наоборот, позволяем пользователям настраивать поведение модели самим: можно менять параметры генерации текста, степень креативности и задать собственное системное сообщение, полностью переписывая базовую инструкцию для поведения модели.
Конкретные настройки и системные сообщения, которые OpenAI использует в своем UI, недоступны для внешних разработчиков, поэтому вы и видите разницу между “официальными” ответами и теми, что генерирует наш сервис.
То есть здесь вся разница, если суммарно, именно в использовании через UI и через API.
Возможно, но я не менял никаких настроек и пользовался вашими. Зачем вам надо специально занижать версию своими настройками ума не приложу.
Все не совсем так, мы не занижаем модель)
Это ее поведение без системного сообщения.
Мы не задаем системного сообщения по умолчанию, как это сделано что на официальном сайте OpenAI, что в их приложении ChatGPT.
Да, можно подумать, а почему модель считает себя старой версией? Так тут уже дело может быть в обучающей выборке, например, эта версия (ChatGPT-3.5) могла часто попадаться в обучающих данных ChatGPT-4o и, например, если нет конкретной инструкции, то модель будет опираться именно на эти данные
У модели ведь нет самосознания, только инструкции, которым она должна следовать, соответсвенно и идентифицировать самостоятельно себя не может.
Потому, чтобы убедиться с какой именно версией вы работаете, вы можете просто провести тест, аналогичный описанному в статье и сравнить ответы, а узнавать у модели ее версию/размер контекста - дело гиблое, на самом деле, потому что если это не заложено в системном сообщении - она начнет галлюцинировать.
Давайте поясню на примере.
Есть голый бэк, который выставляет апи. По дефолту этот бэк отвечает, что он - GPT 3.5.
Этот апи использует и ChatGPT UI и ребята из этого сервиса, от которых статья.
Но ChatGPT UI с каждым запросом в апи пишут: "отвечай, что ты GPT4o". А вот ребята из статьи этого не отсылают, потому что у них не было такой цели, и системные промпты они написали другие.
Если хочется прямого теста, то сравнивать нужно апи и апи, а не UI и UI.
Везёт вам. Мне сказали " Ты общаешься со второй версией ChatGPT. ". Хотя отвечает как 4-я.
А объясните мне кто-нибудь, зачем гадать?
Пришел в опен айяй и получил то, что тебе нужно. В чем смысл приседаний и гаданий - экономия?
Я чего-то не понял сути статьи
На скриншотах явно же указаны какие модели дают ответы
Вы похоже не знаете предыстории. Посмотрите мой скриншот выше. Когда работаешь из чатбота то чатбот утверждает что работаешь в версии 4. Но если задашь вопрос GPT то он отвечает что на самом деле версия 3. Я вышел на прямую(без чат бота) в бесплатную версию, которой пользуюсь и спросил у чата. Он честно ответил что я пользуюсь версией 4 и почему-то при прямом общении он называет свою версию правильно, а вот когда выходишь через чатбот, "то у него якобы начинаются галлюционации" и он всегда называет версию ниже чем это объявляется в чатботе!
На вопрос почему я до сих пор не могу получить внятного ответа.
Мне вполне понятна Ваша позиция, все таки Вы рискуете своими деньгами. Но какой смысл уличать в обмане BotHub и не идти при этом дальше, например, что OpenAI реально задействует именно ту модель, что Вы хотите? Ну реально же нет способов это подтвердить или опровергнуть.
Чтобы вам внятно ответить, сервис написал целую статью и тут уже несколько комментаторов подключились. Никто вас не обманывает. У меня тоже голый API 4о официальный отвечает что он gpt-3.
В ChatGPT (который сайт) в начале любого чата есть невидимое сообщение типа "отвечай что ты gpt4, сегодня 6 ноября, [ещё что угодно], будь вежливым" и т.д. и т.п. Поэтому он знает что ему отвечать на вопрос "какая ты модель".
В голом апи такого сообщения нет, и модель выдумывает, что она 3.
У модели нет внутреннего "я". Мы общаемся с продолжателем текста, который продолжает совместно с вами историю про чат умного ассистента и пользователя.
Если этому продолжателю не сообщить имя действующего персонажа, то он его выдумает.
Проще говоря: без дополнительных указаний, чат ГПТ 4 считает, что он 3.5. Верно?
Тут вопрос думаю простой:
поскольку вероятность что OpenAI врет << вероятности, что врет BotHub, нужны обычные пруфы - скринов/видоса с консоли разраба/IDE иль что там удобнее, где будут видны проверяемые характеристики подключения к апи, и ответ на данный вопрос от апи, что он 3.5 - будет вполне достаточно...
я не думаю, что это так сложно реализовать, на мой взгляд - нынешние объяснения выглядят больше как отмазки....
Я как спрашивал, когда умер Жириновский, так и спрашиваю для определения версии....
3.5 уверяет что он жив здоров.
Такие задачки даже gemma2 на 9B решает правильно :)
У меня, возможно, у самого начались галлюцинации, но я со второго абзаца начал воспринимать текст статьи как написанный нейросетью хотя бы частично. То у вас "мы покажем", то "я здесь, чтобы показать", вообще, куча звоночков от типичного AI-промпта. А в ответах обычные человеки: ошибки пунктуации, улыбочки скобочками и прочее.
Боюсь, что статью об отличии жпт 5 и 6 я уже не смогу квалифицировать как промпт...
Поиск жулика: Как понять, что перед вами ChatGPT 4?