Comments 3
Это подтвердила группа исследователей из Стэнфорда и Калифорнийского университета в Беркли. Она заявила, что уровень успеха GPT-4 в определении простых чисел с марта по июнь этого года упал с 97,6% до 2,4%.
Эта группа маркдаун разметку вокруг кода обрезать не додумалась прежде чем код проверять, отсюда и падение. Парень форкнул их код, поправил эту ошибку и получилось что в новой версии производительность наоборот выше. В твиттере им за это напихали уже, но новость по всем сайтам разлететься успела раньше.
Спасибо за ликбе
Эта группа да. Но факту стало в разы хуже. Я пользуюсь GPT-4 ещё с ограниченного доступа. Но есть другие исследования и личный опыта.
В основном для кодинга с моей стороны. И сейчас это хрень. До этого можно было с хорошим prompt добиться серьезного ускорения. Можно было получить отличный результат за одну итерацию. Сейчас я пишу снова все сам, разве что какие то простые вещи которые лень делать. Отсортируй элементы в порядке убывания )) И то иной раз такие галлюцинации у сети что последнее время использую LLAMA 2 для этого.
OpenAI при поддержке Microsoft подала заявку на торговую марку GPT-5