Как стать автором
Обновить

5 ключевых различий между GPT-4 и его предшественниками

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров47K
Всего голосов 14: ↑9 и ↓5+7
Комментарии31

Комментарии 31

Интересно, чем вызвана такая арифметическая ошибка?

4096 токенов = 8000 слов = 4-5 страниц
32768 токенов = 64000 слов = 50 страниц?!
Если бы во второй строке сохранялась та же самая пропорция, что и в первой, то получалось бы 32-40, а не 50 страниц.

Эта ошибка заставляет меня подозревать, что Devin Coldeway может подсознательно завышать возможности GPT-4 по сравнению с GPT-3.5 и в других моментах.

Так этот рекламный текст chatgpt и писал.

И на русский перевёл.

Поставил задачу GPT-4 и он прошел в генерации кода дальше GPT-3.5, но тоже не закончил ответ до конца.


Пример задачи

Give me a source code of a class in C# language for .NET Framework 4.71:


  1. Use the following libraries:
    a. zip-file compression library with password protection
    b. GitLab library with access via access token
  2. create a class called containerService with the structure:
    a. containerServiceId (int)
    b. containerId (int)
    c. containerCode (string)
    d. serviceId (int)
    e. serviceName (string)
    f. serviceCode (string)
    g. serviceGitlabHttp (string)
    h. serviceGitlabAccessTokenName = “devops_validator_102”
    i. serviceGitlabAccessTokenValue = “glpat-3s_zM-gaoK1r4ksaxB5y”
  3. define a variable filterContainerCode (string)
  4. create a class named containerSubscribedServices with 3 instances of class containerService, where
    a. for instance 1 the serviceCode = “smart_doc_compliance”
    b. for instance 2 the serviceCode = “smart_doc_compliance_v3”
    c. for instance 2 the serviceCode = “emortgage_package_compliance”
  5. for all instances use the containerService.containerCode = filterContainerCode
  6. in system temporary folder create a folder called "package_forcontainer" + filterContainerCode
  7. create a log record about starting package files preparation
  8. loop through the list containerSubscribedServices and read into an instance, named containerSubscribedService
  9. for each instance of a list create a subfolder with the folded name, defined in variable containerSubscribedService.serviceCode
  10. connect to a GitLab project defined in variable containerSubscribedService.serviceGitlabHttp using the GitLab project access token from serviceGitlabAccessTokenValue
  11. from GitLab project read project files into the temporary subfolder, defined in variable containerSubscribedService.serviceCode
  12. when the loop is finished, create a log record about successful package files transfer
  13. define a variable packagePassword (string) = filterContainerCode in characters reverse order
  14. compress folder "package_forcontainer" + filterContainerCode into a zip file with password protection

А каким образом вы оплатили подписку ChatGPT plus? можете подсказать пожалуйста

Хороший вопрос.
Я в штатах.

В телеге полно ботов для оформления us.вирт.карты

Да я сколько ищу ,по крайней мере в интернете, способы все неактуальные, отзывы накрученые, если есть проверенный способ могли бы название этого сервиса или бота подсказать?

Тоже интересно

Могу в личке скинуть ссылку на продавца турецких предоплаченных карт. Брал раза 5 уже. Оплачивал udemy , Google play

Создай виртуальную турецкую карту OlduBil и через P2P Binance пополняй.

Чем больше слов, тем меньше страницы.

Вы нашли простительную ошибку округления в 25%, но пропустили ошибку в 5 раз.

8000 слов это вообще-то 20 книжных страниц.
Похоже, чатбот в режиме фантазирования попутал слова с символами (английское wpm=5*символов в минуту)

составлял 4 096 "токенов", что примерно равно 8 000 словам

Т.е. один токен в среднем обозначает два слова? Может, наоборот?

Не, всякие там артикли, предлоги, союзы, технические местоимения и прочие модальные глаголы как раз примерно половину текста и составляют (в английском с его неразвитыми словоформами).

44 токена на 38 слов

Да, действительно.

Прям странно, откуда мне запомнилось про выкидывание служебных слов.

Ну .. сказочники, способные писать журналистские статьи на заданную проблематику, с обучением по некоторому обьему исходной информации прижились уже давненько. Здесь есть замечание про "обобщать информацию", что является некой претензией на ИИ. Остается следующий шаг: "активная генерация новой информации" на основе каталогизации и обощения с применением некого рандомного подхода. И последний шаг: активное формирование внутренней модели внешней среды на основе предыдущего механизма.

И .. добро пожаловать в мир роботов и ИИ, где человек .. не нужен (но .. может так и правильно?!?)

Проблема всего процесса в том что мало кто понимает реальную скорость роста экспоненциальных функций развития разных процессов во времени: Если стакан заполняется за 30 секунд некими бактериями, делящимися каждую секунду, то стакан был наполовину пуст всего лишь секунду назад!

В приложении к проблеме ИИ: если Вам кажется, что пройдена только половина пути, то вторая половина .. может быть УЖЕ пройдена, пока Вы читали этот комментарий.

В целом согласен, но такой экспоненциальный рост у гпт-4 начнется с момента, когда он получит доступ к собственному коду, а его способности улучшать этот код превзойдут способности всех его создателей - айтишников, тестеров, рлхв-шников, архитекторов, парсеров и всей той огромной толпы людей, которая сейчас этим занимается. А это, судя по презентации - произойдет еще не скоро

Да как раз кода там до смешного мало, буквально тысячи строк кода, и на 95% это стандартные математические операции - что вы тут собрались улучшать? Весь трюк в архитектуре связей, способах обучения и тупо количестве нейронов.

Ну эту архитектуру как раз и можно улучшать. И улучшают уже с помощью ИИ, например: https://www.reddit.com/r/MachineLearning/comments/1138jpp/d_lion_an_optimizer_that_outperforms_adam/

С улучшением архитектуры конечно проблема - очень долгий iteration time. В текущей парадигме он особо не ускориться. Но ИИ может найти и новые прорывные алгоритмы в других парадигмах, таких как neurosymbolic, graph NNs, online DL, etc.

Вообще, меня поразил уровень перевода - если действительно в переводе не было исправлений, то это полностью человеческий уровень. Если у кого-нибудь есть доступ к gpt-4 с 32к контекстом, проведите эксперимент с худ переводом англ рассказа (уже переведенного человеком) страниц на 30-40, забив в систему условие что гпт - художественный переводчик и скормив ему образцы стиля этого человеческого переводчика из других рассказов. И тогда можно будет понять,насколько близок рубеж художественного перевода.

По-вашему, это вообще по-русски?
"совершила свой большой дебют"
"Мир ИИ доминируют носители английского языка"

А тут вообще сохранился хоть какой-то смысл?
"но далеко от полного принятия многоязычных возможностей"
"команда быстро замечает, указывая на это как на самый простой способ заставить модель выйти из роли."

Это почти наугад, тыкая в разные места статьи, начиная с первой же строки.
Впрочем, как говорил один дворник Остапу Бендеру...

"совершила дебют" - распространенное выражение, загуглите. "Мир ИИ" - ошибка на грани опечатки, смысл ясен, наоборот такие незначительные ошибки при сохранении смысла придают человечности тексту ) Я говорил немного о другом, об общем впечатлении от текста - есть общий стиль, интонация, обороты не пляшут, мысль ясна. Это качественный перевод. Проблемы, если они есть. ограничиваются единичными опечатками и смысловым содержанием оригинала, а не формой и стилем перевода.

используется во всем, начиная от виртуального волонтёра

ChatGPT и GPT-3 ограничивались текстом: они могли читать и писать, но это было практически всё (хотя и этого было достаточно для многих приложений).

А это тоже просто опечатки?

Не знаю, может у меня проф. деформация, но у меня статья сразу вызвала ощущение гуглоперевода. Реально очень много корявых моментов, которые выглядят как калька с английского в лучшем случае. Машинный перевод как не справлялся с многозначными словами, так и не справляется до сих пор. В целом не вижу никакого отличия от того, что Гугл транслейт мог 5 лет назад...

"..достаточно для многих приложений" — очевидно, в оригинале было "applications", то есть "сфер применения", а не "приложений".

"Небольшое уговоры могут убедить их в том, что они просто объясняют, что делает «плохой ИИ» или какая‑то другая выдумка, которая позволяет модели говорить обо всем и вся, порой странным и даже тревожным образом." — это вообще на каком языке? Тут смысл с трудом улавливается, даже если знаешь, о чем речь.

"Оно" — постоянно в тексте ИИ называют "оно", от англ. "it", хотя по-русски было бы правильно "он" (интеллект, чат-бот) или "она" (языковая модель, нейросесть)

"быстро выводят ChatGPT и других из их рамок." — кого "других"? Другие языковые модели? Других ботов на основе GPT? "ChatGPT and others" на русском не звучит

"модель теряла след событий после того, как они проходили далеко «назад» в ее функции внимания." — эм... события проходили назад в функции внимания, это на каком языке, опять же?..

"хорошо обобщает и на других языках" — кого обобщает? Общается?

"GPT-4 отлично справился с задачей, для которой оно не было специально обучено" — в одном и том же предложении сначала мужской род, потом средний...

"вы просто давали предложения «по умолчанию» личности" — здесь имеется в виду, что вы не меняли личность бота, а лишь давали толчок в нужном направлении, но как же это криво сформулировано...

Короче, как бы я ни мечтал автоматизировать своё ремесло, но с точки зрения переводчика/редактора это просто жесть, такое нельзя отдавать "в печать", грубо говоря. Серьёзно, если бы кандидат на переводчика сдал такую работу на тестировании, я бы ооочень сомневался, стоит ли ему дать проходной балл.

Это лучше, чем перевод от редакторов хабра. С таким уровнем переводить вручную имеет смысл только профессиональным переводчикам - у них пока получается лучше.

Классно перевела. Работа переводчиков больше не нужна?

ну, только если все вам просто перевод, без заверения печатью.

Если бы:

Небольшое уговоры могут убедить их в том, что они просто объясняют, что делает «плохой ИИ» или какая‑то другая выдумка, которая позволяет модели говорить обо всем и вся, порой странным и даже тревожным образом. 

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории