Comments 14
Дмитрий, неужели было сложно получить доступ к официальному ChatGPT, либо хотя бы к офиц. API? Заодно бы разобрались, что такое системный текст, и что такое промпт-инжиниринг.
Ну ничего себе ты умный xD
Потому что он был бы удивлён, что ии и говорить может и один и тот же тест сможет сдать и на 100 баллов и на 80.
Ну а вообще, за такие вот перлы в тестах, надо розгами бить составителей. "Нам на всех курсах подготовки говорят, что детям нельзя говорить «На фотографии МЫ видим, что…». Это считается за фактическую ошибку, потому что в задании написано, что мы не можем отправить фото другу."
Проверь еще и гугл джемини, он сейчас в топах на арене и работает бесплатно.
Если нужен телеграм бот который адекватно реагирует на большие тексты, может слушать и произносить речь то попробуй этого https://shorturl.at/Fthhl
Дмитрий, спасибо за статью!
Жаль, конечно, что вы экзаменовали только ChatGPT, было бы очень интересно почитать и про другие популярные модели.
Также было бы интересно увидеть сравнение нескольких моделей семейства GPT между собой.
Очень интересный подход к проверке знаний ChatGPT, подтверждает, что армагеддон еще не близко.
Ну и хорошо, что сделали повторный экзамен с более подробными промптами, демонстрирует возможный потенциал AI.
А вдруг сдаст? ..... Спойлер: пока нет...
А вот я бы сказал что уже да. Ведь во второй попытке, получив полноценные вводные, GPT сдал на уровне лучших отличников. И это с гандикапом в виде неумения говорить.
Вы хорошо озвучили причину, почему ЕГЭ или любая похожая формализация "правильный-неправильный ответ" просто смерть для будущего великого математика.
Ты не смог три минуты прогуглить, как установить официальную гопоту, а вместо этого спросил у детей и воспользовался телегой? Удивлён, что ты на хабре имеешь аккаунт.
прочитав, почему то вспомнил простоквашино, для того чтобы что нибудь продать, надо сначало что нибудь купить. может для того чтобы оценить владение языком ии нужно сначала адекватные тесты сделать, потом посмотреть как человек и ии с ними справляются. можно конечно сказать что задача была узкоспециализированная: определить как именно ии сдает егэ. но ведь в некотором приближении это исследование аналогично изучению забивания гвоздика микроскопом. забить можно, но неудобно.
Честно говоря, очень удивляет формат тестирования где специально стоят "ловушки" и скрытые условия, типа 5 абзацев. В чем смысл экзамена то - проверить знания или поиздеваться над сдающим? С таким правилами и native speaker не сдаст россиянское егэ по английскому, написав не правильное количество слов в эссе и дату не в том формате.
Есть утверждение «Джули часто работает летом». А в аудировании фраза «Этим летом я не работаю.» Дети отвечают «Неправда», но ответ — «Не сказано». Тут говорится только про это лето, мы не знаем, что было в прошлые года.
По этому поводу вспомнился старый анекдот.
Во время долгого рейса на судне, капитан однажды "поймал" старшего помощника на том, что тот был нетрезв на вахте. Капитан рассердился, и, невзирая не все уговоры простить, сделал в вахтенном журнале позорную запись - "сегодня старший помощник был пьян".
Помощник затаил зло на капитана, и отомстил. В последний день плавания, когда помощник стоял на вахте, он сделал в вахтенном журнале запись - "сегодня капитан был трезв".
Формально все верно, но смешно, потому что последняя фраза явно подразумевает, что в другие дни с капитаном было иначе.
Так и с Джули. Акцент «Этим летом я не работаю» явно говорит о том, что в другие года было иначе, то есть - Джули обычно работает летом.
Собственно, что я хочу сказать - эти ньюансы языка и бытового восприятия прикольно обсуждать в анекдотах, но на экзамене им явно не место.
С доступом к ChatGPT у меня возникли проблемы, которые смог решить ботом в Телеграме. Сначала мучался с VPN, кое-как зашел, и увидел, что за самую новую и крутую версию надо платить. Я не против, но иностранной карты у меня нет.
Вы сейчас серьезно? То есть со статьей не возникло проблем, а получить даже не последнюю а последнюю бесплатную оф. версию не срослось? Вы же понимаете, что ег проходил телеграмм бот, а куда он ходил и зачем вы не знаете, и не узнаете.
В остальном - субъективное мнение, с придирками к ответам и прочему. Я из другой страны и не в курсе как устроен ЕГ, но если это можно трактовать по разному (что вы и трактуете) то это уже субъективно.
Сделайте на оф 4о, и он покажет приемлемый результат 80+ от максимального количества. Только без придирок, он не смог мне надиктовать, поэтому 0баллов. Ваши дети вряд ли надиктовывают текст с помощью чата.
Дело в том, что это изначально языковая модель, и ее уровень очень высок, особенно в английском. Если отмести неточности в формулировках (что вы признаете), то думаю и 90+ потому что с додумывнием сложно, в отличии от детей.
Может ли нейросеть сдать ЕГЭ по английскому на сотку?