Здесь не все так страшно для российских студентов и российских ИИшек:) Закон относится только к европейским разработчикам, он фактически защищает авторство разработчиков в тех областях, когда применение ИИ официально разрешено (безопасность, медиа, управление). Детекторы пока заняты другим - они пытаются ловить нарушителей :) А нарушители скорее всего будут пользоваться теми чатами, которые не оставляют следов, например, российскими или китайскими.
Да, результаты по Думейту и АП различаются, в начале этого года АП был лоялен к студенту , а Думейт наиболее строг. Но осенью новые версии детекторов заметно изменили ситуацию. АП сейчас очевидно набирает очки, а Думейт по некотором возможностям все еще тормозит, в частности, по работе с англоязычными текстами. Посмотрим, чем это кончится.
Камил, вы прекрасно знаете, что любой прибор работает в определенных границах своих параметров. Количество символов является важным статистическим параметром детектора. Чем ближе Вы к границе- тем менее точными будут результаты - об этом не надо спорить. Насчет тире - я никогда не ставлю длинное тире в тексте, только дефис. Видимо, многие так делают, но, разумеется, это не тот признак, из-за которого можно менять авторство. Думаю, детекторы это учтут в ближайшее время.
В Вашем образце было использовано сразу 2 эти способа "получить неверный результат" :)))
И да, забыла- изменение длинных тире на дефисы само по себе меняет вывод. Человек не пользуется длинными тире в принципе. В вашем случае- точно, я проверила. Об этом. пишет автор хабра в статье "Как обмануть AI-детектор, чтобы он не распознал текст от ИИ» — habr.com/ru/publications/839468.
Камил, спасибо за присланные тексты ии пояснения. Думаю, что проблема с представленными результатами обоих детекторов в данном случае может быть связана с тем, что объем текстов слишком мал - что-то около 120-150 слов. Насколько я знаю, требования разработчиков к минимальному размеру текста, позволяющему получать сколько-нибудь надежные результаты, начинаются от 250-300 слов. Turnitin обозначает эту границу как 300 слов. Попробуйте провести тот же опыт с текстом хотя бы в 1000 слов, посмотрите, что получится.
Прочитала, и согласна на 80-%. Но к сожалению, подготовка диплома в вузе ( во всяком случае, по естественным и техническим наукам) обычно занимает пару лет и требует больших постоянных усилий. А придумать технологию за час нельзя. Мне кажется, логичнее проводить аттестацию на основании результатов очной защиты дипломной работы и оценки по специальности :)))
Камил,и все же : Для воспроизводимости эксперимента нужны исходный текст, три последовательные редакции и запросы к нейросети. Без этих материалов скриншот подтверждает оценку Думейта, но не происхождение проверенного текста. Пришлите хотя бы исходный текст?
Да, Интересно! А можете прислать результаты по динамике этого текста на Думейте: сгенерированный текст, 1 итерация, 2 итерация, 3 итерация. Значит, Думейт пасует перед Клодом, а перед Гигачатом - нет. Судя по Вашим данным, GPTZero наиболее надежен в детектировании перевертышей. Надо будет это поизучать....
Здесь могу согласиться, по хорошему, я - за возврат к очной защите для надежной аттестации студента. Но пока тексты тоже нужно сдавать, их как-то надо проверять, и другого способа пока не предложено :))) К тому же, детекторы применяются и в редактуре научных статей, а вот тут без этого вообще никак :((((
Результаты GPTZero, представленные Вами, на самом деле свидетельствуют о полностью сгенерированном тексте. В моей статье есть такой абзац про особенности этого детектора:
"Следует отметить, что GZ очень осторожен, и также, как и АП, старается «не обидеть человека». Если для оценки вероятности того, что текст написан человеком, этот сервис не скупится на 98%, то вероятность написания ИИ даже для полностью сгенерированного текста он может ограничивать величиной в 60-70 %, оставляя до 30-35 % на смешанный текст и единицы % - на человеческий. Причем этот вывод относится к первичному проходу детектора по тексту, без введения "человеческой стилистики". В Вашем случае, как я поняла, было три итерации текста в пользу человека? Вот и получилось вместо 60 % - 43% ИИ.
Прогоните текст через Думейт - там бесплатная генерация и 3 проверки в день бесплатно. И этот детектор максимально объективен, насколько я убедилась.
Вы правы- актуальные версии российских ИИ-детекторов могут определять ИИ-присутствие с высокой точностью. Попробуйте проверить текст, убрав из него формализованные разделы и библиографию. Если величина ИИ-текста все же будет выше 10-15% - текст однозначно писался с применением ИИ (эту долю я оставляю на шаблонные фразы внутри основной части), и придется переписывать все помеченные фразы, увы:((((
Согласна, АП обязательно будет трактовать все формальные фразы как заимствование, поэтому я и написала в конце своей статьи, что нужно менять методику проверки работы, убирая из текста все формализованные разделы и библиографию. Но это уже прерогатива вузов :))))
Привет, Вы правы, АП действительно ищет заимствованные слова из своей базы, поэтому такие фразы, как Вы превели, он трактует, как заимствование. Поэтому я и написала в конце своей статьи, что корректнее проверять основную часть работу без выводов, заключения и других формализованных разделов. Это уже было мое обращение к вузам с тем, чтобы они поправили методику своей проверки :))))
Добрый день, Камил! Во-первых, я абсолютно согласна с Вашим утверждением, что корректную оценку квалификации студента может дать только очная защита, либо решение конкретной задачи, полученной в момент экзамена.
Но не согласна с первым Вашим тезисом - прямо сегодня для Вас специально сгенерировала текст по следующему промту в Клоде: предложи описание программного продукта для онлайн-поддержки принятия решений в области государственного, муниципального и другого местного территориального управления. Ключевые слова: цифровой помощник, многофакторная задача, когнитивные алгоритмы, искусственный интеллект, когнитивное социальное моделирование, деперсонализированные регионоведческие статистические данные, модели-матрицы, мобильные приложения, экспресс-анализ. 604 слова.
Ключевые слова взяла из реальной аннотации проекта, подаваемого в ФСИ. Кстати, успела получить ответ от Клода, который тут же меня заблокировал (жаль, что больше не удастся с ним поработать). Проверила сгенерированный текст на GPTZero и на Думейте. Посылаю результаты
Думей- 93.7% ИИ
GPTZero 99% ИИ
Я проверяла сгенерированные тексты много раз- сейчас уже и Антиплагиат, и Думейт умеют определять ИИ с хорошей точностью. Более того, если я попрошу чат сделать текст более "человеческим" - показатели по ИИ в лучшем случае уменьшаться на 5-10% ( тоже проверяла). Пришлите мне Ваши тексты, если они не секретны, мне интересно проверить их в том числе.
Насчет бесполезности ИИ-детекторов также не согласна. Они не могут определить, насколько обучен студент, но определить, кто писал конкретный текст могут. А ведь это нужно не только для студентов :)))
Здесь не все так страшно для российских студентов и российских ИИшек:) Закон относится только к европейским разработчикам, он фактически защищает авторство разработчиков в тех областях, когда применение ИИ официально разрешено (безопасность, медиа, управление). Детекторы пока заняты другим - они пытаются ловить нарушителей :) А нарушители скорее всего будут пользоваться теми чатами, которые не оставляют следов, например, российскими или китайскими.
Насчет работы руками- я полностью за!
Да, результаты по Думейту и АП различаются, в начале этого года АП был лоялен к студенту , а Думейт наиболее строг. Но осенью новые версии детекторов заметно изменили ситуацию. АП сейчас очевидно набирает очки, а Думейт по некотором возможностям все еще тормозит, в частности, по работе с англоязычными текстами. Посмотрим, чем это кончится.
Камил, вы прекрасно знаете, что любой прибор работает в определенных границах своих параметров. Количество символов является важным статистическим параметром детектора. Чем ближе Вы к границе- тем менее точными будут результаты - об этом не надо спорить. Насчет тире - я никогда не ставлю длинное тире в тексте, только дефис. Видимо, многие так делают, но, разумеется, это не тот признак, из-за которого можно менять авторство. Думаю, детекторы это учтут в ближайшее время.
В Вашем образце было использовано сразу 2 эти способа "получить неверный результат" :)))
И да, забыла- изменение длинных тире на дефисы само по себе меняет вывод. Человек не пользуется длинными тире в принципе. В вашем случае- точно, я проверила. Об этом. пишет автор хабра в статье "Как обмануть AI-детектор, чтобы он не распознал текст от ИИ» — habr.com/ru/publications/839468.
Камил, спасибо за присланные тексты ии пояснения. Думаю, что проблема с представленными результатами обоих детекторов в данном случае может быть связана с тем, что объем текстов слишком мал - что-то около 120-150 слов. Насколько я знаю, требования разработчиков к минимальному размеру текста, позволяющему получать сколько-нибудь надежные результаты, начинаются от 250-300 слов. Turnitin обозначает эту границу как 300 слов. Попробуйте провести тот же опыт с текстом хотя бы в 1000 слов, посмотрите, что получится.
Прочитала, и согласна на 80-%. Но к сожалению, подготовка диплома в вузе ( во всяком случае, по естественным и техническим наукам) обычно занимает пару лет и требует больших постоянных усилий. А придумать технологию за час нельзя. Мне кажется, логичнее проводить аттестацию на основании результатов очной защиты дипломной работы и оценки по специальности :)))
Камил,и все же : Для воспроизводимости эксперимента нужны исходный текст, три последовательные редакции и запросы к нейросети. Без этих материалов скриншот подтверждает оценку Думейта, но не происхождение проверенного текста. Пришлите хотя бы исходный текст?
Да, Интересно! А можете прислать результаты по динамике этого текста на Думейте: сгенерированный текст, 1 итерация, 2 итерация, 3 итерация. Значит, Думейт пасует перед Клодом, а перед Гигачатом - нет. Судя по Вашим данным, GPTZero наиболее надежен в детектировании перевертышей. Надо будет это поизучать....
Здесь могу согласиться, по хорошему, я - за возврат к очной защите для надежной аттестации студента. Но пока тексты тоже нужно сдавать, их как-то надо проверять, и другого способа пока не предложено :))) К тому же, детекторы применяются и в редактуре научных статей, а вот тут без этого вообще никак :((((
Результаты GPTZero, представленные Вами, на самом деле свидетельствуют о полностью сгенерированном тексте. В моей статье есть такой абзац про особенности этого детектора:
"Следует отметить, что GZ очень осторожен, и также, как и АП, старается «не обидеть человека». Если для оценки вероятности того, что текст написан человеком, этот сервис не скупится на 98%, то вероятность написания ИИ даже для полностью сгенерированного текста он может ограничивать величиной в 60-70 %, оставляя до 30-35 % на смешанный текст и единицы % - на человеческий. Причем этот вывод относится к первичному проходу детектора по тексту, без введения "человеческой стилистики". В Вашем случае, как я поняла, было три итерации текста в пользу человека? Вот и получилось вместо 60 % - 43% ИИ.
Прогоните текст через Думейт - там бесплатная генерация и 3 проверки в день бесплатно. И этот детектор максимально объективен, насколько я убедилась.
И пришлите результат, хорошо?
Вы правы- актуальные версии российских ИИ-детекторов могут определять ИИ-присутствие с высокой точностью. Попробуйте проверить текст, убрав из него формализованные разделы и библиографию. Если величина ИИ-текста все же будет выше 10-15% - текст однозначно писался с применением ИИ (эту долю я оставляю на шаблонные фразы внутри основной части), и придется переписывать все помеченные фразы, увы:((((
Согласна, АП обязательно будет трактовать все формальные фразы как заимствование, поэтому я и написала в конце своей статьи, что нужно менять методику проверки работы, убирая из текста все формализованные разделы и библиографию. Но это уже прерогатива вузов :))))
Привет, Вы правы, АП действительно ищет заимствованные слова из своей базы, поэтому такие фразы, как Вы превели, он трактует, как заимствование. Поэтому я и написала в конце своей статьи, что корректнее проверять основную часть работу без выводов, заключения и других формализованных разделов. Это уже было мое обращение к вузам с тем, чтобы они поправили методику своей проверки :))))
Добрый день, Камил! Во-первых, я абсолютно согласна с Вашим утверждением, что корректную оценку квалификации студента может дать только очная защита, либо решение конкретной задачи, полученной в момент экзамена.
Но не согласна с первым Вашим тезисом - прямо сегодня для Вас специально сгенерировала текст по следующему промту в Клоде: предложи описание программного продукта для онлайн-поддержки принятия решений в области государственного, муниципального и другого местного территориального управления. Ключевые слова: цифровой помощник, многофакторная задача, когнитивные алгоритмы, искусственный интеллект, когнитивное социальное моделирование, деперсонализированные регионоведческие статистические данные, модели-матрицы, мобильные приложения, экспресс-анализ. 604 слова.
Ключевые слова взяла из реальной аннотации проекта, подаваемого в ФСИ. Кстати, успела получить ответ от Клода, который тут же меня заблокировал (жаль, что больше не удастся с ним поработать). Проверила сгенерированный текст на GPTZero и на Думейте. Посылаю результаты
Я проверяла сгенерированные тексты много раз- сейчас уже и Антиплагиат, и Думейт умеют определять ИИ с хорошей точностью. Более того, если я попрошу чат сделать текст более "человеческим" - показатели по ИИ в лучшем случае уменьшаться на 5-10% ( тоже проверяла). Пришлите мне Ваши тексты, если они не секретны, мне интересно проверить их в том числе.
Насчет бесполезности ИИ-детекторов также не согласна. Они не могут определить, насколько обучен студент, но определить, кто писал конкретный текст могут. А ведь это нужно не только для студентов :)))