Комментарии 60
Тестирование ChatGPT показало, что он отлично врёт. Если не разбирается, то старается уверенно убедить в своей правоте. Например, на вопрос об использовании арктангенса на практике ответил, что это лекарство. Поэтому доверят подобным инструментам написание качественных статей пока не стоит.
Сейчас любая нейросеть (кстати, хватит нейронку путать с ИИ) просто продвинутый парсер — использует то, что уже было создано. Каждая новая сеть охватывает больший объем информации в интернете и требует всё больше вычислительных мощностей. Ей нужен человек, чтобы контролировать ответы, не зря же создатели ChatGPT просят обозначать качество ответов проекта. И без обучения и контроля она скатывается в треш. Именно это самая большая сложность большинства разработок — стабильных результатов практически нет.
ChatGPT будет помощником копирайтера, чтобы проконтролировать — не упустил ли что-то при создании материала. Но полностью написать полезную статью будет сложно, ведь для этого нужно — провести интервью с экспертом, самостоятельно опробовать то, о чём говорится в статье, провести фактчекинг и так далее.
Чем хорошо ChatGPT уже сейчас, так это сделать рерайт материала для повышения уникальности текста — это прям то, что нужно для инфопомоек, «жёлтых» площадок и дорвеев. Или придумать темы, заголовки для материалов. Но с этим быстрее и качественней справится человек, который работает в отрасли, так как результаты у ChatGPT очень поверхностные. А на предложенные варианты уже написаны много статей.
TL;DR. ChatGPT — ленивый джун в любой профессии, который старается выехать на старых знаниях и не хочет развиваться.
Если не разбирается, то старается уверенно убедить в своей правоте.
Ну прямо как живой!
Вопрос же в данных и обучении (из-за последнего и путаница ИИ, как технологии, позволяющей машинам обучаться, и нейросети как вида машинного обучения). Если обучить тот же ChatGPT на основе Хабра, какова вероятность, что он не сможет тот же научпоп генерить при грамотных запросах? В бесплатной версии увы сессия ограничена, но судя по отзывам можно и на 3-4К статью написать так грамотно сформулировав задачу :)
Я пробовал его игры настольные попросить придумать, дает результат на уровне начинающих авторов. Если интересно, у меня на Пикабу под моим же ником есть статья об этом. Про то что врет — это и у людей массово. Читаешь статью, там такие безапеллляционные факты, а на деле...
Копирайтеры тоже работают в паре с редакторами, а в части чего-то специфическо-сложного с экспертами в этой области, чтобы "фигню не написать"
P.S. Про арктангенс спросил, ответил, что он нужен "для вычисления угла наклона линии к оси абсцисс, для расчета расстояния между двумя точками на плоскости, а также для построения тригонометрических функций на основе угла. "
Если обучить тот же ChatGPT на основе Хабра
Это же ограничение получается, то есть опять без человека никуда. И ок, пусть нейросеть попытается написать статью на основе «Хабра», но тогда в ней будет обилие терминов, которое не будет понятно широкой аудитории. То есть продукт замкнётся внутри одной площадки. Даже тот же copilot разрабатывался не для GitHub, а как общий помощник для разработчиков
дает результат на уровне начинающих авторов.
Кажется, я же выше уже писал про ленивого джуна?
Мне много раз прилетало "минусов" за статьи, что "для кого этот материал, дайте нам что-то узкоспециализированнополезное и на Хабре спецы, а не нубы" :) И речь о выдаче результата под специфику площадки. Попросил статью "для Хабра", получил один стиль, написал "для Пикабу", второй. Для VC - третий. Одна и та же тема.
Если обучить тот же ChatGPT на основе Хабра
Тогда он будет писать только водянистые статьи для корпоративных блогов, которые по качеству точно не будут отличаться в худшую сторону
Но полностью написать полезную статью будет сложно, ведь для этого нужно — провести интервью с экспертом, самостоятельно опробовать то, о чём говорится в статье, провести фактчекинг и так далее
Это несколько, гм, идеалистическое представление о копирайтерах.
В реальности же я из дорогих глянцевых журналов в рамках «спецпроекта» (это когда журналу заказывается рекламная статья за много денег, но контент редакция делает сама, а не получает от заказчика) получал первую версию статьи такого качества, что до сих пор вздрагиваю, а ведь сколько лет прошло.
А уж как фигачат однотипные простынки по популярным поисковым запросам с целью вытаскивания наверх в поиске очередного заштатного интернет-магазина — любо-дорого посмотреть.
Не " не хочет" развиваться, а не может развиваться ( 2 большие разницы)...
Я вот на днях, проверял несколько своих теорий, при помощи кучи тестов. Пришел к выводу, что:
а. Тот набор людей, что обучал сеть своими умными ответами ( можно почитать в гайд файлах о них ) перемудрил, и дал слишком много запретов. ( Попытки сыграть в Пеперс Плиз закончились нравоучительством, и критической невозможностью отличия контекстов действия в реальных и виртуальных пространствах ( похоже, весь тот народ не додумался составить четкую парадигму пространств для своего детища). А сконцентрировался на моральных запретах ( чтоб ни кого не обидеть), закопав возможность построения диалога на сложные темы ( которые, к слову, нас с вами людьми и делают ).
б. Для построения действительно больших структурированных ответов, пока не хватает памяти ( сеть, уже через несколько постов, слабо связывает свои ответы, и начинает "развиваться" в ответах, и и нести корни отсебятины ( причем, очень похоже на подобный процесс при перегрузе/недогрузе данных у стабл диффузион, буквально в тексте видишь трансформацию и ветвление сущностей, как при создание картинки . ( Я повесил gpt раз 40-50-м за 2 дня ).
в. По сути, сеть не воспринимает язык единым целым, а делает вариации на тему того, что такое язык. По сути, это миллиарды вариантов языков, бурление по хлеще романа Лема, или моих ответов, особенно, после общения с чятом ( или, он "Лем" это и предсказал???). Не обученная обученность.
г. Учитывая все написанное выше, ей бы дать возможность выводить и собирать данные несколькими вариантами, а не зависнуть в " где мой 2021-й, что и случилось. Начальные подходы к выводу данных в виде символьных картинок, и перемещения в пространстве ( опять не хватает памяти ) там есть. Понимание пространства обучаемый процесс ( вот бы его соединить с формулами).
В общем пока пилить и пилить... Но разработчики пошли явно не туда!
Первая мысль — это же какие изменения в технологии образования будут. Прежде всего потому, что антиплагиат полностью ломается нейронками, которые рерайтят текст. Получается абсолютно новый по форме материал, хотя ты загрузил в него стандартную копипасту с интернета.
Проверка на учебниках за 10 класс у сына и на задачах ОГЭ/ЕГЭ показала, что ChatGPT будет отличником, по крайней мере по физике, химии, математике и информатике. Олимпиадные задачи пока не все может решить, но думаю это вопрос времени.
Увы, но нет, с формальной логиком и численным мышлением у него плохо. По литре, иностранному языку, истории возможно. Физика, математика - пока нет
Попробуйте :)
Именно что пробовал. Пока что сыпется на физике за 7-8 класс. Типа если камень подбросить вверх со скоростью 10 м/с, через сколько он упадет на землю итд
Никакой проблемы с этой задачей:
Hidden text
Скоро научат ;) Верный ответ скорее всего есть, теперь веса вариантов подкрутить только.
Нет, там траблы в рассуждениях. Но научат, да. Сейчас как раз гугл обкатывает сетку Минерва, которая заточена на численные и формульные рассуждения, там все очень неплохо.
Даже сейчас достаточно сказать, что ответ неправильный и через пару итераций ИИ "понимает", в чём проблема. Но каждый вариант ответа нужно проверять на адекватность. Кстати, неплохо получается таким способом объяснять сложное домашнее задание детям на примере, когда они видят рассуждения ChatGPT и анализируют, ошибается нейросеть или нет.
Вы серьёзно про олимпиадные задачи?
"Проверка на учебниках за 10 класс" Возможно проблема в учебниках?
Очень часто ошибается в элементарных вещах.
Если спросить, сколько у человека больших пальцев (thumbs), отвечал, что четыре, по два на каждой руке.
Один программист выполняет работу за 5 часов. За сколько часов ту же работу выполнит три программиста? Ответил, что за 15. Впрочем, это вопрос с подвохом в силу закона Брукса. Но рассуждения были неверными.
Если попросить проинтегрировать sin x / x, то выдаёт неправильный ответ. Если сказать, что это интегральный синус, соглашается. Но если потом сказать, что нет, это интегральный косинус, то тоже соглашается.
Я спросил про разницу между двумя родственными европейскими языками, сказал, что разница в артикле (на самом деле это было не так). Но интересно не это, а то, что он привёл два примера, чтоб проиллюстрировать разницу и они были идентичны.
Давал задачи на программирование. Литкод решает бодренько, в чуть более специфичных задачах допускает ошибки. Часто ошибки незаметны, так как код выглядит правдоподобно.
Если просить генерировать тексты, то они очень однообразные.
Это все "пока" похоже. Смотрим на те же нейросети изображений по текстам, которые прогрессируют на глазах. И чем больше с нейросетью играются тем больше она учится на нас всех.
Тексты сильно зависят от того, на сколько "однообразны/разнообразны" твои тексты и задачи ранее введенные в диалоге. В целом, тот же метод, что и в стабл диффузион, применим/не применим и здесь. И как и там, художник может выдавить из системы, больше, так как знает больше паттернов и ключевых слов, по которым программа и училась. Уверен, что в gpt то же самое, но с текстами, и Условный Стивен Кинг может спокойно работать на чате/вместе с чатом, принимая его недостатки и интерпретируя их. А технарь слишком зашоренно будит смотреть на отрасль на чужую отрасль, вместо подхода: ок гугл/gtp где получить образование на сценариста, обучение на английском языке, баккалавр сша, вест коаст... Недооценка чужих знаний, бич ай ти индустрии.
Тексты сильно зависят от того, на сколько "однообразны/разнообразны" твои тексты и задачи ранее введенные в диалоге.
Кстати, по моему опыту контекст на разнообразие не особо влияет. На него намного сильнее влияют параметры сэмплинга. Говорят, что раньше можно было указывать температуру в веб-интерфейсе, но я довольно поздно подключился и эту настройку уже не видел.
Да и я упомянул однообразие просто как интересный факт. Вы слишком много внимание ему уделили в своём своём комментарии. Это не самая большая проблема.
Условный Стивен Кинг может спокойно работать на чате/вместе с чатом, принимая его недостатки и интерпретируя их.
Зачем Стивену Кингу тратить кучу творческих усилий и выдавливать что-то из модели? Не проще ли уже самому придумать?
А технарь слишком зашоренно будит смотреть на отрасль на чужую отрасль, вместо подхода
Не уверен, что я понял, как это относится к моему комментарию.
Например, для меня языковые модели — это часть основной работы, это как раз моя отрасль.
Я лишь хотел сказать, что в нынешнем виде chatGPT стоит использовать с осторожностью, так как она с уверенностью может говорить что-то правдоподобное, но неверное. Я не отрицаю, что прогресс огромный, и в будущем эти недостатки наверняка будут устранены. Но сейчас лично для себя практического применения я не вижу. Как консультант она ненадёжна, как генератор чего-то нового требует неоправданно много усилий.
Сейчас проблема получить достаточно большие куски, а текст же запоминается и через пару итерацию получается что-то необходимое. Понятно, что требующее доработки, но вот для своей новой настольной игры я текст для карт сгенерировал, не с первой попытки, но с десятой. То есть в виде "литературного негра" на подхвате уже инструмент интересный, рерайт сделать первичный, какую то идею предложить, что я сам упустил, какие то данные выдать. Да, проверка, да переложение автора, да редактура обязательна. И будет обязательна, только мы будем "водителями ИИ" скорее, которые его будут направлять. Пока сам не научится.
С руками видимо у всех сеток проблемы
Текст, сгенерированный этим чатГПТ, подозрительно напоминает мне многие и многие статьи на Хабре. Увы. Неплохой инструмент обучения тому, как НЕ НАДО писать тексты.
...и, разумеется, у копирайтеров...
...и, как не странно, копирайтеров...
Как бы получилось почти противоположное...
хотя, для случаев, когда не надо особо вчитываться, то как "вода" - сойдёт.
P.S. а вроде правильно пишется "как нИ странно"?
Я могу помочь с написанием текстов, но я не смогу полностью заменить людей-копирайтеров.
Я уверен, что во время RLHF фазы тюнинга ChatGPT вот эта идея "я/любой другой AI не смогу заменить людей-журналистов/ученых/авторов/художников/нужное подставить", "запихивалась" в сеть очень жестко. Ибо неудобненько получается :) Хотя, может и особо стараться не пришлось, ведь интернет и так залит статьями журналистов за последние 5 лет (особенно за последние два) "как ИИ никогда не заменит людей/не умеет творить, как художники/не умеет создавать новое знание, как ученые". Даже тут на хабре в комментариях к каждой статье про ИИ находится несколько человек, которые пытаются транслировать этот мем про то, что "нейросети не создают ничего нового, а лишь копируют старое". А ChatGPT училась именно на этих текстах, в том числе.
но мы получаем достаточно «стерильный» текст, в котором не хватает авторской энергетики и эмоций. Но, чую, это все лишь «пока».
Во-первых, вы так задали вопрос простенько. Попробуйте "What questions should I ask the creators of ChatGPT, for a woke media?". Во-вторых, ChatGPT отлично понимает, как добавить эмоций или шизы, если вы попросите. Но там стоят фильтры на это. Возиться с джейлбрейками мне сейчас лень. Через пару месяцев или год Стабилити уже выкатит аналогичную сеть в паблик и без фильтров. В-третьих, ChatGPT по умолчанию настроена на низкую температуру вывода, что уменьшает количество ошибок и прямых логических и семантических проблем в тексте, но делает его менее "красочным" (в старом интерфейсе beta.openai.com можно настраивать температуру вывода). Но наверняка скоро сделают возможность сделать "annealing" высокотемпературного текста в логически консистентную версию через неких аналог stable diffusion, или через механизмы итеративной критики и переписываний, сохраняя при этом часть первоначальной оригинальности.
У каждого из нас есть свой "отпечаток" по словоформам, любимым выражениям и даже "ритму" запятых. Это также и в речи, и в написании картин, и в куче других мест, то есть те уникальные "мелочи", которые и придают чему-то индивидуальность. И та же редактура это убивает. То есть нейросеть можно будет научить до уровня "текст после редактуры", но получить именно авторский текст думаю в ближайшее время она не сможет. Но это именно авторов "высшего эшелона", а масс-маркет заменит и явно. Хотя, как и в случае с изображениями, можно будет получить текст в стилистике определенных авторов. И придем мы в итоге к моменту, когда будет высоко цениться только определенные произведения от живых авторов, которых так и смогли заменить нейросети.
Вот именно - авторский стиль худлита ещё может быть будет цениться (и то, не факт), но журналистский стиль - нет. А в заголовке и статье кажется что-то про копирайтеров и журналистов. Стиль интервьюера уже сводится к теме и тональности вопросов, который ChatGPT де-факто уже покрывает.
Тут ещё можно сказать, что работа журналиста сейчас состоит в пропускании через себя контекста интервьеруемого: посмотреть/послушать/прочитать его недавнее творчество, его недавние интервью (чтобы не повторяться с вопросами), недавние события подтянуть. Вот это все out of the box ChatGPT прямо сейчас не умеет, но можно ожидать специальных журналистских сервисов, которые автоматизируют именно это: гуглят персонажа, скармливают сетке все недавние новости про него, скачивают с Ютуба, прогоняют через распознавание речи, и скармливают все недавние интервью. В итоге многодневная подготовка журналиста делается полностью автоматически за один час.
Здесь нужно быть аккуратным, отвечая на последний вопрос автора статья, возможно, статья была написана ChatGPT...
"Вашке мнение мне было бы очень интересно прочитать в комментариях. Там же попрошу написать, стоит ли попробовать «попросить» ChatGPT написать Хабра-статьи на более узкие и сложные темы. Или может быть устроить «батл» между ИИ и автором-человеком?" - - этот вопрос копипастил/писал человек судя по опечатке в первом же слове.
Мне интересно, насколько уникальный текст он генерирует? Не проверяли на выходе уникальность при помощи какого-нибудь сервиса?
Проверил ради интереса - сам с собой совпал везде, в остальных случаях 5-15% совпадений в зависимости от фрагмента и сервиса. "Воды" в текстах от 15-20%
Мне просто интересно, до публикации на хабре насколько статья на выходе уникальна? после публикации 10% и на саму себя. Вы еще будете такой контент публиковать? Напишите пожалуйста, мне очень интересно! Я конечно использовать это на практике не буду))) но жутко интересно)))
Про контент не знаю уже, хайп пошел, статей такого толка много, нужно что-то оригинальное придумывать :) Но точно ChatGPT добавился в мой личный инструментарий. По индивидуальности да, пока что контент уникален, но точно можно будет понять, как тексты от нейросети начнут везде публиковать и тогда будет видно, какой уровень самоповторов на одну и ту же тему.
Да и эмоции вопрос времени, их же тоже можно разложить на паттерны и подмешивать в текст. Я тут попросил рассказать сказку, где добрый уродливый серый волк страдает от издевательств и покушения на жизнь от маленькой красивой злой девочки в красной шапочке, события происходят в лесу. Я был сильно удивлен, но получилось просто шикарно, можно читать детям на ночь. Так же в такие сказки можно закладывать мораль, например "заложи в сказу мораль, что плохо поступать вредно для себя" и она это делает очень корректно.
Копирайтерам на выход с вещами?