Comments 41
А вы уже пробовали использовать ChatGPT для решения задач в работе или учебе?)
Некоторые простые скрипты он и с 10-го раза написать не может, так что все эти
работает с первого раза
-- ,часто, ошибка выжившего.
Но это не отменяет того факта что нейросеть умеет читать скрипт (скорее всего на основе комментариев из обучающей выборки) и корректно редактирует код после требований.
Чтобы было действительно вау, нужно что то чего в сети еще не пробовали. В таких случаях, когда данных у бота недостаточно, он начинает придумывать, и этот бред выглядит очень правильным, полная аналогия с тем что генерируют сеть stable diffusion, кривые пальцы, лишние руки ноги из неожиданных мест, но все сделано и подогнано так, что взгляд мельком не видит этих недостатков.
К сожалению пользоваться этим очень сложно. Либо нужно научиться пользоваться сетью чтобы она искала ошибки и могла их сама разруливать. Т.е. нужно убрать человека в принципе, кроме формулировки стартового ТЗ, пусть нейронка остается наедине с компилятором.
кроме формулировки стартового ТЗ, пусть нейронка остается наедине с компилятором.
Человек: Сделай так, чтобы все люди на Земле всю жизнь были счастливы!
Нейронка: (убивает всех людей на Земле, кроме двоих, накачивает их наркотой, так что до конца своей недолгой жизни они весьма счастливы)
В каком-то рассказе (или романе?) читал мини-историю про ИИ, которому тоже поставили задачу сделать людей счастливыми. ИИ решил что счастье – это улыбка, и создал вирус, при заражении которым мышцы лица сводит в вечном спазме в виде улыбки. К счастью, там (кажется) все обошлось.
Дружба - это оптимум http://samlib.ru/i/izgarshew_k_m/pony.shtml
Я бы не сказал, что все совсем обошлось.
Сделай так, чтобы все люди на Земле всю жизнь были счастливы!
Правда у Стругацких открытый финал…
Ты только что доучил какую-то нейронку, а может и не одну.
Всё уже украдено до нас, их пониводы ещё сколько лет назад доучили.
Это значит скрипт уже был в интернете.
Для проверки этого утверждения (и некоторых других) я пробовал спросить его о том чего нет в интернете.
Сможет ли нейросеть сопоставить факты и составить программу на языке которому не обучалась?
Ответ:
Ну а как нейросеть еще может обучаться? У нее нет других источников информации, кроме интернета и пользователей.
рандомной степени похожести
Чтобы дать верный ответ на ЕГЭ необходима гелевая ручка. Капиллярная и шариковая = неверный ответ.
Так что степень похожести - весьма субъективная категория. Для вас она одна, для меня → другая.
И почему вы решили, что нейросеть по дефолту должна учитывать ваши предпочтения, если она не знает о вашем существовании?
Вообще-то "обучение" нейросети - это процесс изменения весов.
При разговоре с chat GPT вы веса не меняете.
То, что здесь произошло, выглядит как доказательство наличия у сетки архитектуры, хранящей контекст диалога. Что само по себе является на мой взгляд безумным достижением.
Вообще все попытки обвинить сетку в тупости выглядят, как анекдот про собаку, которая научилась играть в шахматы.
выглядит как доказательство наличия у сетки архитектуры, хранящей контекст диалога.
На Хабре недавно пробегала статья, где магия раскрывалась. Контекст хранится, и каждый раз, когда вы посылаете запрос, посылается (старый контекст + новый запрос). Буфер старого контекста ограничен 8000 токенами или типа того, поэтому через некоторое время оно начинает контекст забывать.
Интересно, в своем сообщении вы проиллюстрировали то самое свойство нейросетей которое в таких постах часто пытаются изобличить))
Многие пишут, что нейросети не понимают смысла высказываний, а только реагируют на знакомые сочетания слов. Многим просто легче жить если нечто новое будет объяснено, и даже неважно как.
"Контекст" о котором говорите вы, и "контекст" о котором говорит mostodont32 - суть разные вещи. Вы говорите о контексте беседы, и объяснив ее тем, что каждый новый запрос включает предыдущие (очевидное решение) - считаете "магию" объяснённой.
Но это не так. "Контекст" в сообщении выше не имеет отношения к прошлым запросам, хотя бы потому, что в моем примере вообще всего один запрос. Очевидно имеется ввиду контекст задачи как таковой.
В моем примере, нейросеть не просто сопоставила слова с каким-то текстом из выборки на которой ее обучали. Она создала представление задачи (или эмуляцию представления), заполнив недостающие звенья и сформировав ответ.
Например, я написал "помести на него дочерний элемент". Я нигде не писал что перед этим дочерний элемент нужно создать. Но нейросеть все равно вывела команду создания элемента, перед тем как сделать его дочерним.
Если бы это был человек - мы бы сказали, что он понимает смысл понятия элемент, и смысл свойств "дочерний" и "существует". И он понимает что несуществующий элемент нельзя сделать дочерним...
Именно такое "понимание" названо выше словом "контекст". И ваше объяснение эту "магию" никак не "раскрывает".
Можно спорить, что есть это понимание в случае ИИ, и чем оно отличается у людей. Но само его наличие (или качественная эмуляция) - безусловно огромное достижение.
p.s. Чтобы расставить точки. Мой ответ на вопрос понимает ли ИИ смысл понятий - очевидно нет. Потому, что такой штуки как "смысл", в том виде как о ней говорят - вообще не существует. Есть просто куча связей между понятиями и задумываясь о "смысле" чего-либо мы оперируем этими наборами связей сопоставляя их друг с другом. То же самое делает нейросеть, только у нее все еще меньше связей, нет десятилетий опыта их сопоставления и внутреннего диалога.
Но это временно.
И он понимает что несуществующий элемент нельзя сделать дочерним...
Не антропоморфизируйте, он не "понимает". Он видел, что 100500 людей до него, прежде чем "сделать элемент дочерним", создавали этот элемент. Ну а дальше — "все побежали, и я побежал".
Не антропоморфизируйте, он не "понимает". Он видел, что 100500 людей до него
Можете доказать, что люди действуют иначе?
Люди тоже не понимают. Просто строят модель, формируют критерии и делают что-то, попадающее под критерии. Осознание чего-то - вообще гормональное ощущение, строить модели можно и без него, совершенно не надо придавать ощущению "понимания" чрезмерную значимость.
Люди тоже не понимают. Просто строят модель, формируют критерии и делают что-то, попадающее под критерии.
Нет, не так. Люди:
1) наблюдают явление ("к натёртому янтарю притягиваются волосы" — здесь и далее объяснения утрированные, не надо к ним придираться, я знаю, что На Самом Деле (tm) всё сильно сложнее, но я пишу комментарий, а не книжку по физике);
2) делают предположение о его причинах ("в янтаре есть нечто, что притягивает волосы, активирующееся при натирании"), а, следовательно, и механизме ("в натёртом янтаре накопился электрический заряд, который притягивает волосы");
3) проводят эксперимент, чтобы установить, правильно ли угадали ("согласно этой теории, в янтаре заряд накапливаься должен, а в металле — не должен... проверим, где моя железная ложка... да, так оно и есть!");
4) раз теория получила подтверждение, теперь мы знаем, как это работает — соответственно, на её основе можно придумать что-то новое, использующее тот же принцип (электрофорная машина).
ИИ этого всего не умеет.
Люди этого тоже от рождения не умеют и тысячи лет терли янтарь без понимания электричества. Большинство людей и сейчас не смогут сделать вышеописанное. Для того чтобы так делать нужно обучиться научному методу, критическому мышлению и куче других вещей. Каждая из этих вещей крайне трудна в освоении. Иначе всё быстро сводится к религиозным, суеверным и другим трактовкам события
Мы начали с обсуждения "понимания", "контекста", но вы тут незаметно перешли на целиковую методологию исследований (эпистемологии). Это, как бы, очень разные по уровню вещи. Никто не говорит, что ChatGPT в текущем виде (и, возможно, даже любое скалирование в точности этой "чисто генеративной" архитектуры, но это не точно) делает полный цикл мышления с построением и проверкой гипотез.
в янтаре заряд накапливаься должен, а в металле — не долженПочему это не должен? Должен. Конденсаторы не из янтаря делают.
Конденсаторы не из янтаря делают.
Вот так пишешь дисклеймеры, пишешь, а потом всё равно приходит не-читатель...
"Смысла нет", но когда думаем о смысле, думаем про связи - бессмысленное (pun unintended) и контропродуктивное выкидывание "смысла" как некоторой характеристики связности, встроенности понятия в сеть других. Это характеристика кажется вполне полезной для обсуждения.
Но по сути верно, нет никакой метафизической разницы между этой встроенностью внутри инференса ИИ и инференса человека
Запрос включает в себя кроме последнего вопроса весь предыдущий диалог, поэтому ChatGPT не теряет нить разговора и нейросети можно что-то объяснить, потом задать вопрос и она даст ответ на основе этого объяснения. Но длина запроса ограничена этими пресловутыми 8000 токенами, поэтому слишком объемный диалог она не сохранит.
А чем вызвано это ограничение в 8000 токенов, и насколько оно масштабируется? Можно ли технически подать на вход нейросети запрос в миллион раз длиннее, пусть и ценой роста требуемых вычислительных ресурсов/памяти в те же самые миллион раз? Это не выглядит чем-то нереальным, с учетом скорости роста производительности чипов. Огромный ЦОД под эти цели можно сделать и сейчас.
Не получится ли тогда полноценный ИИ? Не сможет ли она аналогично человеку обучаться в режиме диалога, накапливая опыт и используя в каждом последующим ответе все знания/концепции из предыдущих вопросов и ответов?
Не получится ли тогда полноценный ИИ? Не сможет ли она аналогично человеку обучаться в режиме диалога, накапливая опыт и используя в каждом последующим ответе все знания/концепции из предыдущих вопросов и ответов?
И назовут его Deep Thought (Глубокомысленный)!
Я тоже обучал chatgpt языку программирования, не существующему нигде, кроме моего компьютера и моей головы. Программы, с третьей-пятой попытки получались рабочими.
Правда, сейчас chatgpt стала генерировать "скучные" ответы на нетехнические вопросы, как-будто ее специально "отупили".
Я пробовал с помощью ChatGPT решать домашку по сольфеджио (взрослый бородатый мужик, ага) и пришел к выводу, что ИИ пока слабоват для таких целей. Просишь его придумать модуляцию в указанную тональность - получается полная ерунда на слух и с теоретической стороны. Просишь придумать гармонию с отклонением и это у нее иногда получается, что больше похоже на случайность. Однако последовательности из N аккордов без модуляций/отклонений получаются сносные, а иногда даже интересные. А вот сочинительство простых песен, уровня дворового Блекмора, очень даже получаются. ИИ выдает вполне удобоваримые тексты и гармонии которые остаётся доработать напильником и можно исполнять. Не Битлз конечно, но вполне себе уровень начинающего музыканта.
можно очень много рассуждать в чем он плох, но несомненно это невероятный буст, к скорости обучения чему бы то ни было.
из личного примера, он мне долго нудно и муторно объяснял всю работу с R и делал это намного лучше чем документация и стак оверфлоу, поправлял меня где я совершал глупые ошибки и обьяснял, почему они глупые и я уже заработал с помощью него денег. Просто ускорив выполнение своей работы.
Нужно у ИИ попросить что-нибудь на 1С написать. Словами бухгалтера.
Скрипт по биоинформатике от ChatGPT работает с первого раза