Comments 21
А что вы ходите? Так прикольно смотреть на группу людей, которые пяляться на математически усреднённый ответ на любую тему. GPT не может сказать правды или неправды. Он просто может сгенерировать что-то что будет похоже на человеческую речь.
Но народ, который пытается найти в этом смысл жизни, доставляет удовольствие
Подробные рассуждения не объясняют, почему gpt выдает работоспособный код, а не просто похожий.
Так вроде не всегда рабочий выдает :)
Ну тем не менее он выдает код, который часто работает и это не какой то средне взвешенный текстовый ответ на тему вопроса, а именно осознанный* ответ.
*Какой смысл я вкладываю в слово осознанный. Чатик как то парсит вопрос, сам себе по нему как то формирует ТЗ, сам додумывает это ТЗ во многом, о чем пользователь не писал, но скорее всего подразумевал, чтобы составить ТЗ очень подробно. И в итоге сам транспилирует это ТЗ в ЯП выбранный пользователем. Да, иногда у него этот сложнейший процесс получается не с первого раза. Особенно сложно правильно додумать за пользователем то, что он скорее всего подразумевал, но явно не сказал. Как он это делает? - загадка дыры. Но это очень сложная аналитическая деятельность, не просто какой то усреднённый ответ.
так и человек не всегда рабочий код выдает ;)
Попробуйте попросить GPT алгоритм для быстрого преобразования Хартли (который от Фурье мало чем отличается), и получите именно похожий, даже близко не работоспособный код. GPT даёт рабочий код только для элементарных примитивных задач, которые в него хардкодно заложили. Вы же не думаете, что GPT учился программированию читая книжки Кнута и Страуструпа?
У нас очень разные задачи на работе, видимо. Алгоритм Хартли я бы взял из какой-то библиотеки (но не сталкивался с такими задачами).
которые в него хардкодно заложили
Не похоже. У меня задачи не сложные, но уникальные, нагуглить код именно с моими особенностями не выйдет.
GPT учился программированию читая книжки Кнута и Страуструпа
Думаю. Они наверняка были в обучающей выборке.
Попадалась статья на английском языке, слегка срывающая магические покровы с GPT. Не нужно глубоко лезть в теорию для того чтобы увидеть, что нейросеть — это такая структура данных, просто немного специфическая. Сама по себе она интеллектом не обладает, а её "обучение" есть ничто иное, как просто заполнение данными. Почему нейросеть от Яндекса даже близко не подобралась к GPT, если все технологии открыты и подробно описаны? Да потому что Яндекс не догадался набрать 10000 индусский программистов, согласных работать за еду, для ручной разметки кода в обучающей выборке. Что там ещё есть под капотом у GPT — нам тоже никто рассказывать не будет, и что тоже вполне логично — конкуренция вряд ли поможет отбить инвестиции.
Синтаксический разбор предложений мы все делали в школе, это не самый сложный процесс и вполне поддаётся формальному описанию. Генераторы правдоподобного текста тоже существовали задолго до GPT, просто никто не пытался преподносить это как что-то особенное.
"особенность" тут ни при чём. Людям всё же результат нужен, а никакие генераторы правдоподобного текста такого результата не дают. И формальный синтаксический разбор текста бесполезен, люди десятки лет пытались это сделать, я тоже успел немного повариться в теме.
А как, по-вашему, в GPT фильтрация по полит-корректности запросов производится? Вряд ли у GPT есть отдельный канал связи для супер-админов, куда ему говорят типа "если тебя будут просить рассказать что-то плохое про что-то хорошее — не говори. И сиськи тоже запретная тема. И ссылки на пиратский контент тоже нельзя давать".
Нисколько не знаток, но GPT с наложением personal experience embeddings (личный опыт, психотип, стиль, манера поведения) приближает GPT к человекоподобности. Нет?
Оно и так и не совсем так, кмк. :)
Да, алгоритм выбирает наиболее релевантный ответ, согласно обучению связей в нейросети, что вполне можно представить таким упрощенным способом.
Но, с другой стороны, открываем словарь Даля и что мы видим? Упс, объяснения одних слов через набор других из .. того же самого словаря. Принимаем эти толкования как наибольшие вероятности, и .. приходим к алгоритму выше путем не сильно сложных мат. преобразований и допущений. Отсюда, словарь, как система обозначений и толкований, приводит к процессу вывода ответа как наиболее вероятного и согласованного с толкованием слов.
А теперь, внезапно, чем это отличается от человеческого "мышления" (и вообще, есть ли таковое?) или от "выводов чат-гопоты"? ;) По сути, есть некая система обозначений, есть словарь обозначений, есть толкование (правила). Вывод основанный на этом базисе всегда будет верен с т.з. правил и словаря.
Будет ли это правдой или ложью? Ни тем ни другим, это просто жонглирование словами. Правдой, кмк, оно становится на прохождении фильтра "опыта жизни" и проверки практикой. То есть, если в Сеть заложен реальный опыт - получим его обработку с некой вероятностью на правдивость. Если туда заложены "художественные произведения" - соответствующий стиль усредненных авторов. Ну что можно заложить из форумов Сети или прочих тик-токов .. думаю понятно.
Весь этот ажиотаж и "прорыв" в технологиях нейросетей, кмк, все острее поднимает иной вопрос, вовсе не про "умность ИИ", а существование "естесственного И" .. такой ли он действительно "И"? :)
Извините, но ваша статья никак не про GPT а лишь про более примитивное поколение генераторов, так называемые "бредогенераторы". Про GPT вы написали ровно пол-абзаца, не то что не раскрыв тему но даже не дав понять что вообще понимаете о чем пишете, просто ввернув туда один термин.
Воды налили. Современные LLM подбирают следующее слово смотря не на предыдущее слово, а на весь предыдущий контекст. Гуглите self-attention
Водка полезна. Миллионы мужчин не могут ошибаться
И так ясно, что там присутствует сэмплинг)
Судя по тому как хорошо гпт генерирует тексты, чатится, можно предположить что оно копирует человека, человека видимо как то так же обучают, и работает он так же или очень похоже.
Похоже вся ясность испарилась, как только вышли за пределы «hello, World”
Из Википедии:
Another change for memory management in Zig is that the actual allocation is handled through structs describing the action, as opposed to calling the memory management functions in libc. For instance, in C if one wants to write a function that makes a string containing multiple copies of another string, the function might look like this:
const char repeat(const char original, size_t times);
In the code, the function would examine the size of original and then malloc times that length to set aside memory for the string it will build. That malloc is invisible to the functions calling it, if they fail to later release the memory, a leak will occur. In Zig, this might be handled using a function like:
fn repeat(allocator: *std.mem.Allocator, original: []const u8, times: usize) std.mem.Allocator.Error![]const u8;
In this code, the allocator variable is passed a struct that describes what code should perform the allocation, and the repeat function returns either the resulting string or, using the optional type as indicated by the !, an Allocator.Error. By directly expressing the allocator as an input, memory allocation is never "hidden" within another function, it is always exposed to the API by the function that is ultimately calling for the memory to be allocated. No allocations are performed inside Zig's standard library.
Очень странный текст, это примерно как написать "ну вы птиц и кальмаров видели, ну вот реактивный самолет боинг это примерно что-то похожее, это такой летающий кальмар с крыльями", потому что все что выше описан не GPT, а те подходы, которые были за десятки лет до него.
У GPT все намного-намного сложнее (то что описано выше это очень небольшая часть алгоритмов GPT), поэтому иногда он выводит ответы, которые в него не заложены напрямую. Отсюда все выводы статьи очень сомнительны.
Стравил двух чатботов между собой, получилось много букв. Читать лень Ж)
https://telegra.ph/Diskussiya-mezhdu-chat-botom-Google-Bard-i-Claude-AI-08-07
GPT без иллюзий. Насколько правдива генерация