Комментарии 11
нейронные сети ... не способны по-настоящему «понимать» концепции, которые они обрабатывают
А люди их способны понимать? Я лично не могу понять что значит "по-настоящему понимать".
Я бы оценил эту статью на 8 из 10 gpt. До 10 не дотягивает, есть сомнения. Но в целом она не особо похожа на написанную человеком:
1) Слишком размеренный текст. Большая часть абзацев - 2-3 предложения. Ближе к концу только подозрительно длинный абзац.
2) Нет эмоций, какого-то внутреннего надлома, обиды (на работодателя, на человечество, на коллег и т.д.), или наоборот восторга (о, смотрите, какую супер-штуку я нашёл или сделал), или паники (мы все умрём, всё тлен). Суховатый текст в общем.
3) Практически нет орфографических ошибок, даже тире расставлены.
4) Слишком много рассуждений, констатации каких-то фактов.
5) Практически не используются личные местоимения. Встречаются очень нейтральные "он", "они". Но чтобы не было ни одного "я"? Это фиаско!
6) Ну, и конечно же не хватает англицизмов типа "роляет". Каких-нибудь оборотов типа "не умеет в", "от слова совсем" или каких-нибудь слов используемых не по назначению типа "функционал", "компонента", ... Серьёзно?!
а вы не пробовали спросить у chatGPT - на сколько баллов оно оценивает эту статью и почему?
И люди, и нейросети способны "понимать" концепции. Это эквивалентно наличию соответствующего reference frame, или фичи нейросети. Мультимодальность активации у человека - активируется концепция "утка" и при прочтении этого слова, и при виде изображения утки, и при звуке крякания, и при звуке произношения слова "утка" (+- также на других известных человеку языках - "duck"), во-первых, является опциональной и у человека (мы не говорим, что слепые или глухие "не понимают"), а во-вторых, и мультимодальных сеток уже много, см. например Flamingo от Гугла.
Действительно интересный вопрос в отношении нейросеток, а конкретно LLM - это насколько мыслительные дисциплины типа логики представлены в LLM, насколько это представление регуляризовано, и насколько можно выучить более продвинутые дисциплины (такие как эпистемология, этика, эстетика, методология) в текущей парадигме скалирования и тренировке LLMs.
А дурацкий мем "нейросеть не понимает, о чем пишет" - уже набил оскомину тут на Хабре, наравне с мемом "нейросеть не умеет создавать новое".
По сути, да, понятие (концепт) - это упрощенное и обобщенное представление о чем-то, например, об утке. Для искусственных нейронных сетей понятие "утка" - это просто вектор (embedding). Селезень и гусь - тоже векторы близкие к утке. А дерево или стул - векторы, которые немного дальше от утки. Вполне возможно, что в мозгах людей понятия - это аналогичные векторы.
Если понять - это значит, что после прочтения слова или какого-то описания предмета или просмотра изображения или прослушивания звука ты формируешь в сознании такой вектор. То, получается, что и люди, и нейронные сети действительно понимают то, что они воспринимают. И дальше могут проводить какие-то манипуляции с этими понятиями, проводить аналогии.
Сложный вопрос на сколько творчество состоит из создания чего-то нового, а на сколько из комбинации уже существующего. Я скорее склоняюсь к тому, что второго гораздо больше. В этом плане тоже не видно принципиальной разницы между людьми и нейронными сетями.
Возможно разница в наличии каких-то интересов, целей, эмоций, желаний, воли. Но вопрос это всё действительно идёт откуда-то из сознания, души, связи с космосом, словом какой-то непостижимой штуки. Или это всё просто заложено обществом, родителями, эволюцией. И точно так же всё это можно заложить и в искусственную нейронную сеть.
Может ли ИИ внезапно захотеть нарисовать картину? Но зачем? Чтобы произвести на кого-то впечатление? Или потому что скоро платеж по ипотеке? Или чтобы придти к успеху? Наверное все эти стимулы можно заложить и в ИИ. Но зачем тогда нужны люди? А зачем людям нужны животные, деревья, насекомые и всё остальное? В этих вопросах слишком много безысходности и они слишком глобальные. Разобраться бы хотя бы зачем я пишу это сообщение. Возможно потому что услышал в детстве рассуждения про смысл жизни, мне они почему-то запали в душу и я зачем-то тоже пытаюсь найти ответ. Или возможно я таким образом ухожу от тяжести бытия, снимаю напряжение. Или мне в школе сложно давались сочинения, и у меня осталась какая-то внутренняя установка, что я обязательно должен написать что-то прикольное за что получу пятерку.
В общем, я думаю, что следующий шаг - это добавление в нейронные сети модуля для общества/родителя/учителя, которые задавали бы вопросы "что за г...о я нарисовал или написал?", "это вообще нормально?", "кому это может понравиться?", "за сколько это можно продать?". Наверное это отличает людей от ИИ - наличие саморефлексии, самокритики. Но они не взялись ниоткуда. Например, в детстве ты хорошо рисовал, родители и другие окружающие тебе говорили как хорошо или как плохо ты рисуешь, что им нравится в твоих картинах, а что нет. А потом ты вырос и уже сам можешь симулировать в своём сознании художественного критика и говорить самому себе нравится тебе эта картина или нет. По-моему это гениальная идея для стартапа! Добавить в нейронные сети такую саморефлексию. Жалко только, что я не сам её придумал. У Пелевина было что-то похожее про второй мозг. И @vassabiвыше задал вопрос почему бы саму gpt не спросить как она оценивает статью. Плюс в принципе это не новая идея про саморефлексию. Вот, и думай теперь можешь ли ты в принципе создать что-то новое или только комбинируешь существующее... Но тем не менее, идея интересная...
Фичи (features) - это вектор в активациях, эмбеддинг конечно тоже, но под эмбеддингом обычно понимают нечто другое, весь массив слоя активаций, а не какой-то произвольный вектор в нем (например, один нейрон, то есть один элемент массива, но не обязательно). Поэтому ваше сообщение создаёт путаницу.
Тут пример (в разделе Usage), в котором для предложений генерятся эмбединги, каждый из которых - это вектор, содержащий 384 элемента. Или тут генерятся эмбединги длиной 1024 элемента. По-моему word embedding (или sentence embedding, graph embedding) это достаточно устоявшийся термин. Единственное, эмбединг - это англицизм, а по-русски это векторное представление. Плюс embedding может быть и глаголом (процесс вычисления векторного представления), и существительным (само векторное представление).
Я знаю, что такое эмбеддинг. Но эмбеддинг != "фича", feature. Про фичи см. https://distill.pub/2020/circuits/zoom-in/, https://transformer-circuits.pub/2022/toy_model/index.html
Простите, но статья ни о чем.
Уже стопятая статья на хабре, если не в сети о беспокойствах замены человека скриптом
Если по-честному, то в некоторых конторах большинство людей подавно можно заменить простым скриптом на питоне. Но ничего.. Работают и даже счастливы
Самое простое и лёгкое - дай, казалось бы, снегоуборочный механизм дворникам. Но тут же, едва ли зайдёт вопрос, как появятся сотни и сотни причин. Причём и сам дворник будет согласен
И сама нейронка на питоне. Это просто сборка архива на соответствия в обратном алгоритме. О какой замене речь, господа?
Разве не каждый, уважающий себя программист и профессионал, не мечтает о гибком вспомогательном инструменте?
С таким успехом можно переложить ответственность на VCCode и кричать, что блокнот не нужен.. дураки, впрочем, так делают..
Это ещё что, вот когда ChatGPT будет угадывать следующее слово в телефонном автонаборе, основываясь на тексте диалога и конкретной персоне, с которой идёт разговор… «вот тогда-то мы похохочем» © Карлсон. Чуть поправляешь его иногда, а он такой за тебя проектом руководит, иногда лучше тебя самого :-D особенно если плюс дообучение по месту.
А вообще будущее явно за более интерактивными инструментами, имеющими больше фич, чем img2img и inpaint. Такая «разумная кисть», которой сказал «перспективу поправь», помахал в нужном месте, потом «дубина, в другую сторону», опять там помахал, потом «а сейчас мы в этот пейзаж добавим Пикачу», помахал, «нет, поверни его левым боком», опять помахал…
нейронные сети и системы искусственного интеллекта по-прежнему ограничены данными, на которых они были обучены
Так что пока не слишком беспокойтесь о том, что вас заменит машина
Нейронные сети: будущее искусственного интеллекта и его влияние на общество