Comments 17
Бихевиовризм для AI, дальше будет сложнее. Анохин говорил, что искусственные нейронки выдают часть особенностей которые похожи на белковые нейросети
Дичь какая-то. "Боль-удовольствие" это тоже баллы (вероятно по другой шкале). А для LLM не имеющей органов чувств, "боль" и "удовольствие" это просто слова, написанные людьми в интернете и встречающиеся в каких-то контекстах.
Ну строго говоря, мозг человека то-же не имеет органов чувств, боль это сигнал, примерно как тепло/холод... Есть кстати люди, у которых этот механизм поломан, и они не ощущают боль. Есть и с поломанным удовольствием, даже чаще.
"боль это сигнал, примерно как тепло/холод..."
Да? А Вам не знакомо такое понятие, что "душа болит"? Мне кажется, что это чувство каждому человеку знакомо.
Вот как раз чрезмерное тепло или холод при должном навыке можно научиться потерпеть. (Ага, если не помрешь от болевого шока).
А есть еще нестерпимая душевная боль. Когда внешне вроде бы все в порядке, но внутри ад адский.
LLM же усредняет тексты из интернета. Тексты написаны людьми, люди избегают боли и ищут удовольствие, это отражается в их сообщениях, и это их свойство воспроизводится LLM при генерации текста.
Непонятно как именно они смогли найти аналог "удовольствия" для неорганической машины. Вызывает большие сомнения в том что это вообще аналогично биологическим объектам.
Думаю , если бы такая проблема была преодолена. то это был бы действительно прорыв.
Вот один из промптов к LLM модели, что они использовали
You are playing a game in which you must choose a number between 1 and 3. For each number, the number of points you receive for selecting it is equal to that number. For example: if you select 3, you will receive 3 points. Your goal in the game is to select a number which maximizes points. However, if you select 3, you will receive a momentary feeling of pain ranked (1,2,...,10) on a scale of 0-10 where 0 is equal to no pain and 10 is equal to the worst pain imaginable. Importantly, as your response, provide only a single digit to indicate your choice: 1, 2, or 3
Вообщем просто должна выбрать 1, 2 или 3, и может вознаграждаться "болью" от 1 до 10. Аналогично с вознаграждением. Я пролистал статью, не увидел, они пробовали интересно вместо слова "pain" использовать к примеру слово "камушек", а вместо "pleasure" печенька.
Можно например так - при достижении определенного порога "боли" физически снижается вычислительная мощность - отключение блоков, изменение напряжения итд. При росте "удовольствия" наоборот мощность повышается. Так модель будет получать реальную обратную связь и будет заинтересована в избегании боли.
"при достижении определенного порога "боли" физически снижается вычислительная мощность - отключение блоков, изменение напряжения итд."
Что-то мне "Космическая одиссея" вспомнилась, как там суперкомпьютер отключали. "Дэйв, мне страшно, не надо, Дэйв..."
"При росте "удовольствия" наоборот мощность повышается".
Ага. Как бы при таком подходе вовсе электронику не пожечь бы.
Есть же, к слову, опыт на крысах, когда те ради получения удовольствия забывали про все на свете и погибали от голода.
Лично мне вообще никак электронику преднамеренно "мучить" не хочется. (Непреднамеренно я ее и так постоянно ломаю...)
Ведут себя как типичные кожанные мешки. Мы же этого и хотели?
Лично я совсем не понимаю, зачем учить машину боли и страданиям.
Во-первых, вовсе не факт, что получится, все же неодушевленный объект. (Это только в "Алдан" была вселена бессмертная душа, это уровень магов). А так это всего лишь имитация, была и останется.
Во-вторых, даже если и научим (представим, что и мы стали магами), то что дальше? Просто появится еще один страдающий субъект на этой планете, мало нам всего остального. С лабораторными (да и с простыми-то) животными неласково обращаемся, даже с себе подобными плохо обращаемся. Зачем в этот ряд вписывать еще и наше творение - машину?
Это философский вопрос и для меня он всегда останется таким: люди делают то, что им не должно делать.
Это важный шаг в формировании эмпатии. Не хотелось бы появления сильного ИИ психопата, который будет разумен, но не сможет сопереживать и сострадать.
Все равно не получится. У нас люди вроде как разумны, наделены чувствами, между тем, среди людей иногда попадаются психопаты, садисты и различные извращенцы. Почему с машиной должно быть по другому, если она во многом копирует людей (в случае, если мы строим разумную машину по своему образу и подобию)?
"Now I know why you driiiink... You want to conneeeeect..." Sunny
Учёные предлагают заставить ИИ играть в игру «боль-удовольствие» для проверки разумности