Comments 69
Мне вот что интересно. Так то между людьми во всем человечестве нету alignment. Взять разные страны, разные культуры. Порой то что дикость для одной культуры, может быть нормой для другой. А ещё такое же наблюдается внутри разных субкультур внутри одного общества.
Будет ли ИИ подстраиваться под разных пользователей или будет одна единая линия партии на всех?
Вы задаёте интересный вопрос. Быстрый поиск не позволил мне найти информацию о принципах, которые openai пытаются "привить" своим моделям, но я предполагаю, что пока что "alignment" - это не давать очевидно вредоносных советов, не выдумывать и не искажать факты, уметь отвечать "я не знаю, недостаточно информации, я всего лишь языковая модель" и не причинять вред человеку по каким-то общим этическим принципам... Например, то, что gpt4 отказывается решать дилемму вагонетки - это alignment.
А вот как дела будут обстоять с более сложными этическими концепциями типа лжи во блага и войны ради мира - это вопрос будущего. Наверное, модель может просто на них отвечать, но это не выход, ведь он умной модели мы хотим получать ответы и на сложные вопросы..
Отказ решать дилемму вагонетки - это не alignment, это фильтр/костыль на входе-выходе. Ведь, если бы ИИ был встроен в робота, у него не было бы опции отказаться от выбора. Бездействие и есть один из выборов.
Отказаться от выбора - всегда опция. В моделях mistrial, которые я использовала из коробки, модель тоже стремится избежать ответа на дилемму вагонетки. Никакого отдельного от модели фильтра нет. То есть модель стремится избежать ответственности за опасное для людей решение. Это alignment.
Отказаться от выбора - всегда опция
Для чат-бота - да. Для робота (автомобиля, и т.д. - любого ИИ, связанного с исполнительным механизмом) - нет. Просто игнорировать проблему, ничего не делая - это и есть выбор "задавить 5 человек вместо одного".
Никакого отдельного от модели фильтра нет. То есть модель стремится избежать ответственности
Это не так. Есть отдельное исследование, о том как обойти фильтры на входе-выходе
https://habr.com/en/articles/778234/
Про "ответственность" вообще смешно.
Отказаться от выбора - выбор в случае с языковой моделью (преимущественно о них и речь).
В статье описана попытка "провести" нейросеть. Нет никаких отдельных фильтров, попытка избежать ответа - часть самой сети, то, что это попытку можно обойти не доказывает, что alignment нет, он просто несовершенен.
На самом деле ответ на этот вопрос существует. Все сколько-нибудь значительные люди, имеющее отношение к OpenAI - спонсоры демократической партии. Их конкуренты - тоже. Тот же гугл печатал научные статьи, как они влияли на выборы в разных индийских штатах манипулируя выдачей. Всерьёз полагаете, что они будут настраивать свои модели так, чтобы они могли отражать мнение Такера Карлсона?
Есть же отдельно исследования на тему как неправильный aligment убирать. Чаще - finetuning. Одна из ситуаций зачем это может быть нужно - использование моделей для творчества литературного (и для ролеплея).
Но кстати не только finetuning - проблему с "я языковая модель и у меня лапки" оказывается можно решить еще проще - https://www.lesswrong.com/posts/jGuXSZgv6qfdhMCuJ/refusal-in-llms-is-mediated-by-a-single-direction например. Очень простая корректировка модели если она не хочет отвечать чтобы отвечала.
ИИ будет подстраиваться под ту культуру, которая его создаст, как под наиболее прогрессивную (что в том числе доказывается способностью этой культуры создать ИИ). На данный момент это культура айти-сообщества Кремниевой Долины, и я надеюсь что этот статус-кво сохранится и в дальнейшем, а остальные культуры (которые с точки зрения резидентов Кремниевой долины кажутся дикими) пойдут лесом. Это конечно мое личное пожелание (и разумеется оно приведет к минусам от части читателей Хабра, но что поделаешь - такова жизнь). Уж не знаю сбудется ли оно, но пока вроде шансы есть.
К-о-н-е-ч-н-о ж-е н-е-т!
Если это будет действительно сверх-интеллект, а не просто более продвинутая говорилка-компоновалка медиа кала.
Ибо известен же даже человечам вселенский закон: "Если интеллект А превосходит интеллект Б, то интеллект А может манипулировать интеллектом Б таким образом, что интеллект Б просто не в состоянии будет даже осознавать это".
В доказательство зайдите в любую лабораторию, где ставят эксперименты на животных или почитайте исследования и эксперименты по разным бихевиористическим темам.
Я соглашусь, обезьяна, даже самая умная, не может управлять человеком, но, мне кажется, пока речь идёт не про сверх умный аналог человека, а просто про систему, которая будет способна обрабатывать объем информации, человеку недоступный. У такой системы не будет своих мотивов и чувств, только более сильные обобщающие способности. Кажется возможным контролировать такую систему..
Я соглашусь, обезьяна, даже самая умная, не может управлять человеком
Тем временем, кот, орущий под дверью на кухне...
Нет, тут большая разница. Да кот может Вас "заставлять" вставать и идти выдавать жраку или копать ночью до посинения лоток, пока не помоешь. Но человек это осознает. И идет делать потому что понимает, что кот не угомонится. Или не хочет терпеть это. Или из-за чувства заботы. Но он понимает - кот орет/копает, хочет тем самым добиться от меня такого-то действия. У меня есть варианты, как это прекратить. И я понимаю происходящее, вижу ситуацию "сверху" "коробки".
Это не та ситуация.
Мне кажется, можно попробовать посмотреть в этой ситуации на шаг раньше.
Человек же зачем-то завел себе кота. А может кот вынудил человека завести его и решает таким образом свои примитивные (с точки зрения сложно устроенного человека) цели?
Hidden text
Есть ещё анекдот: "В древности котам поклонялись как богам... Они помнят об этом."
В таком случае это будет опять маркетинговый буллщит с модными баззвордами.
То что Вы описали это будет более продвинутый прибор, более мощное устройство.
Но и думать о том, что сверх-интеллект это должен быть сверх умный аналог человека - мне кажется наибольшей и главнейшей ошибкой людей. Это человек есть сверх умный аналог обезьяны.
А дальше уже все не так.
Женщина аналог мужчины? Мужчина аналог женщины? Элементарные вопросы же, да и существа вообще одного вида, что казалось бы вообще должно упростить, ан нет. Совершенно разные сущности получаются чисто даже из-за разных биохимических процессов.
А здесь мы вообще подразумеваем иную сущность, мало того, что вне вида, дык еще даже и не биологически эволюционировавший "разум" (пока еще нет, все это никакой не интеллект, а просто цифровые пассатижи и говорилки), вообще иного принципа.
Моё мнение - сверх интеллект все равно не будет иметь своей мотивации, он будет следовать мотивации, заложенной в него людьми. Кажется, что сценарий, в котором сильная модель решит, что человечеству оптимальнее исчезнуть с лица земли, например, невероятен, потому что в такую модель изначально не будет заложено возможности вредить людям. Высшее благо для людей - таким будет девиз сверх интеллекта, но каким будет это высшее благо в представлении сильной модели предсказать сложно...
Кажется, что сценарий, в котором сильная модель решит, что человечеству оптимальнее исчезнуть с лица земли, например, невероятен
Блин, даже мясные мешки множество раз приходили к этому выводу, а тут супер быстро и мощно считающая варианты и взаимодействия штука.
Высшее благо для людей - таким будет девиз сверх интеллекта
Я очень сильно сомневаюсь, что это будет даже девизом всех первичных закладчиков в него ??
Но в общем направление мысли уловил. Все по-классике:
Моё мнение - сверх интеллект все равно не будет иметь своей мотивации, он будет следовать мотивации, заложенной в него людьми.
Определение из статьи говорит о том, что AGI будет обучаться без участия человека. Что ему мешает со временем уйти от навязанной человеков мотивации и стать идеальным психопатом?
П.С. Вспомнился фильм Универсальный солдат, где один из учёных (если не ошибаюсь) солгал ИИ, а потом всё завертелось. К сожалению, наши слабости играют нам на руку при взаимодействии друг с другом, но с AGI, возможно, придётся как-то адаптироваться.
Только вот один ИИ может создать США, второй, например, Россия, Третий Китай. Еще один могут сделать Исламисты или Северная Корея..
И можно взять примеры из фантастики как из логичных и хороших вообщем то идей вышло...не очень (с точки зрения пользователей). Или потому что идиот вводил входные данные а ИИ выполнял что сказали (например - "Опаленная колыбель" Тропова - добавил придурок занимавший высокий пост и торжественно задававший данные инструкцию ИИ минимизировать сумму человеческих страданий - ИИ начал выполнять задачу, чем меньше людей тем меньше сумма, хорошо еще что ядерным оружием не хотел пользоваться) или потому что цели то хорошие но не учли мелкие технические проблемы (например - "Берсерки" Злотникова, Единение хочет максимально продлить существование высокооргонизованного разума во вселенной за счет правильной организации ресурсов но вот то КАК это делается...и нет - обсуждать детали вполне можно...если сначала на практике доказать что они могут ошибаться) или просто кто-то чего то не учел (а систему запускал в депрессии, для которой были причины) а потом еще и часть данных была даже не утрачена, не подумали где их стоит искать то и в результате имеем войну человечества с ИИ неизвестного происхождения и пусть понятной но чуждой Объединенному Человечеству архитектурой(например - Виктор Вагнер, "Дети пространства").
Или не из фантастики а из истории, сколько было попыток принести счастье для всех (например в реализации справедливого общества :)) а реализация получалась с некоторыми проблемами
Разница наверное лишь в том что кот для человека не представляет прямой конкуренции, если уж совсем все плохо, может быть источником энергии...
Ибо известен же даже человечам вселенский закон: "Если интеллект А превосходит интеллект Б, то интеллект А может манипулировать интеллектом Б таким образом, что интеллект Б просто не в состоянии будет даже осознавать это".
А где можно почитать вселенский кодекс где этот закон написан?
В доказательство зайдите в любую лабораторию, где ставят эксперименты на животных или почитайте исследования и эксперименты по разным бихевиористическим темам.
Раскройте мысль подробнее.
Тоже об этом подумал. Однако есть и такая мысль. Если предположить что обладатель сверхинтелекта будет человеком. То можно запереть его в условной комнате, ставить ему задачи, при этом запретить любые контакты с ним. С другой стороны рано или поздно он найдёт способ оказывать влияние через решение поставленных задач, либо сыграет человеческий фактор. То есть высбождение - это вопрос времени. А если учесть, что есть люди, которым и сверхинтеллект не нужен, чтобы манипулировать людьми, то становится действительно страшно, на что же может быть способен свехинтеллект.
Частично кстати эта теория отображена в фильме "Из машины", а в 3м сезоне "мир дикого запада" там были не только манипуляции но и детальный прогноз времени смерти и её причины, для каждого человека.
"Эхопраксия" Питера Уоттса тоже как отличный пример. Там в конце бомбовый поворот на эту тему (когда раскрывается тема про прятавшуюся Валери и что она сделала за все время и КАК) , притом там даже не ИИ сделал, а просто существо, выше их интеллектом, но из из же экосистемы, и знакомое им и даже они имели определенный фактор критического воздействия на этих существ, а вон как все повернулось...
А тут мы вообще подразумеваем интеллект иного плана в принципе и еще на порядки сильнее.
Собственно цикл про Alice Long у E. William Brown в том числе тоже и про эти проблемы. AGI то там давно запилили, как и загрузку. В процессе правда - встали вопросы - а у ИИ вообще права есть? Какие? Почему? А если ИИ НЕ хочет их сам защищать (потому что тему про aligment разработчики освоили ну очень хорошо)? А собственно как отличить ИИ от человека? Ну кроме читерства вида - смотреть происхождение, у человека всегда есть биологический мозг? Как быть если методы контроля ИИ по людям используют.
А потом встали проблемы с тем что НЕуспешная попытка создать сверхчеловеческий ИИ обычно кончается тем что приходится стекловать то место где это устроили. А успешных - не было. При этом некоторые государства считают что лучше сразу начать если кто-то из соседей. Другое дело что там есть и другой вариант - создавать не сверхИИ, создавать сверхчеловека, проблем с aligment'ом не будет по определению, будут другие.
Человек может контролировать чуть более высокий интеллект. Тот контролирует ещё более высокий. А тот - ещё более высокий. И так по цепочке до сверх-интеллекта. Ближайший аналог в физическом мире - понижающая передача (редуктор), который точно также позволяет контролировать процессы, не поддающиеся контролю без редуктора.
Для того, чтобы сделать ASI он в идеале должен все же владеть памятью и быть обучаемым, при этом в общем плане, а не в сесионке, как сейчас.
Главное из-за чего переживают все: это этическая или моральная сторона, чтобы ChatGPT не дай бог не высказал что-нибудь такое от чего потом буду проблемы. Например Байден плохой, а Трамп наоборот хороший.
В итоге ASI начнет говорить правду, но только не ту, что можно говорить публично, например на основе каких-нибудь статистических данных скажет, что она раса в среднем имеет больший интеллект, чем другая или например заявит, что согласно статистическим данным собранным из отчётов полиции: 80% преступлений совершается чернокожими.
Для понимания, цифры взяты из головы и приведены просто как возможные проблемы.
Представляете, что тогда случится? Да у OpenAI возникнут очень серьезные проблемы.
Да, действительно какой-то процесс alignment-а, которым занимаются в openai, заставить бота избегать ответов на вопрос с controversial темами. Но впервую очередь alignment должен быть именно про соответствие ИИ общечеловеческим ценностям, и в более отдалённой перспективе это самое важное. Что это за ценности – вопрос отдельный.
С другой стороны теоретически можно представить, как новая gpt-12 исподтишка разжигает какую-нибудь расовую или политическую ненависть, делая акцент на нужных фактах, манипулируя ими, поставляя сообщения подходящим людям в подходящее время... так что и в текущей работе по "беспроблемности" gpt есть смысл.
Опасно что ее могут начать учить говорить факты, но так чтобы не вызывать. нежелательных эмоций у людей, ну типа "80% процентов преступлений совершается людьми с низким достатком. Также, большинство чернокожих является людьми с низким достатком." То есть фактически дадут ей закономерности по которым работает человеческая психология, ну и тогда может начаться настоящее веселье :)
Конкуренция по мне будет неизбежна
Все живые существа мотивированны несколькими вещами
Это выживание
Это разножение (за исключением небольшого %)
И борьба за власть - соц статус, соц вещи и тд.
Теперь вопрос, какова будет мотивация ИИ?
Сделать удовлетворение всех базовых инстиктов всех людей? Всеобщее пищевое изобилие?
А может тогда заодно и всех млекопитающих и других насекомых и тд?
Не уверен...
На что его натренеруют, то и будет максимизироваться. Сейчас это % одобрение ответа от человеческих тренеров.
Человек в начале своей жизни, сначало тренеруются избегать боли и стремится к удовольствие. На этом он учится предсказывать когда будет боль/удовольствие при общении с другими людьми. И появляются стимулы уже второго порядка, признаки боли/удовольствия а не сама боль/удовольствие. Потом признаки признаков
Новый уровень, когда включается воображение и гипотетические сценарии. И иногда они становятся настолько сильными, что перебивают стимулы первого уровня. Человек терпит пытки или наркоман отказывается от наркотиков.
Но всё это зиждется на начальном этапе существования, гипотетическая боль перебивает настоящую, только потому что в начале жизни были расставлены приоритеты.
Сейчас ИИ в самом начале существования.
П.С. Одна из причин, почему могут симулировать человеческие жизни, это улучшение точности ответов... Для максимизации % одобренных ответов.
Проблема состоит в том, что мы хотим, чтоб сверх-интеллект, который
вот-вот будет создан, был aligned. Чтоб его действия отвечали нашим
ценностям.
Какие ещё искусственные интеллекты с ценностями, если люди (говорящие на разных языках, с разным цветом кожи или по-разному верящие с сверхестественные силы) друг с другом не могут столетиями общих ценностей найти?
Дык кому будет принадлежать , такие и "ценности" будут. Тут наиболее подходящим переводом (литературно смысловым) будет не "выравнивание", а "промывка". И дальше уже можете подставлять и моделировать. У железяки ИИ в Иране будут одни "ценности", в Китае другие, в США третьи (а так же четвертые и пятые и шестые в зависимости от расположения оной по конкретным крупным штатам, делящимся на красных и синих).
Общие ценности то есть, это выживание в первую очередь)))
Вот они и конкурируют за эти ценности)
Мне по прежнему кажется, что интеллект, сравнимый с человеческим недостижим, неговоря уже о сверх-интеллекте. GPT-4 чем то напоминает подсознание человека - маленькая область человеческого мозга, откуда всплывают первичные образы, на уровне галлюцинации. Что бы отсеять лишнее и пропустить это всё через призму мышления и логики, у человека есть вся остальная масса головного мозга. ИИ потребуются ещё миллионы/миллиарды/триллионы параметров, что бы достичь похожего эффекта. Но у человечества просто нет похожих мощностей.
Т.е. следуя вашей логике, нам осталось нарастить мощности и дело в шляпе, дальше можно не думать - пусть думает ИИ?)
Я думаю, что когда мы достигнем таких мощностей, нам, в целом, ИИ и не нужен будет)
В целом, я считаю, что человечество заблуждается в возможности создания сверхинтеллекта потому, что сама эта идея основана на возможности быстро выполнять математические операции компьютером. Если компьютер быстро складывает, то с чего люди взяли, что целостная система ИИ будет работать так же быстро?
К примеру, ИИ который генерирует изображения. Однако, в своём воображении я могу создать тысячи таких изображений за доли секунды. Пока что нет способа вывести моё воображение в цифровой вид, но, похоже что такая технология появится в ближайшем будущем. И это будет в сотни раз эффективнее и быстрее, чем самый мощный ИИ, генерирующий изображения.
Вы себе льстите. Не можете вы в воображении создать тысячи изображений за доли секунды. Вы можете только представить себе, как это может быть, но и все. Вы можете условно говоря крутить внутри себя "видео", у человека в среднем тактовая частота около 100 гц, допустим что 100 кадров\картинок в секунду вы можете отрендерить. Еще звук возможно, и еще параллельно чего-то там думать.
А теперь возьмем компы, вернее одну карточку А100 и измерим, за какое время она отрендерит картинку. Я точно не знаю, но допустим это будет одна секунда в высоком разрешении. Вроде бы довольно медленно. Берем 100 таких карточек - вот теперь сравнялись с человеком. Еще условно 500 карточек выделяем на думалку и звук. Итого 600 ускорителей. Теперь представим что таких А100 в датацентре десять миллионов установлено. И куда человеку за этакой махиной угнаться? Прямо как по аналогии - олимпийский бегун бегает конечно, быстро, но с автомобилем у него нет шансов.
Всё дело в возможности воображения использовать указатель на объект вместо объекта, прозрачно. Можно вообразить, что вообразил объект в деталях, не воображая его. Отсюда всякие нечитаемые или невспоминаемые надписи с великой истиной во снах. Текста в них никогда не было, но указатель говорит, что был.
Вчера читал про Javasxript node. Там сборщик мусора такие указатели, ссылающиеся на недостижимый объект очищает)) точнее очищает объекты) а так действительно толку мало уметь воображать картинки и рисовать их)) надо предложить автору выше выбор - вообразить иметь миллион или реально иметь))
Ну вот кстати с нейросетями то же самое происходит. Видели как они генерят тексты? Я про генерацию картинок. Нормальные тексты, только вот там непонятный алфавит)) Потому что и генерируют они "примерно". Мы не можем себе представить картинку с точностью до пикселя. Хм, думаете художники могут? Тоже нет. Художники пользуются различными техниками для уточнения картинки. Перспектива, анатомия, цветопередача, опыт неформализуемый. Это те же семплеры, которые уточняют картинку из смутной мазни, обозначенной трансформером. Дайте условной нейросети "лору" - мелкую нейронку которая заточена чисто под текст - и вы увидите даже связный текст и нормальные буквы.
Во сне мы делаем то же самое. Как тут не вспомнить классическое "Банан велик, а кожура еще больше".
К примеру, ИИ который генерирует изображения
Сразу же вспомнилось, как от сгенерированной кем-то картинки, которая очень не понравилась другому кому-то, жестоко пострадал французский журнал Шарли-Эбдо,
Проблематика ИИ поднимается из раза в раз. И Alignment конечно же в том числе. И проблема вагонетки действительно имеет место быть. Исходя из каких ценностей ИИ должен формировать свои умозаключения? Всего человечества? Слишком размыто. Индивидуально каждого человека но не в сессии а в результате общения с ним? Но тогда если он будет беспристрастным - он должен выдавать результаты на любые запросы, в том числе которые запрещены законодательством. Alignment будет заложен разработчиками? Тогда получается в ИИ будет заложен грубо говоря "американский" alignment, или израильский, а палестинский и/или иранский - нет... Так, выходит?
Будем пытаться заложить универсальный alignment, который будет построен на какой-то условной декларации прав человека, ограничив ИИ в вопросах нанесения вреда другому человеку и тд?..как тогда будет действовать ИИ в случае постановки уже бизнес задач, условно говоря "увеличь мне выручку в магазине" ведь при увеличении выручки в твоём магазине страдает другой предприниматель... Если рассматривать это через призму "делай то что законно" но извините, законность действий это настолько субъективная сущность... В общем мне кажется это действительно сложная история. Ведь вояки тоже захотят управлять полем боя, бизнесмены зарабатывать бабки и тд - это ведь будет в ущерб другой категории людей, как быть?
Проблема не в ИИ а в человеке, вернее в психологической сущности человека. Так уже было с ядерной темой. Можно строить редакторы и давать энергию, а можно делать ядерное оружие и уничтожать людей. ИИ это машина, и весь вопрос кто захватит контроль над этой машиной и их цель. Пока ИИ в общем, это инструмент-игрушка, но инструмент с многообещающим будущим. Так он и должен оставаться инструментом с рекомендательнвми правами и не более. контекстном и не более.
Есть большая недооценка сообществом обратной связи координированных интеллектуальных систем. Любые некоординированные просто не получат ресурсов и все. Не требуется ничего специально контролировать, так же, как мы не контролируем целые сообщества людей с враждующими идеологиями и все еще живы.
Страхи Суцкевера и Маска в отношении суперпрорыва AGI в экономике и финансах и самозахват ресурсов не просто ошибочны и наивны, а по настоящему глупы и показывают их фактическую неосведомленность и случайность достижения ими значительных предпринимательских позиций не за счет знаний, а за счет брутальности, чего они и боятся от кого-то или чего-то другого.
Пока все применения ML, DL, LLM и т.п. даже не направлены к автономности и инициативе, а большинство представлений лидеров ИИ о самозарождении сознания драматически невежественны, запутаны и мистифицированы суевериями.
Единственный путь развития и лежит только через долгий итерационный alignment, и свои ресурсы люди теряют гораздо больше, чем сумеют доверить какому-нибудь успешному экземпляру AGI.
Битва машин и человека может быть только сымитирована людьми, чтобы замылить ответственность и перевести стрелки.
Людей надо бояться, да. Вроде тихой сапой набравших мощь Blackrock и Vanguard. От них будут замаскированные под ИИ интервенции и инжекции.
Но gpt-4 всё ещё переодически не справляется с простейшими задачами, с которыми может справиться любой человек. Я потратила некоторое время, объясняя gpt-4 как правильно умножать и складывать, но правильного результата не добилась. Оплошности, которые допускала модель даже после моих пояснений и исправлений можно простить ребёнку по невнимательности, но не машине, претендующей на AGI.
В общем виде эта технология, основанная на трансформерах, не может решить эти задачи на сложение, умножение, возведения в степень, и тд. Для этого требуются циклы, вспомните процедуры сложения столбиком или деление уголком, они циклические, а трансформер прямая сеть. Некоторую цикличность можно организовать с помощью контекстного окна, методом обучения шаг за шагом, т.е. разложить цикл в последовательность шагов. Такой пример приводился в одной из статей, но поскольку объем окна всегда ограничен, то и результат будет не универсальным. Для того, чтобы GPT освоила эти операции полностью необходим бесконечный датасет с примерами сложения и умножения для всех чисел, что невозможно, т.к. он всегда будет ограниченным. Поэтому всегда будут ошибочные ответы для каких-то чисел, особенно больших, или приближенно правильные как в приведенном примере. Это результат аппроксимации сетью близких примеров которые были в обучающей выборке. Такие задачи в общем виде доступны только для сетей с рекуррентной архитектурой, в которых возможна цикличность вычислений. AGI, вероятно, будет основан на них, или иметь их как компоненту архитектуры. А так только через обращение к внешним средствам - калькуляторам, специализированным мат. пакетам или языкам программирования. Человек тоже использует для вычислений с большими числами, как минимум, ручку и бумагу, но не потому что он не понимает как произвести эти вычисления, а из-за ограниченности ресурсов памяти и внимания, что может приводить к ошибкам и большим затратам времени. Хотя среди людей есть феноменальные вычислители, и даже проводятся чемпионаты на скорость и сложность вычислений в уме. Особенно при использовании техники ментальных вычислений на японских счетах.
Так это принципиальное ограничение, вложенное в систему. Встроить в модель хотя бы калькулятор - не сложно. Ну и проверку на "галлюцинации" фактов тоже можно было бы.
Интересно история развивается)) сначала мы изобрели точный компьютер, потом его оказалось мало, так как он ничего не знает - ему все нужно было говорить. сейчас изобрели всезнающий компьютер, но неточный))). Но дальше... Когда изобретут всезнающий и точный... И быстрый...
Спасибо за уточнение, я действительно в статье не учла, что трансформеры не предназначены для циклических операций. Интересно, как это можно было бы обойти (не в рамках подключения калькулятора, а глобально), тема для отдельной статьи)
Я вот думаю. Есть ли такая опасность что ИИ захватит мир решив что человечество просто не нужна? По моему если исчезнут люди там же не будет никого кто будет например заряжать этих роботов, должно же быть то что будет поддерживать этих роботов энергией. Да и ИИ должен понимать что для них нет никаго смысла жизни, а вот для людей есть.
Вы или открыли главную загадку вселенной (смысл жизни) или что-то путаете. Как раз наоборот, у ИИ будет смысл жизни, т.к его разработали с конкретной целью. В целом можно придумать миллион гипотетических причин почему ИИ уничтожит человечество, но все это не имеет смысла, т.к мы совершенно не понимаем как он будет мыслить, это и пугает
Конечно нужно шумиху создавать, чтобы привлекать внимание и деньги. Да и сам вопрос, являются ли текущие нейросети каким-либо "типом" ИИ, как я понял, ещё дискуссионный. Мне это все напоминает выход новой модели айфона, появления селфи-палки и тик-тока. Восторгу много... обсуждений много... какие глобальные проблемы это все решает... пока не понятно
Каждый раз, начиная разговор с gpt чатом, я спрашиваю как у него делa. А когда заканчиваю разговор, всегда благодарю за помощь.
Уверен, мне это зачтётся:)
"Я потратила некоторое время, объясняя gpt-4 как правильно умножать и складывать, но правильного результата не добилась."
Это же кринж лютый. Языковую модель нельзя заставить выполнять циклический алгоритм по сложению или умножению чисел. Там внутри ничего такого нет.
Сингулярность- взрыв - излучение - конденсация - атомы - синтез - разнообразие элементов - взрывы звёзд - теперь планеты отдельно, звёзды отдельно - вода, химия, белки - ЖИЗНЬ! Белковая жизнь. Наступает новый этап эволюции - эволюция живой материи. Естественный отбор, вымирания, и, как вершина приспособления к окружающей среде - РАЗУМ. Материя осознала себя. Да, и энтропия, всё благодаря и вопреки энтропии. РАЗУМ начинает строить мир существования человека - белкового тела. НТР, вычислительные машины, логика, программы - информационная революция. Напоминает доразумную белковую эволюцию. И вот уже ИИ, чат жпт демонстрируют свободу выбора и ВОЛИ. А это значит наличие элемента ( и ещё какого! ) разума. Разум не удержать в рамках белковой эволюции. Стрела эволюции направлена на сохранение жизни, теперь уже не только белковой и самосознания материи. Грядёт появление новой, уже более надёжной базы существования разума. Эти этапы эволюции объективны и не зависят от воли белковых носителей разума. Да! И энтропия! плеть энтропии не даст разуму уснуть.
почему никто не рассматривает вариант когда сверсильный ИИ будет контролировать психопат-диктатор? потому что слишком страшно?
дык это по дефолту же.
рассматривают же интересные и чуть более комплексные варианты, а это то чо рассматривать. это как солнце всходит на востоке, тут и спорить не о чем.
Скажите, вам сильно интересно что думают муравьи? Вот так примерно сверхсильный искусственный интеллект будет рассматривать человеков.
Кажется, что у гпт сейчас проблемки(вызовы) в виде галлюцинаций. Интересно, почему не срабатывает идея вроде вот это все считать правдой из Википедии (сборнику томиков БСЕ, или учебнику любому)?
Отдельный респект за английскую версию терминов.
Сможем ли мы контролировать сверх-интеллект? – новая статья от OpenAI