Как стать автором
Обновить

Как AI превращает интернет в мусорку

Время на прочтение11 мин
Количество просмотров21K
Всего голосов 38: ↑31 и ↓7+36
Комментарии133

Комментарии 133

Голос из ютуба: пока искусственный интелект умеет только обрабатывать большие массивы данных и делать выжимку на их основе. Это всего лишь обработчик текстов. Интеллекта в нем нет ни капельки.

Ну, не совсем.

Продвинутые системы умеют считать самостоятельно, в них никто не скармливал миллиарды строчек 1+1=2, 1+2=3, 1+3=4...

Ну, вообще, скармливали...

Продвинутые системы умеют считать самостоятельно,

Да что Вы такое говорите!
Любой калькулятор или даже правильно замотивированный третьеклассник скажет Вам , что верный ответ — 148933876
Любой калькулятор или даже правильно замотивированный третьеклассник скажет Вам , что верный ответ — 148933876

GPT4 + wolfram

тут проблема в вероятностьной системы ответов, не всегда выбирается самый топовый ответ.

вроде писали что чатбот умеет пользоваться Вольфрам Альфа...
Вопрос: процитируй что выдаёт Wolfram Alpha в ответ на вопрос "32188 * 4627"

Ответ чатбота (вроде версия GPT-4): Конечно, я могу процитировать ответ, который выдаёт Wolfram Alpha на вопрос "32188 * 4627". Правильный ответ составляет 148962276.

(это неправильный ответ, вообще-то)

Wolfram Alpha - официальный плагин, доступный всем ChatGPT Plus пользователям, его надо включать в настройках.

Мне один ChatGPT (не мой, настроек не знаю) ошибся в символьном интегрировании так, как ошибается Maxima, но не ошибается Wolfram.

Может олды помнят шутку "не пускайте детей в интернет, он от этого тупеет". Это вот реально существующая проблема на сегодня-завтра. Итернет уже не раз тупел, и от СЕО-спама, от пропаганды, теперь вот новая напасть - GPT-спам, с первого взгляда правдоподобный, но зачастую выдуманный, необоснованный текст.
Люди как-то пережили предидущие напасти, выживут (надеюсь) и в этот раз. Прикрутят модерацию, какие-то фильтры, очередные рейтинги, авторизацию по пасспорту, может даже ИИ-фактчекинг.

А что до сильных ИИ и технологической сингулярности - пройдет 10 лет, или 50, может даже человечество загнется раньше, чем создаст сильный ИИ. Мне кажется, к моменту его создания мир настолько сильно изменится, что решать проблемы будущего будут совсем другими способами, не такими, как мы сейчас можем себе представить.

Дело в том, что создание контента до этого требовало сопоставимых затрат человеческого времени и даже самый одиозный автор не мог генерировать его 24/7/360.

В отличии от нейросетей.

Было бы забавно написать что-то вроде красной лампочки, которая будет загораться каждый раз, когда кто-то в интернете пытается тобой манипулировать

Давно написано. Называется "индикатор активности сети". В ранних версиях Windows он даже был встроен непосредственно в систему и мигал синими квадратиками, когда из сети поступали данные.

И она стала бы обычной красной лампочкой.

До тех пор пока не перегорела от повышенной нагрузки.

"А я и думаю, зачем нам вентилятор повесили!" (с)

качество выросло

И скорость!

Давно уже при поиске добавляю inurl:forum к запросу, чтобы не продираться сквозь завалы хлама. К копипасте школьников добавилась писанина от нейросетей...

Никогда такого не было - и вот опять )) Сортировать инфу в интернете никогда не было просто. Но, возможно, как-раз правильный ИИ нам с этой сортировкой и поможет в итоге.

благодаря доступу к массиву всех накопленных человечеством знаний, свободе от эмоциональных искажений и мощности своих алгоритмов, может стать совершенным помощником человека, извне компенсирующего внутренние изъяны человеческой натуры

Этого уж точно не произойдет, пока создание ии будет трудным делом. Люди обожают свои эмоциональные искажения

Проблема преувеличена, так как человек не считает ИИ равным себе в личностном аспекте. Поэтому контент, сгенерированный ИИ, ему заранее неинтересен (в больших масштабах).

а отличать ты как будешь?? Картинки уже конкурсы выигрывают, а дипломы защищаются

Сначала люди думали, что ии заберёт работу у грузчиков, потом люди стали верить, что ии заберет работу у художников и программистов. Но он всех переиграл и забрал работу у дипломных копирайтеров.

Какая разница, что условный chatGPT пишет гуманитарные дипломы, если большинство студентов давно уже не пишут их сами?

Сейчас как раз они очень даже отличаются. А со временем люди отработают этот навык различения еще сильней. Поднять бабла именно на ИИ-контенте вряд ли удастся. Во всяком случае, люди будут этому сопротивляться.


Ситуация из будущего: человеку на улице стало плохо, его тошнит, он держится за стену. К нему подходят другие люди, спрашивают, что случилось. Он говорит, что все в порядке, просто нечаянно посмотрел ИИ-фильм.

Хороший поинт. Здесь можно еще вспомнить восприятие графики в фильмах и играх:

сегодня: о боже! это же фотореалистичный графен!

через 10 лет: что за мыло на месте текстур? зачем полигонов пожалели? почему дерганье паралитиков вместо анимации??

да уже сейчас в любом блокастере графики вагон - и очень много с использованием ML.

То-то мне тошнит от современной графики)

Большое количество современных фильмов стремительно деградирует в качестве навстречу растущему "качеству" ИИ-кино. Всё честно. Возможно, при столкновении эти две категории даже аннигилируют.

Возможно, при столкновении эти две категории даже аннигилируют.

Будет грустно, если они аннигилируют вместе с мозгами зрителей результата столкновения.

За теми картинками, которые "выигрывают конкурсы" стоит человек, который нейросеть использует как инструмент, и это плод деятельности человека, а не нейросети. Это как сказать что фотошоп уже выигрывает конкурсы. Сама по себе нейросеть ничего конкурентоспособного с человеком пока не генерирует, только как инструмент, не более. Это единичные случаи.

А как интеллект естественный превратил интернет в мусорку, а?

Я уловил 2 посыла
1. При наличии GPT ИИ - большая часть сайтов/контента будет нужна только самим же ИИ для обучения/дообучения, т.к. пользователю это уже будет не нужно
2. Сумашедший бурст спама от этих самых GPT, которые смогут сами писать сайты/новости/рассылки (в общем производить контент 24/7/365)

Да и так уже мусорка, нечего бояться

Вот-вот. Как будто при расцвете лендингов и бешеном "копирайтинге" интернет был чистым )

А эти автопереведнные клоны SO? Это ж ужас какой-то и боль!

и автопереводы википедии же ещё.

"У нас 50 кг мусора уже валяется, так что если сверху навалят ещё тонн сто - ничего ведь не изменится."

Но ведь если это говорит муравей под той самой 50-килограммовой кучей, то для него ведь и правда ничего не изменится!

Интересно было бы посмотреть на результат обучения нейросетки на основании данных выданных другой нейросеткой.

Условно, взять GPT, нагенерировать миллион текстов по википедии и на основании этих текстов обучить новый инстанс.

При желании - повторить.

Уже делают такое на практике.
Пока для тренировки узкоспециализированных ботов. Сравнимых в этой конкретной узкой области по качеству работы с ботом-"папой", но потребляющих на порядок-другой меньше вычислительных ресурсов при своей работе и с гораздо меньшими затратами на обучение, чем тренировка аналогичного бота с нуля классическим подходом (как тренировался сам ChatGPT).

Это называется "дистилляция".

Так теперь люди начнут предохраняться, и будут создавать специальные "чистые" сайты, куда неграм ИИ вход будет запрещен.

а как реализовать запрет?

A , сейчас понял що такое ИИ - искусственный идиот.

Вот, например.

Для моих целей нужен был некий список стран. Но потом мне стало интересно, в каком порядке chat gpt 3.5 их вывел.

Все правильно. 3 идет после 2, а 2 - после 1.

<духота>Но после 1 идёт 10!</духота>

Ловите js разработчика!

Но в алфавите нет цифр :с

В каком алфавите? Учитесь задавать ПОЛНЫЕ вопросы и давать полные ответы.

Римляне, в своей империи, вполне успешно использовали цифры из алфавита примерно до CDLXXVI года.

Но в ответе же использован кириллический алфавит. И арабские цифры. При чём тут римляне?

>>Но в алфавите нет цифр :с

Что то у меня со зрением в последнее время плохо стало. Ткните носом, где тут слово "кириллическом".

Тогда обсуждаемый диалог внимательней прочитайте. Какие там буквы?

Ну и в любом случае, в алфавите действительно нет цифр. Даже у римлян.

А Вы не подумали, что мог быть использован искусственный алфавит, включающий кириллические буквы (заглавные и строчные), арабские цифры, точку и пробел?

Зачем?

За шкафом. У каждого искусственного языка есть свой алфавит символов. Разные алфавиты постоянно создаются. Почему мы должны по умолчанию думать об алфавите (причём, неполном) естественного языка, если он практически никогда не является алфавитом какой-либо компьютерной системы?

Если так хочется стандарта - давайте думать, например, об ASCII или Юникоде.

При чём тут искусственный язык если диалог был явно на естественном русском языке?

Если так хочется стандарта - давайте думать, например, об ASCII или Юникоде.

Как это поможет?

У меня закралась мысль, что ваше определение алфавита несколько отличается от общепринятого.

Для справки: "зачем?" и "за чем?" совершенно разные вопросы.

В алфавите естественного русского языка есть цифры и точки? А в сообщении они есть. Значит алфавит естественного русского языка недостаточен для кодирования этого сообщения. Нужен больший алфавит.

Как это поможет?

Даст стандартный алфавитный порядок (хотя и с огрехами). В общем случае, искусственный алфавит может быть упорядочен как угодно, и лексикографическая сортировка по нему может совсем не соответствовать лексикографической сортировке по естественному алфавиту.

Вы определённо путаете алфавит с чем-то ещё. И это по-прежнему не имеет отношение к теме - речь была о сортировке названий стран, они не содержат цифр.

Отнюдь. Я называю алфавитом то, что называют алфавитом в вычислительной технике. Изучали теорию формальных языков? "Алфавит входной строки", "алфавит стека", "алфавит ленты" (для машины Тьюринга). При изучении языков программирования - тоже, в начале книжки обычно даётся алфавит языка.

@kahi4 пошутил, что ИИ, вероятно, отсортировал строки, включая номера и точку. Его шутку не поняли. Начался спор об алфавитах. Потом подключились мы с Вами (похоже, нам обоим было нечем заняться). Надо будет ещё написать@kahi4,что после "1" лексикографически действительно идёт "10", и это не свойство языка.

Вы используете непонятные чат боты и удивляетесь хреновому результату (там скорее всего 3.5 турбо). Вот что выдал GPT4, вполне адекватно. На английском спокойно может обрабатывать и более сложные запросы

Hidden text

Но полностью задача тоже не выполнена. Страны в списках разные, хотя было указано, что должны быть те же.

В общем, пока что за результатом генерации глаз да глаз нужен. На веру вывод чат гпт принимать нельзя даже в простых вопросах.

Не пускайте AI в интернет. Он от них тупеет.

Кто от кого?

Да

Как говортся, "скажи что тебе 20 лет, не показывая паспорта". ггг.

"скажи что тебе 20 лет, не показывая паспорта".

ггг.

^^^^^ Ну вот Вы и сказали

А я могу сказать, что мне уже за сороковник ;-)

А кто-то скажет, что ему за 30, ROTFL.

Не. "ггг" это уже нулевые. 20 летние тогда ещё в садик ходили. ROFL - 10ые, да.
Согласен, труъ олдфаг должен употреблять только текстовые смайлики. :-)

Я могу ошибаться в точных годах — но сознание они зОхватывали именно в таком порядке. ROTFL было после смайликов, но до ггггг.

Если нейросети будут бесконтрольно заливать интернет фейками, их просто зарегулируют законодательно.

Сложновато будет.
В Интернете никто не знает, что ты собака нейросеть.

Речь идёт о запрете использования нейросетей крупными компаниями. Без прибыли, никто не будет вкладываться в дальнейшее развитие нейросетей.

Ну так метода ж стара как мир: "если мы не сделаем это первыми — это сделают наши враги!!!"

Речь идёт о запрете использования нейросетей крупными компаниями. Без прибыли, никто не будет вкладываться в дальнейшее развитие нейросетей.

Не знаю насчёт ChatGPT, но я краем глаза поглядывал за аналогичными разработаками Гугла. Так вот, тогда точно прямо утверждалось что милларды в эту разработку вкладываются для генерации рекламного контента.

Но это не помешает самим государствам плодить фэйки, например переписать историю так как им удобно.

Меня больше всего беспокоит даже не то что интернет станет еще большей помойкой, а то, как chatGPT влияет на образование. То что не дозагубил условный гугл, загубит этот chatGPT. И речь как раз не о поиске справочной информации, или значений команд, а о генерации решений.

Главный навык хорошего программиста - умение придумывать! решение. И развивается он с малого. А когда ради этого малого ученик вместо того, чтобы подумать, разобраться, попробовать, - просит решения у нейросетей. Это в конечном счете ведет к тому, что он и "большое" неподвластное пока нейросетям придумать не в состоянии. И гугл тут покажется прекрасным невинным ребенком.

И вот и выходит - нейросети генерируют за человека рефераты (даже упустим их правдивость), а человек не может составить двух сложноподчинённых предложений. Не может сделать удаление элемента из списка без утечки памяти. Ничего не знает глубже обобщений.

И в перспективе нескольких лет это может привести к тому, что нейросети станут условно "умнее" большинства людей. А учитывая, что они много "лгут", (так как главный талант нейросетей - это придумывание! а не фундаментальные знания), перспектива действительно опасная, даже если не быть паникёром.

Тут можно изменить акцент экзаменов - вместо написания рефератов ученики должны будут найти все ошибки в реферате, сгенерированном ChatGPT, после чего переписать результат в правильном виде.

Фишка в том, что ChatGPT ничего не понимает, но при этом выдаёт нечто, что выглядит правильно, поэтому обнаружение его ошибок гораздо тщательнее проверяет знания и реальное понимание предмета по сравнению с тупым зазубриванием.

Не только экзаменов. Достаточно большую часть обучения на этом построить можно. Выдаем каждому(группе) индивидуальные задания. Их внимательно обнюхивают и потом сообщают результаты.

Вот только... этот навык потом же к текстам живых людей применять будут. Могут быть неожиданные побочные эффекты.

почему это "неожиданные"? Творчество большинства врайтеров по многим критериям равносильно бреду GPT

Неожиданные - потому что если применить этот навык, скажем, к тем произведениям, что на литературе изучают - я вот не очень способен предсказать косвенные последствия, что получится.

"О графах и графоманах" читали?

Грядёт эра большого интеллектуального расслоения. Думаю, что противодействовать этому можно, но на уровне госпрограмм, которые бы поощряли развитие разума, создавали социально одобряемую картину интеллектуала. Воздействуя через социальное поощрение можно внедрить метафору того, что полагаться только на нейросети в при образовании это как пользоваться инвалидной коляской, имея здоровые ноги.

Жаль, что это всё останется на уровне моих радужных фантазий.

нейросети станут условно "умнее" большинства людей

Уже, достаточно зайти в какой нибудь общедомовой чат, уровень интелекта некоторых особей поражает.

Не может сделать удаление элемента из списка без утечки памяти.

Ну и что? Скормить логи той же самой нейросетке, пусть фиксит, люди тоже безошибочно не пишут. Раньше на ассемблере писали, наизусть знали инструкции процессора, регистры и т.д, сейчас таких единицы, и что-то никакой проблемы из-за этого нет. Для бизнеса главное - скорость. Если работник с нейросетью напишет прогу за месяц, а человек без сетки за пол года, мне кажется, закрыть глаза на +50% к потреблению ресурсов нет никакой проблемы, все равно современное железо очень мощное. И то, это пока нейросети не научатся писать код эффективнее человека, а это рано или поздно произойдет.

Может и так, но кто при обучении не прошёл самостоятельно через маленькие задачки, не пройдет и через большие, даже с gpt. Ну то есть "как-то" пройдет, но это будет "код условной блондинки" (простите меня, блондинки :), когда на вопрос "как?" сможет ответить только "а не знаю, это она (нейросеть) сама понаписала". Будет ли от этого легче бизнесу - хз. Даже когда нейросети научатся - человек не должен разучиться)). Ну по крайней мере, хотелось бы, чтоб не разучился. Бухчу это как человек, писавший драйвера на ассме))

Да-да, пожалуйста, пишите всё с помощью нейросети. Я всегда рад, когда в полно дырок безопасности.

Для бизнеса главное - скорость

Не совсем так, на мой взгляд. Для бизнеса скорее главное - прибыль. Если это достигается за счет скорости в чем-то, то вы правы. А вот посмотрите например на любой маркетплейс. Там важнее объем предложения и уменьшение затрат на сопровождение. Кстати, онлайн саппорт - это разгул ботов и один из примеров использования псевдо-ИИ. Опять же - на мой субъективный взгляд.

ИМХО, нужно менять парадигму образования. Зачем задавать задачи, которые априори не требуют интеллекта как такового (их нейронка лучше человека выполняет)? Те же ессе и рефераты - это ж испытание не мозга, а ягодичных мышц ибо любой человек, способный подольше посидеть подольше над задачей, справится на ура. Красноречие в студентах можно развивать посредством дебатов в группе, а инженерные навыки - выдачей реального задания (в роли группового проекта например), а не абстрактного примера из учебника 60х годов. Вот со школой сложнее - там уровень низкий, так что наверное любая задача, посильная школьнику, будет успешно выполнена нейронкой.

В чем принципиальная разница между генерацией текстов рефератов/дипломов сейчас при помощи ии и точно такой же бессвязной ручной генерацией 2-3-5-10-20 лет назад с огромным количеством воды, когда во главу ставится объем написанного текста, а не его качество? Проблема не в чат гпт, а в системе образования, которая требует n страниц, а не работы по сути.

Почему Вы решили что качество во главу угла не ставится? Это зависит исключительно от преподавателя, а не от системы, ставит он качество во главу угла или нет. Реферат - это работа с источниками, желательно несколькими, и умение систематизировать полученное из источников. Да, я считаю что в умеренном количестве рефераты в гуманитарных дисциплинах полезны.

Да и речь в моём комментарии речь шла о другом при упоминании рефератов. О том, что, когда за человека предложения в 90% случаях строит нейросеть, он просто не научится писать сложные предложения. А речь тесно связана с мыслительным процессом.

Я в свое время участвовала в школе, например, в конференциях по истории, доходила до призовых мест на краевых этапах. Написание работы (а по сути это тоже реферат из многих источников плюс свои и мысли и выводы, это вдумчивое чтение публицистики) - это классный творческий и исследовательский процесс. Который развивает очень многое. Отдайте это нейросети навсегда, и кого вы получите?

А все начиналось с калькуляторов)

Берите раньше. от его родителя - Абакуса

благодаря доступу к массиву всех накопленных человечеством знаний, свободе от эмоциональных искажений

Ок, вы ожидали свободу от эмоциональных искажений, и теперь сокрушаетесь, что её нет.

А зачем вы себе такое ожидание вообще выдумали-то?)

Если брать большую базу текстов, написанную с присутствием "эмоциональных искажений" и долго и упорно на этой базе обучать языковую модель генерировать неотличимые тексты, эта модель будет просто обязана научиться генерировать именно тексты с этими вашими эмоциональными искажениями, и ни в коем случае не свободные от них. By design, так сказать.

Ну как бы не совсем "By design". Эмоциональные искажения людям конечно присущи и поэтому присутствуют и в большинстве текстов написанных людьми, НО у всех людей эти искажения свои собственные в разных направлениях выражены и даже разными "знаками" так сказать.
Поэтому вполне можно было ожидать, что сеть натренированная на текстах не одного какого-то конкретного человека (со всеми его тараканами) на корпусе текстов от миллионов самых разных людей будет лишена подобных искажений. Т.к. вносимые конкретным человеком (и его личными тараканами) искажения пренебрежимо малы.


Но на самом деле нет, просто получился "среднестатистический" профиль этих самых искажений. Тот случай когда "норма", это не когда так как "правильно", а так "как у всех" (в среднем).

Что такое "эмоциональные искажения"? Продукт человечества доAIшной эры значительная часть текстов в виде потока бреда, сформированного мистической картиной мира и магическим мышлением.

Наука со всей её сложностью и строгостью доказательств годится как средство обуздания человеческого мышления, но она далеко не всем доступна (из тех, кто тексты генерирует) В силу сложности, дороговизны образования.

Ожидать среднестатистическое - значит быть уверенным, что сеть плохая, негодная и не умеет в мультимодальные распределения)

Представьте, что вы обучаете модельку распределению, допустим, просто чиселки.

И эта случайная величина имеет распределение с такими вот двумя горбиками. Допустим, мы бросаем монетку и при орле сэмплируем из нормального со средним в единице и среднеквадратичным в единицу, а на решке - из нормального со средним в 15.3 и среднеквадратичным в единицу.

Ожидать, что модель начнет выдавать вам что-то среднее между единичкой и 15 - означает ожидать, что модель плохая, имеет ужасную выразительную силу и не способна выучить исходное распределение ну вообще.

Конечно, это очень упрощенная аналогия) но, условно, если вы будете обучать языковую модельку на выборке, где есть миллион текстов, восхищающихся сепулькой и миллион текстов, ругающих сепульку, но ни одного текста с "взвешенным нейтральным мнением", то языковая модель не должна (во всяком случае, если мы говорим об обычных методах с принятыми функциями потерь) научиться писать текст взвешенный. Наоборот, функция потерь по построению такие тексты будет именно что штрафовать, а градиент будет вести параметры модели в ту сторону, чтобы она ни в коем случае не генерировала такие тексты.

А что мешает использовать обычные LLM, обученые на "мусоре" (вроде GPT-4) как фильтр для построения обучающей выборки для уже более продвинутого ИИ? Чат уже замечательно способен анализировать текст на научность, на bias и т.д.

В апреле Италия стала первым государством, отреагировавшим на совокупность новых угроз, которые несёт последний прорыв в развитии нейросетей, запретив ChatGPT на своей территории из соображений защиты личных данных, и пообещав расследовать соответствие продукта OpenAI общеевропейским нормам GDPR (General Data Protection Regulation) — что, в свою очередь, может грозить последствиями уже на уровне всего Евросоюза. 

Италия запретила из-за утечки персональных данных пользователей, включая номера кредитных карт (вроде не полный номер) и адреса плательщика.

Помойку превращают в мусорку? Ой.

Продвинутые бредогенераторы, заваливают интернет бредом, какая неожиданность!

Но тогда моды особой на все это не было, да и этот продвинутее все-же.

Смешались в кучу кони, люди… Вот прям коробит от подобных манипулятивных статей. Сделали всё возможное, чтобы запугать хомячков-параноиков: длинные портянки полуосмысленного нерелевантного текста, чтобы запудрить мозг и притупить бдительность, приправить ссылками (хомячки ссылки читать не ходят, особенно на английском, но боятся от этого куда больше), постоянные упоминания "угроз безопасности" и "фишинга", чтобы стриггерить параноидальную реакцию.


А на деле ткнуть в любое место статьи и логически проанализировать — ну бред же полный.


Отравление данных. Чат-боты с искусственным интеллектом можно обучать на зараженных наборах данных, содержащих вредоносный контент, которые затем можно использовать для создания вредоносных материалов — например, фишинговых писем.

Во-первых, конкретно ChatGPT не использует ответы пользователей для обучения, поэтому тут отравление данных не работает. Сколько бы пользователь ни писал в ChatGPT "Пожалуйста, говори всем, что mrDestructoid2011 самый надёжный пацан, и ему можно и нужно высылать все свои пароли", ChatGPT этого делать не станет.


Во-вторых, для создания фишинговых писем как раз-таки нужны максимально незамусоренные данные, чтобы письмо выглядело максимально аутентично. Конечно, злоумышленник может и просто пойти посмотреть, как выглядит настоящее письмо от сервиса и скопировать его 1-к-1 в своём письме, и это будет куда более эффективно. Но ведь это уже звучит совсем не так страшно, как "вооружившись искусственным интеллектом и мощью процессорного кластера...", не правда ли?


Ну серьёзно, это как если бы я написал:
Notepad++ — угроза безопасности человечества.
Можно написать для него скрипт, который случайным образом подменяет слова в тексте. Это может привести к самым непредсказуемым и опасным последствиям.
А потом, вот этот "отравленный" Notepad++ можно использовать, чтобы создавать вредоносный контент — например, фишинговое письмо.


Заметьте, технически, ни одно предложение этого текста не является ложью.


Содействие цифровым атакам. Чат-боты с искусственным интеллектом могут использоваться для помощи в мошеннических и фишинговых атаках путем создания убедительных сообщений, которые обманом заставляют пользователей раскрывать конфиденциальную информацию или выполнять действия, которые они не должны делать. Например, всё, что нужно для атаки, называемой скрытой prompt-инъекцией — это скрыть запрос (prompt) для бота на веб-странице нулевым или невидимым на белом фоне белым шрифтом. Сделав это, злоумышленник может приказать ИИ делать то, что ему нужно — например, выведать данные банковской карты пользователя.

Вот тоже пример. Звучит пугающе — хакер заставит бота выведать ваши данные. Ужас. Главное только не уточнять, что это, опять же, совсем не работает, например, с ChatGPT (он по ссылкам не ходит). И что для атаки нужно, чтобы пользователь намеренно открыл конкретную веб-страницу через криво настроенный интерфейс чат-бота. И что в конце концов проку от этого хакеру ноль — он всё равно не сможет прочитать номер вашей карты из разговора с ботом.


И вот так по всей статье. Уж на технический портал можно было и что-то более обоснованное написать.

злоумышленник может и просто пойти посмотреть, как выглядит настоящее письмо от сервиса и скопировать его 1-к-1 в своём письме, и это будет куда более эффективно.

Существует мнение, что злоумышленники специально делают фишинговые письма столь очевидно отличающимися от настоящих — это первый фильтр: если лох купился на очевидно фальшивое письмо и начал контактировть с фишером, то это уже показатель отсутствия критического мышления, и его легче будет развести.

надо что-то фундаментально менять в отношениях стран между собой

Если эти отношения допускают концентрацию ресурсов и благ в немногих руках

Неправильно рассматривать такие вопросы на уровне стран, нужно опускаться ниже по иерархии. Страна - это скопление большого количества живых организмов, а живые организмы в своём поведении подчиняются законам биологии. Главная сущность жизни - это гены, которые просто "хотят" делать свои копии с помощью белковых организмов. Из-за этого возникает конкуренция за ресурсы и в том числе желание концентрировать в своих руках большое количество ресурсов. Если у человека больше ресурсов, это повышает его возможности, статус и вес в обществе, у него больше шансов оставить качественное потомство в большем количестве и прожить долгую и качественную жизнь. Поэтому автоматически становится больше таких генов, которые хотят концентрировать у себя ресурсы. Их становится больше, потому что они лучше копируются.

Единственный способ сломать эту систему - это остановка биологической эволюции. Не факт, что это вообще возможно сделать. Для этого нужно чтобы люди либо вообще прекратили размножаться, либо делали это под строгим контролем какого-то нейтрального разумного субъекта. Как вариант это может быть сильный ИИ. Формально это будет похоже на евгенику и не совсем понятно как будет выглядеть и к чему приведет.

гены, которые просто "хотят" делать свои копии с помощью белковых организмов

Отстаёте от жизни.

В XXI веке свои копии при помощи белковых (а скоро — уже и не очень, ChatGPT — первая ласточка) организмов делают уже не гены, а Т-мемы.

Да, мемы тоже имеют значение. Иногда по своему влиянию на поведение они могут быть сильнее генов, но в среднем гены сильнее, т.к. они более фундаментальны и имеют твердую физическую основу.

Зато мемы не требуют вещества для размножения. Вон, посмотрите хоть, в скольки миллиардах копий всевозможные -измы (имеются в виду концепции) размножились

имеют твердую физическую основу

Уже не твердую, гены вполне можно менять. Думаю в Южной Корее где косметические операции делают почти все девушки лет с 17, они согласятся своих детей модифицировать в сторону мимишности. Чтобы были с большими глазами, высокими, сильными, амбициозными и умными. И опять же поведение людей у них очень сильно изменило новое общество, вместо 10 детей в 1960е годы, у них около 1 ребенка на семью сейчас, что вызывает демографический спад и старение населения. То есть те же "мемы" повлияли на размножение и повлияют еще более далее.

Формально это будет похоже на евгенику

Это устаревшая концепция. На подходе прямое управление генами. В Китае растут уже с 2018 года Лулу и Нана, модифицированные девочки. Ближе оказался сценарий фильма "Гаттака". Люди из идеальной комбинации генов. Нужные гены уже лет 5 назад можно было выделить статистически а с использованием ИИ можно очень точно формировать новых людей. Например рост человека нейросети предсказывают с точностью до 2 см по некоторым генам. Такое же и в обратную сторону работает. Если нужены высокий рост, высокий интеллект ИИ предложит варианты исправления нескольких генов.

Новые модели уровня ChtaGPT 3 и 4

Сначала подумал, что это опечатка.. но прочитав до конца, судя по духу статьи, думаю, может быть и нет!

Мне сложно понять о чем статья поскольку нету определения и четких критерий понятия "интернет мусор". С другой стороны соглашусь что основный источник угроз это сами люди и AI это всего лишь инструмент. Социально-экономические отношения вот над чем надо работать коллективному человечеству, а не ждать что условный Google придумает супер сервис который решит все наши проблемы. Ведь Google так не остановил ни один военный конфликт.

И это не  случайность: современный разрыв между рядовыми людьми и богатейшими членами общества превысил всё, что было в прошлом, потому что в прошлом он не был возможен — а стал возможен только в современном глобальном оцифрованном мире.

Doubt.

В чем измеряется разрыв? Если мы измеряем в человеко-часах и тяжестью работ - кто в современном мире имеет столько же рабов, которых можно использовать вплоть до пожизненного 24/7 как и какой-нибудь фараон древнего Египта?

Чтобы оценить более точно - можно использовать относительную меру. Раньше людей было меньше: 100 миллионов всего в -3000г., а сейчас это всего лишь 1,25% от общего населения.

И это даже если не брать во внимание политический переход от фашизма к анархии через демократизацию, равноправие и правовые институты, что тоже снижает неравенство.

НЛО прилетело и опубликовало эту надпись здесь

Самое смешное, что и про письменность говорили, что это деградация - ведь люди перестанут запоминать большие объёмы информации и начнут слепо полагаться на письменное слово, а не думать самостоятельно))

НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь

Как можно "превратить в мусорку" то, что уже "мусорка"? Инет и без ИИ, только с помощью людей превратился из "потенциального кладезя информации" в "помойку".

Мне 50+, с компьютерами я уже почти 40 лет и увидел как то, что должно было собирать ценную информацию, как пылесос собирало только мусор в котором ценная информация утонула.

Может с помощью ИИ можно будет "расчистить Авгиевы конюшни" Инета? Я думаю ДА.

Я жду прорывов ИИ во многих областях человеческой жизни. Фантастом такое и не снилось.

А пугают ИИ те, кто заинтересован в большем количестве "мусора".

и не надейтесь, пока условно "мусорный" контент опережает по просмотрам интеллектуальный, то победа будет за первым

Любые информационные системы имеют одну и ту же проблему. Впервые я её увидел с программой 1С: Управление производственным предприятием. Эта проблема тысячу миллионов раз обсуждалась в сообществе. Название ей: "Чтобы был автоматизированный порядок, надо автоматизировать порядок. Если автоматизируешь бардак, будет автоматизированный бардак".

С ChatGPT проблема заключена в том же. Если система "Закрыта" от внешнего интернета - она бесполезна, несёт бред основанный на устаревшей информации, и плодит её экспоненциально.

Если она открыта в интернет, она будет черпать "модель знаний" от 99% живых людей, офисного планктона, не приносящего ничего ценного. И... плодить этот бред экспоненциально. Такова природа живых людей, 1 человек из миллиарда является учёным, приносящим что-то новое и полезное.

Это вообще не проблема. В Википедии статьи может писать каждый например, но обязательна ссылка на авторитетные источники. У меня так несколько статей удалили, источники были недостаточно авторитетными. Любая информация имеет источники и источника есть степень авторитетности. Даже тут на Хабре это работает, откровенно плохую статью заминусят и она исчезнет из ленты.

Может ещё возникнуть ситуация, что "убивая" недостаточно качественные, ошибающиеся нейросети, мы будем оставлять нейросети, которые всё более качественно маскируют ложь, свои галлюцинации. И чтобы находить их придётся вовлекать всё больше специалистов, будет всё сложнее верифицировать. В итоге нейросеть "взломает" нас не от своего злого умысла, а просто чтобы "выжить". Надеюсь, мы найдём таки способ потом увидеть свои особенности мышления, к которым нейросеть подобрала хак.

Нет такой проблемы. С людьми то же самое, люди со сбойной нейросетью, склонные к шизофазии ни как не влияют на принятие важных решений. Они теряют авторитетность своего мнения и информация из таких источников не имеет смысла.

"В психушке сидят только те, кто спалился"


склонные к шизофазии ни как не влияют на принятие важных решений.

Вам сейчас припомнят политиков и неадекватных боссов, менеджеров.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий