Комментарии 85
Думаю когда сделали первый поисковик по сети, было столько же всепропальщиков.
На самом деле, меня наоборот это очень вдохновляет.
Коллега, я думаю, их не переубедить. Компьютеры неизбежно заменять счеты и печатные машинки, а смартфоны - телефоны. Кто то адаптируется к новым технологиям быстрее, кто то окажется в хвосте.
То что новые технологии меняют мир и уклад жизни - это очевидно. Вопрос как эта технология, связанная с новым поколением ML, поменяет наш уклад жизни? Как быстро мы это увидим? Это вопросы 1-2 лет не больше.
Паникует тот кто не способен увидеть будущее.
Здесь та же проблема, что и с вертушкой Луллия. Как отличить правильные высказывания от неправильных?
Можно поподробнее, что имеется в виду? ...Действительно, нужно быть на чеку с ChatGPT. Много ошибок пока еще выдает как с данными, так и с выражениями.
Я уже убедился, что сетка, когда не знает ответа, начинает врать и выдумывать на ходу что-то по мотивам - вместо того чтобы честно сказать "не знаю". Спросите ее, к примеру, "почему на трамваи больше не ставят бугели".
Кроме того, знаний она нахваталась в Интернете, а это тоже источник не то чтобы заслуживающий полного доверия.
Поэтому все ее высказывания нужно воспринимать с немалым скепсисом. Невозможно отличить верные от ошибочных.
"Генератор чуши"? Есть такое мнение. Нужно задавать правильные вопросы. Кажется, что в этом суть работы с ней.
Мало задавать правильные вопросы, надо еще уметь понять правильность ответов.
Кто-то из классиков сказал что-то в духе "в энциклопедии знаний больше, чем у меня; тем не менее профессором являюсь я".
«Генератор чуши»?Ну то есть, британских ученых уже заменил давно…
Вы знаете такое высказывание «правильно заданный вопрос — это половина ответа»? Ну, в некоторых ситуациях правильная формулировка вопроса — это 9/10 ответа.
Нужно задавать правильные вопросы.
"Чтобы задавать правильные вопросы, нужно знать как минимум половину ответа" (с)
А до тех пор оно с радостью расскажет Вам про мучные конденсаторы.
Вы наверное не читали классический рассказ Шекли? Чтобы задавать правильные вопросы, надо уже знать половину ответа.
Я уже убедился, что сетка, когда не знает ответа, начинает врать и выдумывать на ходу что-то по мотивам — вместо того чтобы честно сказать «не знаю».Это уровень рационального анализа, на это языковые модели не расчитаны. У человека аналогично есть быстрая система, ассоциативная, которая может выдать решение, иногда во сне) но после анализа оно может быть отклонено. И так происходит во многих случаях, но иногда оно содержит рациональное зерно, которое можно доработать. Языковые модели являются некоторыми моделями именно ассоциативного уровня, а не рационального мышления. Поскольку они являются аппроксиматорами, то могут генерировать и не верные выводы, но не скажут «не знаю», и не зададут вам уточняющих вопросов, чтобы дать правильный ответ.
Кроме того, знаний она нахваталась в Интернете, а это тоже источник не то чтобы заслуживающий полного доверия.Если даже исключить такое «нахватывание» избавиться от неверных выводов — фантазий нельзя, это принципиальная особенность таких моделей. Пока пользователь сам должен проводить контроль, и отсев выводов. Также роль играет постановка задачи. Она должна содержать элементы дообучения модели, чтобы иметь правильный контекст для генерации ответа. Это все равно, что ввести в курс дела человека при объяснении сложной проблемы, которую он должен решить. В случае с бугелями вы должны задать контекст его использования, дообучив чат, а затем задавать вопрос, на которых хотите получить ответ. Если бы вы задали этот вопрос мне, и потребовали без объяснений любой ответ, то также выдал вам фантазию на тему) т.к. первый раз услышал слово бугель)) пришлось выяснять в сети, что это такое.
Откуда примитивной нейросетке знать достоверность размещенной в интернете информации? И откуда вы знаете, что этот level of certainty она вообще будет честно писать, а не выдумывать, как и ответы?
Прямо сейчас вижу практическое применение в виде возможности перефразировать предложения, чтобы обходить дурацкий антиплагиат, который вошёл в моду несколько лет назад. Каждый раз описывать background work заново своими словами — тяжёлый и бесполезный труд.
Заметил, что среди моих знакомых, апокалиптический негатив генерят в основном те, кто не попробовал chatGPT сам, либо не имеет фантазии применить его к своим задачам не вместо себя, а в помощь себе. Чем дальше, тем больше мое восхищение от новых возможностей и преодоления узких мест в своих - освободите себя от время-поедающей рутины и реализуйте больше своих идей за то время, что вам отведено!
Хотя, у меня есть свои опасения и про обратную сторону - уже виден пугающий тренд, что вся биг-дата-DA/ML история движется к подмене рассмотрения системой реального человека его статистической моделью: к сожалению, принимающие решения сегодня - по причине вульгарного понимания статистики - воспринимают статистической вердикт как 100%-но верный, и счастье вам, если ваши параметры в двух сигмах от центра распределения! Это означает высокий риск, что завтра одному или даже пяти процентам людей (кто как альфу берет!) будет систематически отказываться в выгодных предложениях, кредитах, приемлемых условиях страховки, визах, допусках, работе и карьере.
Риски неправильного применения подобных инструментов видимо будут довольно серьезными. Но все же, думаю, что это неизбежный виток эволюции.
Это означает высокий риск, что завтра одному или даже пяти процентам
людей (кто как альфу берет!) будет систематически отказываться в
выгодных предложениях, кредитах, приемлемых условиях страховки, визах,
допусках, работе и карьере.
Как член семьи, которой несколько лет назад все банки подряд отказывали в ипотеке без объяснения причин, могу сказать, что либо оно тогда уже было, либо хуже уже не будет. Люди могут так же плохо обрабатывать выбросы из статистики, как и машины. Последствия те же самые.
Там уже давно нейронка работает. Так что хуже уже не будет - только лучше.
Да, 5 лет назад все это в банках уже работало (не chatGPT, а вульгарный ML подход) - а сегодня это работает уже повсеместно, поэтому сегодня все больше систем рассматривает не реального человека, а его статистического аватара - медицина, отделы кадров, не удивлюсь, если и суды скоро начнут выносить "пробабилистские" решения - этакий суд присяжных ботов и p-value в решении !
По крайней мере думаю, что тест Тьюринга ChatGPT уже сейчас проходит. Всем известный недавний пример со защитой диплома это наглядно продемонстрировал.
Как уже писал выше, chatGPT меня реально восхищает !
А тестом Тьюринга хорошо бы сегодня проверять решения банков, страховых, медиков, рекрутеров и горячих линий поддержки - если мы отменяем дипломы студентам, почему бы не отзывать лицензии на предоставление сервисов силами ботов, либо в договоре на сервис должно быть явно прописано, что меня будет обслуживать бот - соответственно и цена за услугу будет на порядки ниже. Нам продают услугу по расценкам рабочего времени людей, а подсовывают все чаще бот, IVR, натренированную модель ML.
тест Тьюринга ChatGPT уже сейчас проходит.
Тест Тьюринга ещё несколько лет назад проходил какой-то скрипт, который изображал из себя неадекватного малолетнего долебила с расстроенной психикой — и поэтому все испытуемые ему многие ошибки, очепятки и откровенный бред прощали.
А я вот не хочу, чтобы атомный реактор для соседней АЭС разрабатывал неадекватный малолетний дебил с расстроенной психикой.
завтра одному или даже пяти процентам людей (кто как альфу берет!) будет систематически отказываться в выгодных предложениях, кредитах, приемлемых условиях страховки, визах, допусках, работе и карьере.
Им и вчера уже отказывалось. Сегодня будет отказываться ЕЩЁ пяти.
В науке, впрочем как и в любой другой области, которая требует обработки данных, я вижу отличное применение для ChatGPT-подобных систем в агрегации новых данных. Заставлять сеть читать все новые материалы и просить делать дайджесты или как-то еще извлекать конкретную информацию. В этом случае можно добиваться очень узкоспециализированных выборок и достаточно качественной фильтрации входящего потока информации, которую сложно получить с обычными поисковыми системами. При этом, я так понимаю система уже практически готова, к тому чтобы её можно было применять подобным образом, остаются только технические детали.
Согласен. Это уже применяется и довольно успешно. Вполне достойная обработка текста с хорошей обратной связью.
Но зачем? Неужели Вы доверите нейронной сети саммари статей по высокоспециализированной тематике в которой Вы являетсеь одним из менее чем 100 экспертов во всем мире вместо традиционного чтения пары последних абзацев вступления и выводов? Мне кажется, что как раз со специальными областями у таких сетей не может быть хорошо, потому что данных мало при обучении. Конечно, может быть я ошибаюсь и ЧатГПТ учили еще и на текстах статей из научных журналов, но я не верю, что эти данные так просто могли быть получены от журналов и авторов.
Уверен, рано или поздно нейронке можно будет доверять. Ее уровень интеллекта уже сейчас довольно высок. А скорость ее работы гораздо выше чем у 100 экспертов. Я думаю, что на текущий момент она работает на уровне студентов - плюс/минус.
Сейчас используются значительно более простые методы: обратный поиск по библиографии, поиск по названию/ключевым словам/тезисам статьи. И этого, в общем, достаточно — поток научных исследований ограничивается же не тем, сколько букв научный сотрудник может написать в час.
Ее уровень интеллекта уже сейчас довольно высок.
Ловко Вы "Её уровень интеллекта выше, чем у отдельных представителей рода человеческого" зашифровали!
Неужели Вы доверите нейронной сети саммари статей по высокоспециализированной тематике в которой Вы являетсеь одним из менее чем 100 экспертов во всем мире вместо традиционного чтения пары последних абзацев вступления и выводов?
С одной стороны, мы уже доверяем это значительно более грубым алгоритмам, как прошитым в google scholar, так и в нас самих (там, типа отсечки по годам, по авторитетам, наличию рекомендаций от знакомых, по размеру/стилю статей).
Но тут возникает такая проблема: часто проще сделать самому, чем объяснить, что же именно нужно сделать. Это «проще сделать самому» — скажем, поиск по некоторому ключевому слову, которое вот сейчас прямо возникло в голове, оно ведь тоже не самостоятельно делается, а с помощью какого-то инструмента, как правило. Отличие этого инструмента от нейросети в том, что он более предсказуем и обладает значительно более удобным интерфейсом, чем командная строка.
Опять-таки, если экспертов по тематике 100 человек, каждый пыхтя и усердствуя публикует 3 статьи в год, то это получается лишь одну статью в день надо проглядеть. Тематика же узкая. А это немного.
Кроме того, тезисы статьи можно ведь готовить с помощью той же chatGPT, причём имея неограниченное время => сканирующая chatGPT будет ограничена во времени, а та, что помогает писать статью — нет. Ну, очевидно, что тезис второй будет лучше, если сети одинаковые. То есть, лучше прочесть торадиционные «Введение» и «Заключение».
Любителям минусовать для выражения своего несогласия - для вашего сведения: минусование означает, что вы считаете поведение автора некорректным - оно приводит к ограничению возможностей коммуникации автора как наказание. Если вы просто не согласны с корректно изложенной точкой зрения - пишете свои контр-аргументы, но не затыкайте рты всем, у кого отличное от вашего мнение!
Да, тут у Хабра недоработка, по-моему.
Видимо, Хабр оптимистично верит, что добросовестных людей больше, но, боюсь, Хабр просто дает мощный инструмент цензуры в руки людям, не способным выслушивать иное мнение.
К сожалению, Хабр — это не платформа, где каждому предоставлена возможность высказаться, Хабр — это платформа для зарабатывания денег его владельцами. И их ситуация вполне устраивает. Например, в том, что Вам поставят минус, с мотивировкой "за грубое общение", даже если Вы никогда никому не "тыкали" и никаких ругательств не писали, они не видят ничего неправильного.
Такие вещи как ложное трактование правил в собственных интересах, куда можно отнести в том числе и коррупцию вполне возможно (при желании) исправить с помощью того ChatGPT или его аналогом.
Это как, простите? Дать самой нейронке возможность трактовать правила в её собственных интересах? Мало вам коррупции среди людей, так вы ещё предлагаете и электронную коррупцию развивать?
У нее нет собственных интересов. Только правила. Она может легко идентифицировать, например, поставить минус, с мотивировкой "за грубое общение" или грубости нет. Она не ангажирована в принятии решения. Поэтому можно считать, что ее мнение более объективно, по сравнению с мнением человека, который преследует в том числе свои собственные интересы.
Вы правы в том, что у неё нет собственных интересов - только правила. Заложенные разработчиком. У которого уже есть собственные интересы. Но мы не видим за ИИ (нейронкой) интересы разработчика и считаем его (ИИ) беспристрастным. Очень удобный "громоотвод" общественного мнения - это не я, это она сама.
Получается что, если у нейронки есть интеллект (осознание окружения и накопление опыта), то у неё есть личность и как следствие - собственные (личностные) интересы. Если же она беспристрастно следует набору правил, то это просто некий математический алгоритм. В первом случае коррумпировать можно ИИ, во втором - разрабов алгоритма. Если вы не видите, кого нужно коррумпировать, то это просто потому, что ваши интересы не пересекаются. Вот в Microsoft быстро тему просекли ;)
Пока у нейронки нет потребностей (деньги, власть, ресурсы и прочее), у нее нет и заинтересованности, т.е ангажированности, беспристрастности в принятии решений. Поэтому только человек сможет внести ошибочную (и возможно ангажированную) интерпретацию правил на этапе обучения нейронки.
"у нейронки нет потребностей" === "нейронка не заинтересована в правильности даваемых ответов" (т.е., бесполезна в качестве источника информации)
Если же заинтересована, то есть оценка правильности ответа (см. ниже коммент @BigBeaver), т.е. некии критерии оптимизации/соответствия (суть - желания, интересы, потребности). А любые желания - база для взаимоотношений "ты - мне, я - тебе".
внести ошибочную (и возможно ангажированную) интерпретацию правил на этапе обучения нейронки
Не обязательно на этапе обучения, можно жёстко прошить правила в алгоритм. Как там было у Айзека Азимова в законах роботехники - не убий, не укради и т.д.
В общем, нейронка - алгортим, работающий в интересах его владельцев. Ещё один инструмент, облегчающий жизнь тем, кто умеет им пользоваться. Как мобильный телефон или интернет.
Как вы можете определить наличие или отсутствие у нее самосознания и личностиДа хоспаде, я у себя-то не могу достоверно определить…
"Она" - это алгоритм. Алгоритм плюс данные. Очень много данных. Столько, что одному человеку ни в жизнь в них не разобраться. Если вы захотите сравнить "её" с человеком, то у нас в основе тоже правила. Мы такие же "машины Тюринга", только биологические. Просто про алгоритмы и электронные компьютеры я знаю чуть больше чем про биохимию мозга. Свобода воли - это иллюзия, порождённая нашим незнанием.
Поговорите с разрабами этой беды. Именно с разрабами, а не тестировщиками. Они вам скажут, как сделать "ей" самознание и переключать это самосознание с капризного на целеустремлённое или любое другое, по вашему выбору.
У нее нет собственных интересов.Только до тех пор, пока результат ее работы не оценивается. А дальше она сразу же начинает «работать на КПИ».
вполне возможно (при желании) исправить с помощью того ChatGPT или его аналогом.
Ооо, а вот тут мы вступаем на моё любимое игровое поле. Смысл игры в том, что если очень хочется сделать нечто c X, но по правилам делать это с X нельзя, можно поиграться с определениями: например, настаивать, что X — это вовсе не X, а очень даже Y:
Колин Капп. "Оружие Хаоса"
...Они оказались в какой-то комнате. Вилдхейт по пути задумался, зачем пленников заковали в хомут, хотя было бы значительно проще применить наручники. Однако в этой комнате он понял, почему. Хомуты были прикреплены к металлической раме, которая тут же была поднята вверх. Головы людей оказались на одном уровне. После этого Ра вышли, и сейчас же из всех стен и потолка хлынули потоки жидкости. [...] камеру начала наполнять светло-желтая жидкость. Ее уровень быстро повышался [...] жидкость тут же резко пошла на убыль, и Вилдхейт с удивлением заметил, что он и его товарищи оказались выкрашенными в золотисто-желтый цвет.
[...]
— Зачем они выкрасили всех нас в желтый цвет? — удивился Вилдхейт.
— Исторически это имеет связь с легендарными Желтыми Бестиями, которые в предыстории внесли в сущность Ра примитивные звериные инстинкты. С психологической точки зрения это располагает к совершению преступления. Ра не чувствуют угрызений совести, убивая желтую жертву. Факт, что они сами окрасили ее в желтый цвет, замалчивается и игнорируется.
— Присвой кому-нибудь злое имя, и ты можешь с чистой совестью его повесить, — заметил Вилдхейт.
В частности, у г-на Шикльгрубера неплохо получалось. "Людей, конечно, убивать нельзя, но эти, с востока, они не люди, они недочеловеки, поэтому их — можно."
Проблема должна решаться точным (не двусмысленным) установлением правил игры.
Возьмем например всем известные Три Закона Робототехники (Азимова):
Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Далее обучаем сетку (нейронку - обучение с подкреплением), чтобы она определяла, соответствует этим законам конкретное действие или нет. И, вуаля, получаем объективного независимого оценщика наших действий, который принимает решения не ангажировано.
обучаем сетку (нейронку - обучение с подкреплением), чтобы она определяла, соответствует этим законам конкретное действие
Прежде чем "обучать нейронку", человек для начала должен сам решить проблему вагонетки — вернее, как будет правильно поступить в каждой конкретной потенциально возможной ситуации — посмотрите на статистику: даже сами человеки не знают, мнения в некоторых случаях поделились чуть ли не 50/50!
А ещё по мелочам:
— предложите способ моментально определять, человек перед роботом или нет (это чтобы определить, надо ли роботу бежать спасать этот объект по Первому закону, или не надо).
— как быть с особо ответственными роботами, которые решили, что они "обязаны спасти вас от вас самих!"
P.S.
Не однозначность в решении конкретной задачи вещь вполне допустимая. Мнения людей могут распределяться даже по нормальному закону. Нас здесь интересует не ангажированность мнения. Т.е. если нет заинтересованности в результате, то результаты могут быть, например, 50/50. А если есть какой то интерес, то результаты отклоняться от нормы - и будут, например, 30/70. У сетки такого не произойдет. Она не мотивирована на искажение результата, даже если и не может однозначно отличить "кошку от собаки".
И, вуаля, получаем объективного независимого оценщикаПолучаем сущность, сопоставляющую что-то, в каком-то виде ей подсовываемое, обучающей выборке.
Даже сам Азимов понимал, что реально выполнять эти законы невозможно, потому что они частично противоречат друг другу, потому что имеется множество пограничных случаев и потому что их формулировки можно трактовать весьма широко. Несколько рассказов у него на это завязано.
И так будет с любой попыткой переложить этические правила на законы физики.
В лучшем случае получится еврейский Талмуд с мелочными правилами, который сами же евреи при сильной необходимости прекрасно обходили.
Так, казалось бы, если позволять затыкать рты, то закроются и дискуссии - тогде меньше и денег Хабру. Плюс отток разочарованных авторов статей! Пора бы им продуктового менеджера из дата-аналитиков взять, да АВ-тестами проверить эту сомнительную продуктовую фичу - еще ужаснутся, сколько денег теряют!
если позволять затыкать рты, то закроются и дискуссии
А если не позволять затыкать рты, то сбегут все обиженки-миллениалы.
но можно и за отдельную платуДа здравствует коррупция и сегрегация хабровчан по уровню достатка (нет бабок на аудит — сиди в минусах).
Не знаю за все человечество, но Рунет несомненно становится все токсичнее и токсичнее. Причина - безнаказанность оскорблений, умноженная на распальцовки 90-х, впечатавшиеся в нынешнюю культуру.
Рунет несомненно становится все токсичнее и токсичнее.
Нет, это люди становятся тонкокожее и тонкокожее.
XVIII век: уличные драки "стенка на стенку", синяки, подбитые глаза, выбитые зубы, назавтра вместе бухают в корчме.
XXI век: "мама, он меня самкой собаки назвал!!!!!" :cry: :cry: :cry:
Я эти неточности специально оставил в статье, чтобы не было излишних иллюзий. Заметьте еще, что она сначала не правильно интерпретировала мой вопрос про вертикальные колебания относительно плоскости Галактики. И вместо этого привела данные по Галактическому году. Только потом, после моего уточняющего вопроса, сообразила о чем я ее спрашивал.
А это, детектив, правильный вопрос