Комментарии 192
В машине нет никаких данных кроме тех, которые мы в нее закладываем.
Алгоритм нейросети может генерировать данные и присваивать им значения. Так что это неверное утверждение
Если мы получаем ответы, которые не можем объяснить — значит, мы не понимаем, что мы в нее закладываем.
Мы (люди) не можем понять внутренню работу нейросети, поскольку данные ее внутренних слоев генерируется динамически, по заданным математическим выражениям.
Набор данных, генерируемый внутренними слоями, просто огромен, поэтому ни один человек не сможет прочесть и проанализировать работу внутренних слоев по-отдельности. Иначе было бы сложно получить такие впечатляющие результаты обработки данных на компьютере
Да это и не нужно (анализирование внутренних слоев). Людям важно получить конечный результат, а не тратить 10000 лет на изучение взаимодействия весов нейронов нейросети.
Алгоритм нейросети
А алгоритм закладываем разве не мы сами?
поэтому ни один человек не сможет прочесть и проанализировать работу внутренних слоев по-отдельности
Видимо, еще не создано действительно пригодных для этого инструментов анализа. Что-то подсказывает, что это будет еще одна нейросеть.
"… Возражение Цермело Больцману заключалось в следующем: Больцман утверждает, что может доказать, что величина Н — энтропия с отрицательным значением — всегда уменьшается. Но в теореме Пуанкаре доказывается: при данном достаточном времени любое сочетание атомов снова повторится, и, значит, произойдет возвращение к изначальной энтропии. Следовательно, утверждение Больцмана не может быть верным ..." (с) не мой и может расцениваться как реклама стороннего сайта.
Программы уже пол века недетерминированы, для некоторых простейших алгоритмов можно построить конечное описание поведения, для большинства более-менее сложных систем задача описания имеет экспоненциальную сложность или близкую к ней (мы вводим абстракцию «агрегат», «элемент»… для подсистем имеющих какое-то представимое описание и интерфейс, но со «сложностью» сопряжения мы справляться не можем)…
А алгоритм закладываем разве не мы сами?
Сами. Мы можем написать алгоритм и запустить (в дальнейшем не вмешиваясь, т.е. не добавляя данных), который может получать данные и обрабатывать их по заданному алгоритму. После одной итерации алгоритма, нейросистема сможет использовать этот результат для дальнейшей обработки данных (обучение) и присваивать новым данным уже измененные правила.
Младенцы людей работают по таким же правилам:
— Создали алгоритм правил (родился младенец с определенными свойствами) => алгоритм получил данные (младенец потрогал горячую поверхность) => алгоритм использует полученные знания для обработки последующих ситуаций
Алгоритм обучения — да. Но чему в итоге научится, какие связи сопоставит машина и к какому выводу придёт — вот это, как мне кажется, и есть главный вопрос статьи.
Все даже еще хуже — никто не может досконально проверить конкретный микропроцессор, а ну как у него производственный брак, который проявляется в редчайших условиях?
Это данность в которой мы уже живем.
Это тупик. ИИ — инструмент. Нецелесообразно создавать инструменты, использование которых в итоге приводит к затратам, бОльшим, нежели предыдущее поколение. Создание «объясняющего ИИ» нивелирует выгоду от использования «объясняемого ИИ». Нужен статистический подход — ориентация на результат — если робомобили в итоге значительно снизят количество жертв, то и пофигу на понимание этой авто-интуиции.
Вот только жертвам случайностей (если, к примеру, алгоритм примет встречный Белаз за двух мотоциклистов) надо будет найти виновного. Кто это будет? Сам погибший, производитель автопилота или конкретный "воспитатель ИИ", который в обучающую и тестовую выборку не добавил фото/видео Белазов. Как опредлить, кто из них виновен (даже если сохранять сырые данные в формате сжатия без потерь)?
Как опредлить, кто из них виновенЗаглянуть в лицензионное соглашение на автопилот.
Никто не будет виновен. Это форс мажор, как техническая неисправность, которую диагностировать и предотвратить невозможно заранее. Никто ведь как правило не несет угололвную ответственность за крушения самолетов, обусловленные тех причинами или погодными условиями.
Сама себе плохая погода — не повод падать (и падения не происходят обычно из-за дождика).
Но если кто-то ещё ошибаются — вот и виновные.
Только в очень редких случаях никто не несёт
Слушайте — вам дают чёрный ящик и гарантируют, что он снизит аварийность на порядок. Вам не всё равно, что внутри ящика? Вы от него откажетесь пока до мелочей не поймёте его устройство?
Современные ПК и софт — уже считайте стали такими «чёрными ящиками» — «херак-херак — и в продакшен» — что там внутри и как работает — никто не заморачивается, а просто тестирование переносят на публику, выкатывая сырой продукт — «главное опередить конкурентов, а глюки по дороге доделаем...»
Таким образом мы приходим к необходимости прототипа рефлексии для ИИ, и как следствие, мы можем прийти к самосознанию.
Но что, если однажды она сделает что-нибудь неожиданное – въедет в дерево, или остановится на зелёный свет?
Кажется моя любимая жена — робот…
Во-первых не 'если', а 'когда'.
А во-вторых, так же как и живому водителю, который совершил эту же ошибку, нужно просто сказать чтоб больше так не делал, и проблема решится, хоть и после некоторой итерации.
Если учить машину как ребёнка, то нужно указывать на ошибки и недочёты, и через несколько итераций появится опыт.
У вас сказочное представление о людях, знаю пачку лихачей, которым до лампочки все слова и аварии.
Это то, что вселяет в меня робкий оптимизм.
а «навык» закреплен прочно
хммм… закреплен до тех пор, пока другой навык не «перезапишет» существующий. И нет никаких гарантий, что новый навык не будет предрасположенным к врезанию в деревья.
Шутки про скайнет это весело, но сейчас подумалось, что человечество расслабилось. Мы привыкли быть доминирующим видом и не иметь конкурента. Как бы не создать его своими руками. Сначала делаем нейросеть, успешно решающую проблемы. Менагерам до фени же, что не понимаем, как оно точно работает – главное результат, конкурентное преимущество. А потом, внезапно, простенькая система для учета канализационных стоков развивается в интеллект более высокий, чем у создателя. Или просто другой, в принципе непознаваемый нами. Аргумент про «красную кнопку», типа, если что, то просто выключим и все – несерьезен.
Не могу плюсануть, выражаю так свою поддержку — непременно появится, если у автомобиля будет разблокировано обучение.
Но я так думаю, что на продажу будут выставлять машины с заблокированным обучением. Но опыт будет собираться и передаваться на сервера, чтобы если что, по решению оператора/программиста его можно было применить ко всем.
Вы недооцениваете людей :-) Если что-то в принципе можно сделать — это будет сделано!
А если от этого будет субъективная польза — это будет сделано в десять раз быстрее и в сто раз большим количеством людей.
Вы указали причину, но ее не осознали. :-)
Если ждешь — то хочется. Если хочется, то сделаешь. Внимание, вопрос: есть ли такие ситуации, когда кажется, что лишние 30 секунд настолько важны? Или есть такие люди, которым хочется добраться побыстрее из точки А в точку Б, независимо от того за рулем они или нет?
Или вы думаете, что ваш автомобиль будет в сябя включать еще и ИИ общего назначения и вы ему просто скажите «езжай, душка, на красный, барин хочет». А потом «сотри ка наши разговоры»?
Для этого нужно прописать описанное вами обучение в алгоритме. Но проблемы такого подхода очевидны, а преимуществ нет — так никто никогда не станет делать. А даже если кто-то и сделает, то его все равно никто не пустит поставить такой автопилот в автомобиль. Если же это будет самоучка с кустарной переделкой, то тут возникает такая масса проблем, что ваш вариант уже не сильно и пугает. Причем такой вариант ничем не отличается от неумелой переделки автотехником обычного автомобиля из-за которой в критический момент что-нибудь отработает неправильно. Те же тормоза откажут.
потому что человек это личность несущая ответственность, а машина нет, за неё по идее несут ответственность создатели, во всяком случае до тех пор пока машина не станет личностью
Имелось в виду наказание за ошибку?
да, хотя в данном случае понимание также требуется для улучшения системы и недопущения последующих ошибок
Несчастный случай, непредвиденная ситуация. Ну все почти как в авиации, а там чудес было всяких-разных, мама не горюй просто.
Блочок логгирования всех входных данных ака черный ящик, модель на дообучение, и тихо и спокойно двигаемся дальше. Бессердечно и цинично? Фиг знает, белковые формы жизни тоже себя не идеально показали.
Так вот проблема в том, что после переобучения нельзя проверить что получилось — может эта проблема решилась, но появились новые там где раньше работало.
Тестами всё не покроешь — слишком сложные задачи, а без понятного алгоритма верифицировать не получится.
Есть белковые, которых спрашиваешь: понял? — понял. И без всяких гарантий.
Есть НС, у которых «понял» выявляется на тестах, да, дескать, понял, веду себя как заказывали.
Алгоритмически задачи вождения в произвольных условиях не решаются в принципе.
Но у НС есть преимущество — не устают и не «ошибаются», в том смысле, в каком ошибается человек.
Откуда информация о том что задача не решается?
Алгоритм конечен, количество ситуаций и условий — бесконечно.
В самом общем случае, когда не ограничено время "ситуации" вы правы. Но если ввести ограничение на время ситуации сверху, любое причем, то их количество уже становится конечным, хоть и очень большим. Также и с условиями: даже если взять все возможные варианты автомобиля и окружающей среды, то, так как каждый из таких параметров конечен, то их композиция будет конечна. Правда, опять же, приняв во внимание что непрерывные параметры в жизни все равно дискретизируются.
Для пояснения пример:
Скорость, в общем случае это параметр непрерывный и мы всегда можем получить новое значение, находящееся между любыми двумя старыми. Но с какого-то момента разница между старым и новым параметром будет настолько мала, что ее будет невозможно измерить. Таким образом можно любой непрерывный параметр заменить набором дискретных значений.
Вам просто необходимо в компьютер внести физическую модель автомобилей всех наличных вариантов, физическую модель дороги и считать. Даже с сильными приближениями(как сейчас) просчет компьютером ситуации выполняется сильно точнее и быстрее по сравнению со средним человеком. Нет, может экстремальный гонщик участвующий в ралли каждый год(сколько таких? 1к?10к на планету?) оценит авраийную ситуацию лучше, но не средний человек.
Так это и для человека справедливо. Только у человека еще и значительно хуже память с рефлексами, нельзя гарантировать что он вообще вспомнит об уроке в нужный момент или успеет среагировать.
Проблема не что делать до аварии, а «приведёт ли это решение НС к аварии или нет и почему?».
Но вот я тут пару месяцев назад читал переводную статью какого-то уважаемого эксперта в IT, и он на полном серьёзе утверждал, что мы должны отдавать приоритет самообучаемым алгоритмам перед классическими, объяснимыми. Ставить телегу перед лошадью. Так что повоевать еще предстоит…
А пока нейросети пихают куда ни попадя. Недавно видел статью, в которой нейросети тренировали для предсказания реакционной способности соединений. Верно ведь, зачем разрабатывать расчетные алгоритмы, если можно просто натренировать нейросеть?..
И если применение нейросети поможет спасти больше людей – это здорово.
будет не очень здорово если оно в сумме спасёт больше людей, но убьёт кого-то, кто без нейронные сетей выжил бы, не думаю что вы хотите оказаться этим кем-то
Вовсе нет, просто бывает что умная нейросеть хоть и в среднем лучше врачей, но может делать ошибки там где белковый врач почти не ошибается и узнаем об этом мы только после того как погибнет N людей и будет замечена закономерность.
Стоящий автомобиль без водителя, как правило, совершенно безопасен. Стоящая лошадь может ударить копытом, укусить или начать двигаться непредсказуемым образом. Даже без наездника, и это ее имманентное свойство, а не недосмотр водителя, забывшего про ручник.
Если почитать старые книги, то гибель от лошади в том или ином виде была довольно распространенной причиной смерти. Лошади затоптали, лошади понесли, упал с лошади, застряла нога в стремени и все такое.
В общем, найти бы статистику: внезапно может оказаться, что по-настоящему все было не так, как на самом деле.
Я в принципе не хочу оказаться тем, кто умрет. Но если при применении нейросети количество смертей уменьшится, то, очевидно, шансы оказаться умершим снижаются. Это все о чем нужно думать на самом деле. Если же будет тенденция, то это даже хорошо — это шанс улучшить работу нейросети. Нет ничего страшного в описанной вами ситуации.
Успехи у ГО, конечно, есть. Но не настолько впечатляющие, как в статье написано.
Во-вторых, забавные учёные учили сеть выдавать им готовый ответ и теперь удивляются что она так и поступает. Теперь учат давать ответ и некий “ход решения задачи” который человек мог бы принять за обоснование ответа. Естественно сеть выполнит “домашнее задание”, только вот ответ и “ход решения” сеть найдёт независимо друг от друга, для неё это две разные задачи. Таким образом одно является обоснованием другого только в глазах человека. Потом кто-то осознает этот разрыв и напишет статью о том как ИИ нарочно “обманывает” своих создателей.
Из школьной программы я помню мы застряли на какой-то задаче по геометрии. Через минут 20 один человек выдал ответ 7,5 см. У него учительница спросила как он нашел его, он ответил: «Просто начертил в тетради и измерил». Вот такие ситуации пытаются предотвратить.
Это очень похоже на хэш-функции. Алгоритм той же SHA256 открыт, он намного проще нейросети в вычислительном плане, но никто не может предугадать результат хэширования данных без прохода по алгоритму, грубо говоря, за O(1) или хотя бы за O(n') < O(n), где O(n) — оригинальная сложность алгоритма, а O(n') — упрощённая/ускоренная. Иначе можно было бы себе намайнить все биткоины мира и взломать все сертификаты всех сайтов. И никто не может сказать, почему этот бит принял такое значение. Но причина, в общем-то, и не важна, просто по этому алгоритму так получается, а так можно аналогично по шагам пройти все стадии, только смысла в этом столь же мало. Разница лишь в том, что хэш должен быть максимально случайным, а нейросеть — максимально близка к желаемому результату. Но принцип действия похож: берём кучу данных (в случае RNN — произвольной длины, как и у хэшей), перемешиваем по алгоритму, получаем результат фиксированной длины.
Подобие пока очень условное, но основополагающий принцип тот же.
Вряд ли теперь имеет смысл называть процессы в естественной и искусственной нейросети разными терминами.
Как пример — можно неделю высчитывать деталь в 3D, чертетит её и воображать… а можно за 10 часов напечатать прототип — посмотреть и пощупать что бы понять что получилось, и где проблемы и косяки…
собсвтно нейросети это какраз решение по этому типу — взять и заставить машину выяснить не формализуемые диапащоны параметров и взаимосвязи в потоке информации ипользуя обучающий набор…
По поводу текущих нейросетей. В очень упрощённой форме, они скорее похожи на воронки для песочных часов произвольной формы. Под той воронкой,, в которую попадает больше всего песка, под ней образуется самый большой бугорок. Т. е. Никакой магии, всё на самом деле даже немного просто.
Теперь «F.D.O.M.» выдавала видеоотчет. Выглядел он так: у большого монитора в условном подобии студии сидели несколько виртуальных фигурок простецкого вида (каждый раз система моделировала их заново, чтобы не создавать впечатления, будто у нее внутри обитают некие искусственные существа). Картинка, на которую смотрели фигурки, соответствовала тому, что видели камеры «Либерейтора». При появлении врагов фигурки просыпались и вступали в диалог, напоминающий эмоциональное ток-шоу категории «B».
Вряд ли такая передача выдержала бы конкуренцию на телевидении. Но в смысле public relations смоделированный подобным образом диалог чрезвычайно выгодно отличался от переговоров живых операторов.
Военные обычно говорили коротко и по делу:
– Долбани-ка еще раз вон по тому ублюдку в канаве.
А виртуальные фигурки в той же ситуации изъяснялись так:
– Ужасно, что приходится открывать огонь по живому человеку. Но когда я думаю о наших ребятах, в которых может попасть пущенная им пуля, когда я думаю, что он может прятать в кармане гранату или пистолет, я понимаю – этот трудный, практически невозможный выбор все-таки придется сделать…
Хитрость Пентагона заключалась в том, что сгенерированные подобным образом виртуальные отчеты не навязывались общественности – они хранились в военном архиве и имели статус секретной информации. Но если какой-нибудь свисткодув из числа военных решался слить информацию на «Wikileaks» или в другие СМИ, те получали вместо жареного компромата патетическое ток-шоу, где все принимаемые решения были настолько безупречны с нравственной точки зрения, что никакой возможности обвинить в смерти гражданских лиц кого-то, кроме мертвых гражданских лиц, просто не оставалось.
Существует масса ситуаций когда не хотелось бы афишировать способ решения задачи, а представить его в выгодном свете, я думаю ИИ это будет по силам :) Почему-то массовое сознание легче верит “красивой” выдумке, чем в невзрачной правде. Забавно, что такие выдумки даже проще генерировать автоматически чем пытаться разбираться в сути вещей.
Шаг влево, шаг вправо — низзя. Ксенофобия на генетическом/подсознательном уровне, не иначе.
В результате прямой перебор о котором вы говорите, может оказаться неосуществимой задачей.
Задача перебора хоть и большая, но и мы живем уже не в 90-х, это вполне по силу нашим вычислительным мощностям, в конце концов мы фолдинг белков можем рассчитывать, тут же задача куда проще. Да и малейшая зацепка/предположение о причинах диагноза, уже может значительно сузить диапазон перебора.
Собственно это задача с черным ящиком, и понимаем его через скармливание нужных данных на входе и анализируя их на выходе.
Дело в том, что некоторые факторы становятся значимыми только в сочетании с неким набором других параметров, которые становятся значимыми в сочетании с другими, в свою очередь. Зацепка не одна, "зацепкой" может являться сложная система зависимостей, анализ которой — очень сложная задача сама по себе. В этом то и заключается сила нейросетей (и наших мозгов), они решают сложные комбинаторные задачи не алгоритмически а статистичеки. Реверс-инжиниринг методом "потяни за ниточку" тут малоприменим. Хорошей иллюстрацией этого является современная генетика.
Если бы нейросеть по фотографии или 3д модели определяла заболевание тогда да.
Вот на параметрах мы и можем сосредоточиться, можем брать разные карточки и сравнивать их между собой, чтоб выяснить почему тут А, а тут Б.
Тут главное понять, что ни какой магии нет, нет каких то данных нам не доступных, надо просто выяснить на чем базируются выводы. В базу ведь загружали карточки + диагнозы и на основе этого нейросеть и нашла сходства и стала давать предсказания.
В конце концов, на крайний случай мы можем сделать еще одну нейросеть, которая будет на входе иметь выходные данные из первой + её же входные данные, с заданием выяснить зависимости.
Да, переменных конечное количество, а их вариантов влияние друг-на-друга — значительно, значительно больше. Какие-то факторы могут иметь решающее значение в одних случаях и вообще не оказывать никакого влияния в других. И наоборот. В одном случае параметр будет указывать на фактор риска заболевания, к примеру, раком, а в другом — нет. И абсолютно не важно, выделили ли вы для себя этот фактор или нет, сработает он только в определенном сложном (нелинейном) сочетании с другими. Выразить эти зависимости математически и алгоритмически — чрезвычайно сложно (сложность задачи можно посчитать, она космическая), но статистически значимые зависимости проявляются на выборках большого размера, поэтому нейросети — работают.
А генетика совсем не темный лес, просто современные представления о работе ДНК отлично иллюстрируют и объясняют почему нельзя просто определить какой ген за что отвечает и что нужно изменить, чтобы, к примеру, излечить наследственное заболевание. Даже зная точно, какой ген какой белок кодирует (а в разных условиях он может кодировать разные белки и разные варианты одного белка), мы не увидим общей картины, которая включает в себя условные механизмы (за логику в ДНК отвечают участки, которые не являются генами) и множественные внешние переключатели.
Карточка же пациента для нейронной сети таких вещей не имеет, там пишут только то, что имеет важность с точки зрения медицины. То есть про секущиеся кончики волос, количество козявок в носу и длину ногтей там не пишут.
Как результат, крайне малое или полное отсутствие мусорных входных данных. Плюс база на которой мы обучили нейросеть одна и конкретная и делая запрос с одними и теми же данными, мы будем получать один и тот же результат. Поэтому я и утверждаю, что можно построить алгоритмы которые могут выяснить на каких данных базируется нейросеть.
Не нужны никакие алгоритмы, нейросеть всегда базируется на введенных в нее данных и статистике. И все. Если спросить нейросеть почему она выдала такой результат, ответ будет всегда один: потому, что статистически проявились эти зависимости, в той выборке, которую вы мне скормили. Статистика может выявить корреляции, но она часто совсем не указывает на причины, поэтому мы и не можем точно сказать почему ИИ принял то или иное решение. Он и сам не знает почему. Мы не можем достоверно сказать, что параметр А определяется параметром Б, потому, что может быть параметр С, которого вообще нет в наших "супер формализованных" данных, но он определяет и А и Б. В медицинских данных роль могут играть даже типичные погрешности, связанные с различными методологиями проведения тестов в разных клиниках. Как нейросеть может на них указать? Она не имеет никакого понятия об этом, а корреляция может быть выявлена через местоположение пациента, которое ошибочно может быть воспринято нами как особенность экологии в той местности. Решать сложные комбинаторные задачи алгоритмически — практически невозможно. И это не мое какое-то частное мнение, это можно обосновать математически.
Приведу еще такой пример: дизайнер рисует логотип, работая с кривыми в графическом редакторе. Он сразу видит, когда у кривой появляется неестественный излом и мгновенно воспринимает это как косяк, и исправляет его. Кривые в редакторе описываются определенными математическими формулами, и переходы между ними подчиняются правилам, которые также можно выразить математически. Но дизайнер не знает математики, он не рассчитывает на ходу все, что он должен отобразить, а просто "видит". Его "нейросеть" в черепной коробке натренирована на многолетнем наблюдении за поведением физических объектов в движении (и собственного тела), и любой излом на изображенной им кривой сразу виден именно потому, что нарушена динамика траектории гипотетического движущегося объекта. А когда нас просят выразить словами что произошло — мы отвечаем "красиво" или "некрасиво", не вдаваясь ни в какую математику. И представить результат в виде формул — для нас очень сложно, как и нейросети ответить почему именно она предсказала рак у пациента.
Да и вообще насколько эффективен алгоритм, какой процент ложных срабатываний, сколько было ложно положительных. А то может оно как Нострадамус, угадало пару раз из 100 и вау эффект.
Может быть есть какая то информация у вас по этому поводу?
В медицине вообще много готовых структурированных данных, которым можно доверять. Я имею ввиду не карточки-сопоставления, а правила, описывающие, почему возникает та или иная болезнь.
А что мешает сделать параллельно работающую нейросеть, которая в динамике оценивает работу основной нейросети и выдает ее примерный ход мыслей? Методом индукции собирает данные и выдает более простой их вывод, порой обходя промежуточные звенья(если те, например, были созданы как маркер, который затес исчезал). По идее это как в анекдоте про советского посла "сложно, но возможно".
Косвенные способы визуально понять что там происходит есть. Например стрят heatmap для активных нейронов. И я думаю со временем методов понять, что именно происходит, будет больше.
В то же время Deep Patient озадачивает. Она вроде бы хорошо распознаёт начальные этапы психических отклонений вроде шизофрении. Но поскольку врачам очень трудно предсказать шизофрению, Дадли заинтересовался, как это получается у машины. И он до сих пор не сумел это выяснить. Новый инструмент не даёт понимания того, как он этого достигает.Ерунда какая-то. Максимизация выходного вектора нейросети — задача, конечно, вычислительно сложная, но технически решаема. В крайнем случае, «вывернуть наизнанку» нейросеть можно другой нейросетью. Та же «банальная» Prisma так работает.
Значит, надо раздробить этот большой «черный ящик» на кучу маленьких, которые уже можно запихнуть в нормально управляемый, программируемый алгоритм.
Одна нейросеть пусть отвечает за распознавание образа, другая — за поведенческую модель в одном конкретном случае, третья — за поведенческую модель в другом конкретном случае. Пусть они обучаются параллельно, но отдельно друг от друга. А уж управление результатами их работы предоставьте программисту.
Придется создавать отдельные нейросети для всех сочетаний факторов влияния в моменты когда те становятся статистически значимыми. Это решение будет работать только в небольшом количестве не очень сложных частных случаев.
ПДД ведь достаточно формализованный документ. Если этот ИИ не сможет правильно решить задачки из тестов ПДД? Или не сможет объяснить почему он выбрал именно этот вариант?
Я так понимаю что у ИИ определенные участки сети должны быть натренированы на распознование конкретных вещей — автомобилей, дорожных знаков, людей, погоды и т.д., и можно результаты распознования этих вещей журналировать.
Это как с человеком который никогда не учил иероглифов, если ему показать иероглиф и попросить его угадать «добрый» или «злой» оттенок значения у него, то он сможет сказать по его рисунку, а объяснить не всегда сможет, или если объяснит, то человек в теме поймет, что это объяснение надуманное. А изучавший иероглифы человек сразу скажет набор допустимых значений этого иероглифа в конкретных контекстах. В итого если человек не может конкретно объяснить, то доверять ему не стоит. Тоже самое и с ИИ, если он не ведет журнала как и почему принимал определенные решения, то и верить ему нельзя.
НС только помогает ему распознать текущую ситуацию на дороге.
А уже совершение маневров и т.п. этот автомат будет делать исходя из собственного состояния.
Т.о. когда участок действия знака «обгон запрещен», это значит что у автомата-водителя будет соотвествующее состояние. А изменение этого состояния и будет логироваться как причина (увидел знак с помощью распознавания в НС, изменил своё состояние).
НС сама по себе просто помогает сократить и формализовать объем информации, которой оперирует водитель-автомат.
На данный момент, скорее всего, да, но в целом можно привязать распознавание изображения сразу к выдаче реакции, т.е. на входе текущее изображение с камеры + датчиков, на выходе угол поворота руля, степень нажатия «педали» газа и т.д. Такой подход более универсален, но объяснять его действительно будет сложно.
Он более универсален при отсутствии неких формальных правил дорожного движения. В ситуации когда они есть все равно придется создавать надстройку, которая будет контролировать их соблюдение. Гораздо проще встроить проверку правил прямо в решающий узел. Да, скорее всего будут ситуации не описанные в правилах и в них ИИ будет решать что-то сам по себе на основе обучающей выборки. Но таких ситуаций не будет много иначе их бы давно внесли в ПДД. Не имеет смысла создавать нейросеть обучающуюся соблюдать ПДД просто наблюдая за водителями, гораздо эффективнее просто записать в нее эти правила. Да и проблем будет меньше, такой алгоритм можно запрограммировать на сколь угодно точное соблюдение правил.
… что естественная часть эволюции интеллекта заключается в созДании систем,...
Так научите нейросеть вести логи, наверняка, это еще и поможет при ее отладке.
По аналогии с клеточными автоматами — при помощи трех нехитрых правил мы получаем (почти) непредсказуемые результаты типа флаеров, пульсаров, циклоидов и тд.
А нейронные сети — это что-то похожее на клеточные автоматы, но правил много, для каждого слоя, и система из них создаёт свои внутренние правила (уже не всегда очевидные) и из этой совокупности огромного множества разных правил на выходе получается результат, который уже невозможно объяснить.
Никто не понимает, как работают самые передовые алгоритмы. И это может стать проблемой
Простите, что? Если статья начинается с подобной чуши, какой смысл её вообще читать (тем более – переводить)?
Нейрость ошибается? Не страшно, если вероятность её ошибки к примеру на 2 порядка меньше, чем вероятность ошибки опытного живого водителя в такой же ситуации.
Непонятно, как предотвратить такую ошибку в дальнейшем? Да множеством способов, начиная от втыкания костылей (когда для данной конкретной ошибки вводится дополнительная проверка поверх решения, принимаемого нейросетью) и заканчивая изменением обучающей выборки или даже структуры нейрости, чтобы снизить вероятность подобной ошибки.
Проблема тут совсем в другом. В том, что для повсеместного внедрения нейросетей человечеству потребуется отбросить средневековые идеи кровной мести в стиле «мой ребёнок погиб из-за ошибки ИИ, кто-то должен за это сесть в тюрьму!». Плевать, что посадка не вернёт погибшего и даже не уменьшит вероятность таких же ошибок в дальнейшем, в данном случае человек хочет мстить, и невозможность отмщения буквально сводит его с ума. Причём никакой логикой, никакими объяснениями этого не перебить.
Поэтому не обязательно делать нейросеть безошибочной. Важно всего лишь, чтобы она ошибалась реже, чем человек. Этого уже достаточно для замены человека. В конце концов, биржевые боты уже сейчас вовсю работают, а там сейчас тоже такая лютая пересыпанная костылями математика используется, что никто толком не понимает, почему они работают именно так, как работают. И только предполагают, что серьёзных ошибок в коде бота скорее всего нет.
Нейросеть может ошибаться очень сильно, просто потому, что данные который пришли не похожи на те, на которых ее учили
Также как и человек. А может ошибаться не очень сильно. Так же как и человек. Устойчивость решения, когда при незначительных изменениях во входных данных результат меняется незначительно, для нейросети тоже достижим, если я правильно помню всю эту математику.
Можете рассказать чем так принципиально а не количественно отличается человек, что его ошибки принципиально не могут быть такими же большими? Если же речь о количественном отличии, то это инженерная задача и дело времени.
Подключение других людей не решает проблему принципиально. Это фактически просто увеличение вычислительной мощности сети минус затраты на взаимодействие и минус на исправление искажений. Это не принципиальное отличие, это отличие количественное. Проблема не в том, что нейросеть чего-то не может, а не может она очень много на самом деле, проблема в том, что люди ее боятся. А еще потому что человек принципиально очень плох в вероятностном мышлении и не может осознать выгоду в данном случае. Это общие когнитивные искажения. В каждом конкретном случае к ним примешиваются и другие. А ИИ пофигу, в него заложен алгоритм, он его просчитывает. Вам не удастся убедить его изменить решение потому что вы специалист с многолетним стажем или потому что ну очень убедительно и уверенно говорите.
Когнитивные искажения в мышлении человека — это принципиальное отличие. Также как математическая ограниченность нейросетей. Но никак не возможность объяснения.
.
почему бы не заставить одну нейросеть изучать другую нейросеть на предмет поиска объяснения ее действий.
Нейросети и ИИ — разные вещи. ИИ сможет объяснить свои действия словами и видеорядом. Нейросеть не сможет, это чёрный ящик изначально.
Ох как не хотелось бы, чтобы в нашем общественном сознании ИИ оказался там же, где сейчас находится ГМО.
Так как в ближайшие десятилетия большого отселения части человечества на Марс и астероиды пока не предвидится, земляне продолжат строить “светлое будущее” среди растущих гор мусора.
При этом искренне удивляясь и не понимая, почему же всё-таки происходит ухудшение климатических и экологических условий.
Не найдя в себе возможностей, а главное, желания решать накопившиеся проблемы, человечество с лёгким сердцем переложит сей неподъёмный труд на силиконовые плечи ИИ.
ИИ долго будет размышлять, минут двадцать, пока не сделает вывод: самым непредсказуемым и разрушительным фактором для биосферы Земли является человек.
Принятие правильного решения будет молниеносным – человечеству останется жить считанные часы.
Вот тебе бабушка Сара Коннор и Судный День!
Сейчас пару млн нейронов не так просто оптимизировать, не говоря про миллиарды, как в человеческом мозгу. Абсолютное большинство NN используется как сложная функция аппроксимации и ни о каком разуме речи быть не может.
Мне кажется, проблема объяснимого ИИ сопоставима с проблемой суперразума, пытающегося объяснить "прописные истины" братьям меньшим. Примерно как родители, испытывающие затруднения с детьми: то, что нам представляется очевидным, т.е. легко выводимым, детям доставляет намало трудов "переварить". Так и нам с трудом удается интерпретировать веса даже самой простой модели НС.
Зараннее прошу прощения у всех носителей шапочек из фольги, но ЧТО ЭТО ЗА БРЕД! Нейросеть- один из способов машинного обучения, он сложнее в отладке, чем эмпирические подходы. Всё, никакой магии, никакого подобия разума.
Далее внезапно окажется, что сознание нужно не для объяснений глупым человекам,
а самому ИИ для его саморазвития.
А вот попробуй выясни причину того или иного действия человека «на самом деле». У человека спрашивать нельзя, так как сразу случится рационализация. То есть на ходу создаст логическую цепочку действий, которые привели к результату.
Я вот смотрю на отдельно взятого человека, и вот совсем не знаю, что творится у него в голове.
Поэтому есть сертификации, правила, экзамены, дипломы — вот это всё.
Но в любой момент времени нам остаётся только надеятся, что «страх наказания» удержит человека от того, чтобы начхать на правила и «въехать в дерево».
Вот на этом «страхе наказания» всё и держится. Однако всё равно иногда бывают ситуации, когда человеку «начхать» на этот страх наказания, и он всё-таки «въезжает в дерево».
Неоправданная однонаправленная истерия. Что-то вроде беспокойства, когда 15-летний гонит на мопеде — ты совсем не полностью уверен, что он будет ехать по правилам :).
Это всего лишь инструмент жизни не более того, позволяющий больше и лучше выживать в природе.
Больше потреблять, извините ЖРАТЬ.
Никого не удивляет подъемный кран или самолет. Но интеллект — как же, супер-эго = ЧСВ )
Сам факт наличия ИИ, который работает эффективней своего создателя еще раз доказывает, что направление усилий социума жизненно необходимо менять — расширяя и углубляя подходы к познанию Реальности.
Наращивание мощности по производству количества и качества «жратвы» сделает человека механическим инструментом в руках социума. Что в свою очередь приведет к деградации человека и исчезновению его как вида, как существенной части Реальности.
Когда когда я представил разработку в мед. университете, мне сказали, что «это незаконно (нет нормативной базы), и никто вам не даст данных для его обучения, тк они есть только у гос учреждений, и вообще не занимайтесь ерундой».
Как результат — приходится всё делать самому. И вместо дальнейшей работы над ИИ (который, к счастью, сам себя развивает неплохо), приходится заниматься созданием сайта для него и поиском средств к существованию. И денег, похоже, заплатят только конечные пользователи, а никак не инвесторы…
Вот такой у нас в России спрос на ИИ.
Зловещий секрет в самом сердце искусственного интеллекта