Comments 47
На самом деле во всех этих статьях сквозит одна и та же проблема. ИИ учат без учителя. Причём настолько обще, что «он» для «себя» вырабатывает собственный язык (систему понятий), который мы не понимаем, а потом мы пытаемся задавать «ему» вопросы и удивляемся, что вместо разговора какая-то фигня выходит. Когда родители учат малыша, его направляют и поправляют. Вот это — одеяло, а вот это — занавеска. Не наоборот.
В случае же с ИИ на него просто вываливают две пачки фоток, одну с занавесками, а другую без. А потом подсовывают ещё фотку и просят сказать — есть ли там занавеска. Потом дебажат и удивляются от того, что под занавесками ИИ понимал батареи. Ну или как здесь — решил, что «ему» надо держаться границы травы и асфальта.
В случае же с ИИ на него просто вываливают две пачки фоток, одну с занавесками, а другую без. А потом подсовывают ещё фотку и просят сказать — есть ли там занавеска. Потом дебажат и удивляются от того, что под занавесками ИИ понимал батареи. Ну или как здесь — решил, что «ему» надо держаться границы травы и асфальта.
Роль родителя состоит в том, чтобы научить ребёнка пользоваться общепринятыми названиями для идентификации занавески и одеяла. Отличать же занавеску от одеяла ребёнок учится сам, иначе не было бы и смысла ему говорить, что есть что.
Ну да, это называется речь. Позволяет разным интеллектам обмениваться информацией. Ставить друг другу задачи, понимать их условия и выдавать осмысленный ответ. Без этого современные нейронки не более чем маугли. Они могут справляться с задачей, но не понимают что именно мы от них хотим. В результате среди хорошей работы получаются глюки. Типа диван с леопардовой расцветкой опознаётся как леопард. Потому что человек думал, что учит отличать кошачьих, а нейросеть «нашла» для себя более простой знаменатель — характерные паттерны на шкуре. Или чём угодно другом.
Точно. И это говорит о том, что нейронные сети у нас довольно слаборазвиты. Эдакие смышленые мышки, которых удалось обучить простым трюкам, смысла которых они не понимают и не поймут, поскольку это уже за гранью их когнитивных способностей. Зато свои «лабиринтики» они будут щелкать как орешки, получше любого человека.
Ну так используемые сейчас искусственные НС как количественно(по количеству нейронов и синапсов/весов связей), так и качественно (в плане сложности и уровня внутренней организации) даже до мозга примитивных мышек не дотягивают. Где-то на уровне между высшими насекомыми и мышами, причем ближе к насекомым. Больше производительность железа и моделирующих алгоритмов не позволяет использовать.
А от них почему-то неоправданно уже ожидают результатов сравнимых с человеческим мышлением.
Хотя это не «маугли» (полноценный мозг, но с дефицитом правильного обучения), а именно мышки — с которыми хоть в лепешку разбейся, а говорить, понимать речь или решать абстрактные сложные задачи никогда не научишь. Максимум как раз можно натренировать нескольким простым трюкам.
А от них почему-то неоправданно уже ожидают результатов сравнимых с человеческим мышлением.
Хотя это не «маугли» (полноценный мозг, но с дефицитом правильного обучения), а именно мышки — с которыми хоть в лепешку разбейся, а говорить, понимать речь или решать абстрактные сложные задачи никогда не научишь. Максимум как раз можно натренировать нескольким простым трюкам.
А разве
это не обучение с учителем? Этим действием мы условному ребенку говорим: «Вот на этих фотографиях есть занавески, а на других может что-то и похожее на занавески, но это уже не занавески». А потом условному ребенку показываем новую картинку не из набора и спрашиваем усвоил ли он как выглядят занавески. Что б ИИ не перепутал случайно занавеску с батареей его конечно нужно дольше обучать и расказать про батареи :).
вываливают две пачки фоток, одну с занавесками, а другую без
это не обучение с учителем? Этим действием мы условному ребенку говорим: «Вот на этих фотографиях есть занавески, а на других может что-то и похожее на занавески, но это уже не занавески». А потом условному ребенку показываем новую картинку не из набора и спрашиваем усвоил ли он как выглядят занавески. Что б ИИ не перепутал случайно занавеску с батареей его конечно нужно дольше обучать и расказать про батареи :).
Это скорее не обучение с учителем, а обучение маугли с животным. Учитель бы вникал, разжёвывал и убеждался бы, что материал усваивается правильно. А это как мама-кошка притащила котёнку полузадушенного мыша.
Так что народ опять слишком оптимистично использует термины. Для нормального обучения придётся что-то другое придумывать. Например, обучение с наставником. :)
Так что народ опять слишком оптимистично использует термины. Для нормального обучения придётся что-то другое придумывать. Например, обучение с наставником. :)
С наставником ничего принципиально не поменяется. Ну добавится еще парочка слоев в нейронную сеть, а выборка будет протегирована более детально, указывая обучающейся сети на больше признаков с учетом ее собственных предположений, то есть появится обратная связь. Это просто модификация архитектуры и учитель не сильно отличается от наставника по своей сути. Где-то в школах плохие учителя заставляют учеников зубрить и повторять, а где-то хорошие наставники стараются добиться понимания. Как определить «понимание» это или просто классификация по набору заученных признаков с полуинтуитивным многокритериальным выбором? Интуиция и рефлексы отличаются от построения внутренней модели НИКАК. Разве что сложностью и разнообразностью тестов адекватности этой модели или что там у интуиции вместо нее.
Ну, как минимум пример с занавесками из прошлой похожей статьи, где и правда с занавесками работали и для отладки создали мега инструмент, трассирующий работу сети и показывающий куда она «смотрит». Так вместо негатива радоваться надо было, теперь к обучающим алгоритмам, тому же обратному распространению ошибки можно гибкости добавлять, заставляя сеть «смотреть» в нужное место.
Уже прогресс, хотя бы уверенны будем, что обучая проверять на наличие занавесок, мы на занавески смотреть заставляем.
Уже прогресс, хотя бы уверенны будем, что обучая проверять на наличие занавесок, мы на занавески смотреть заставляем.
Так я об этом и говорил. Это лишь новый инструмент дрессировки или как ни назови этот процесс обучения. Результат один: имеем организм, реагирующий на занавески.
Не факт, кстати, что это хорошая идея: заставлять смотреть на занавески. Если сеть смотрела только на цветочки на занавесках — это лишь признак плохой обучающей выборки с малым разнообразием. В реальных задачах, особенно более сложных и менее явных даже для человека, например поиск онко-маркеров, бывает, наверно, даже полезно не лезть со своими подсказками. Может быть какой-то конгломерат нейронов обучится особенный тип малозаметных занавесок различать по кронштейну и муару тени. "Заставляя смотреть" можно нечаянно подавить такой нейрон.
Зато, вот, выяснять куда она смотрит для выявления новых знаний, закономерностей и уточнения моделей — это здорово.
Сеть там смотрела вообще не на окно, а как я и написал, под него, на батареи. (Реально, оказалась, что область окна не влияет на результат.) Т.е. обучающий думал, что учит определять занавески, а сеть обучилась на батареи. И, соответсвенно, человек думал, что спрашивает «есть ли тут занавески», а сеть «понимала» его вопрос, как «есть ли тут батареи». И с этой задачей неплохо справлялась.
Ребёнка можно спросить «а почему ты думаешь, что это занавеска?»
и если он ответит «потому что в цветочек» — упс…
и если он ответит «потому что в цветочек» — упс…
UFO just landed and posted this here
Один из пугающих сценариев, по мнению Клюна, состоит в том, что хакеры научаться пользоваться этими недостатками сетей. Они могут отправить робомобиль в рекламный щит, который тот примет за дорогу
Это задача такой же сложности, как убедить человека, что дорога идет в рекламный щит и там нет препятствий.
Это задача такой же сложности, как убедить человека, что дорога идет в рекламный щит и там нет препятствий.
Ой, мало-ли вы видели автомобилей в зонах глубокой ж непроезжей местности? Оптическая иллюзия, отвлекающий маневр, какая-то вспышка и привет кювет! Для железки на борту раздражители могут быть иного рода, но результат будет удручающий. Но только практика и обучение кровью и жертвами в данном случае покажет ошибки и именно это сейчас и пытаются ученые предотвратить эксперементируя с черным ящиком.
Но нарисовать такой рекламный щит, в который въедет хотя бы 1% автомобилистов…
UFO just landed and posted this here
Первая ссылка в поиске: 3д картины. Обмануть зрение человека проще, чем вы думаете.
Наивно думать, что нейросети автопилота дадут нарабатывать опыт самостоятельно.
Так что в рекламный щит въедут 99% пользователей автопилота от v123.4.5 до v134.5.6
Так что в рекламный щит въедут 99% пользователей автопилота от v123.4.5 до v134.5.6
UFO just landed and posted this here
да, но ведь у железки избыточные радары, лидары, сонары, камеры. щитом то все не обмануть. хотя мысль, конечно, ясна. действительно проблема существует
тут идея не в том, чтобы подсунуть ИИ фотореалистичную картинку, а в том, чтобы дать некую абстракцию, от которой ИИ «переклинит» и он будет действовать неадекватно. Наверное, можно сравнить с припадками людей при просмотре некоторых видео. И проблема (как и с этими людьми), что неизвестно, что вызовет такую реакцию до того момента, пока оно с этим не столкнется.
Кстати, картинка тоже может, наверное, как-то обмануть — что-то типа асфальтово-серой машины на фоне асфальта в контровом свете. или как в той истории с теслой, заехавшей под грузовик (вроде бы там тоже была проблема с цветом машины)
Кстати, картинка тоже может, наверное, как-то обмануть — что-то типа асфальтово-серой машины на фоне асфальта в контровом свете. или как в той истории с теслой, заехавшей под грузовик (вроде бы там тоже была проблема с цветом машины)
Эпилепсия у нейронных сетей
Вставлю пятьдесят пять копеек.
Недообучение.
Не будем далеко ходить — возьмем мою сеть. Как-то когда моя сеть была плохообученной я направил авто в бетонный блок потому, что мне ПОКАЗАЛОСЬ, что это большой полиэтиленовый пакет. К счастью рядом был инструктор, он занервничал, вовремя остановил авто — и тут я гм… понял ошибку.
Далее — сложность нейросети может быть и недостатком.
Прошло много лет. Я еду ночью задумавшись о вечном, блик от чего-то принимаю за фары и резко дергаюсь вправо. К счастью никого там не было, да и на встречке не было.
Т.о. — моя нейросеть совершила типичные ошибки классификации.
— По поводу хороших врачей — я думаю все же, что экспертная система вполне может справиться с задачей просто в силу ограниченности информации которую может воспринять человек.
Пусть приходит человек с симптоматикой, задача — поставить диагноз и предложить лечение.
1. Опрос по симптоматике. Важный момент — распознать, что пациент говорит правду, уверен или неуверен в ответе.
2. Выдвижение гипотезы о диагнозе, уточнение опроса. Известный пример — симптом: боль в правом боку. Гипотеза — аппендицит. Уточнение — а болит когда нажимаем или когда отпускаем?
3. Связь диагноза с другими заболеваниями — здесь от врача требуется широта мышления.
4. Назначение лечения с учетом противопоказаний и пункта три.
Здесь могут начаться обратные связи. В результате схема приема лекарств может быть достаточно сложной.
Я думаю нейросети здесь не понадобятся — если мы имеем дело с известными заболеваниями.
А вот новую информацию типа у живущих на двадцатых этажах в течение двадцати лет повышен риск заболевания X — с помощью нейросетей найти видимо можно.
В общем я за кибермедицину обеими руками.
Но для этого надо создавать такую экспертную систему и у хороших врачей выспрашивать то, что составляет предмет их знаний и опыта. Не все захотят. )
Всем здоровья!
Недообучение.
Не будем далеко ходить — возьмем мою сеть. Как-то когда моя сеть была плохообученной я направил авто в бетонный блок потому, что мне ПОКАЗАЛОСЬ, что это большой полиэтиленовый пакет. К счастью рядом был инструктор, он занервничал, вовремя остановил авто — и тут я гм… понял ошибку.
Далее — сложность нейросети может быть и недостатком.
Прошло много лет. Я еду ночью задумавшись о вечном, блик от чего-то принимаю за фары и резко дергаюсь вправо. К счастью никого там не было, да и на встречке не было.
Т.о. — моя нейросеть совершила типичные ошибки классификации.
— По поводу хороших врачей — я думаю все же, что экспертная система вполне может справиться с задачей просто в силу ограниченности информации которую может воспринять человек.
Пусть приходит человек с симптоматикой, задача — поставить диагноз и предложить лечение.
1. Опрос по симптоматике. Важный момент — распознать, что пациент говорит правду, уверен или неуверен в ответе.
2. Выдвижение гипотезы о диагнозе, уточнение опроса. Известный пример — симптом: боль в правом боку. Гипотеза — аппендицит. Уточнение — а болит когда нажимаем или когда отпускаем?
3. Связь диагноза с другими заболеваниями — здесь от врача требуется широта мышления.
4. Назначение лечения с учетом противопоказаний и пункта три.
Здесь могут начаться обратные связи. В результате схема приема лекарств может быть достаточно сложной.
Я думаю нейросети здесь не понадобятся — если мы имеем дело с известными заболеваниями.
А вот новую информацию типа у живущих на двадцатых этажах в течение двадцати лет повышен риск заболевания X — с помощью нейросетей найти видимо можно.
В общем я за кибермедицину обеими руками.
Но для этого надо создавать такую экспертную систему и у хороших врачей выспрашивать то, что составляет предмет их знаний и опыта. Не все захотят. )
Всем здоровья!
Можно сильно «сбивать с толку» классификаторы, добавляя в картинку практически незаметный для человека шум. Для нас это две одинаковые картинки, для НС — совершенно разные.
https://arxiv.org/pdf/1412.1897v4.pdf
https://arxiv.org/pdf/1511.04599v3.pdf
https://arxiv.org/pdf/1412.1897v4.pdf
https://arxiv.org/pdf/1511.04599v3.pdf
Вот свежий пример когда нейросеть целенаправленно заставили видеть порно так где его нет.
UFO just landed and posted this here
На самом деле не так. Наш мозг имеет эволюционную приспособленность (>пары миллионов лет эволюции) + обучение 20 лет (по 10-16 часов в день). Искусственная нейросеть обучается (к примеру) всего на 500 тыс. картинок. Т.е. на порядки меньше. Но даже наш мозг попадается на оптические иллюзии, что уж говорить про нейросеть.
Я сейчас ковыряюсь в распознавании картинок. Даже при обучающей выборке в 150 тыс. картинок можно без особого труда сгенерировать абстрактную картинку, которая будет неправильно классифицироваться.
Я сейчас ковыряюсь в распознавании картинок. Даже при обучающей выборке в 150 тыс. картинок можно без особого труда сгенерировать абстрактную картинку, которая будет неправильно классифицироваться.
По-моему, решение этой проблемы очевидно — если мы не можем разобраться как сеть решает задачу, то нужно добавить ещё одну сеть, которая будет решать эту задачу. Добавить сеть, которая будет учиться соотносить структуру весов связей (или структуру активаций) скрытых слоёв с описанием способа получения результата.
Естественно, то, что решение очевидно, не означает, что его легко реализовать. Тем более, что это решение можно назвать частью механизма самосознания, которое появилось у животных относительно недавно с эволюционной точки зрения. А значит представляет собой что-то более сложное, чем обучение соответствиям стимул-реакция, которым в основном занимаются существующие реализации нейросетей.
UFO just landed and posted this here
Для начала надо найти НС, которую мы «не понимаем».
Речь идёт не о понимании общих принципов работы глубоких нейросетей, а об определении того как конкретная обученная нейросеть принимает решения о классификации входных данных, и насколько релевантны используемые ею признаки.
А я про это и говорю.
И? Какие же методы есть для определения того, как конкретная сеть принимает решения?
Heatmaps? https://arxiv.org/abs/1509.06321
Так можно понять как сеть принимает решение по конкретной картинке, а не общую структуру используемых ей признаков.
Не очень понимаю, что не устраивает в этом подходе. Если это CNN, вы можете визуализировать feature maps на каждом слое, т.е. уже понятно, что оно обучилось таким-то паттернам, что такие-то fm реагируют на складки одежды, такие-то на шерсть, такие-то на глаза, и проч. Это ли не «структура используемых ею признаков»?
На не очень глубоких сверточных уровнях — да, можно посмотреть на что реагируют конкретные нейроны. А дальше, когда начинаются полносвязные слои, можно только догадываться.
Heatmaps это удобно, но ни фига не гарантирует, что рукописная тройка, сдвинутая на 3 пиксела, не распознается как 9.
Да, можно насемплить картинок, которые обеспечивают высокую активацию нейрона на глубоком уровне, и потом попытаться догадаться на что он реагирует. Но, опять-же, это только догадки.
Примерно то же происходит и в мозгу. С визуальными зонами V1-V4, неплохо разобрались, а что происходит дальше, понимает уже только сам мозг. По-своему.
Да, можно насемплить картинок, которые обеспечивают высокую активацию нейрона на глубоком уровне, и потом попытаться догадаться на что он реагирует.
Или взять высокое значение у каждого отдельного нейрона, и вычислить градиенты далее вниз, до исходной картинки. Как минимум, для первого fc слоя должно сработать.
Но, опять-же, это только догадки.
А что будет не «догадками», по-вашему? Диалог на человеческом языке, чтобы мы могли задавать ей вопросы?
Или взять высокое значение у каждого отдельного нейрона, и вычислить градиенты далее вниз, до исходной картинки. Как минимум, для первого fc слоя должно сработать.
Получится мешанина из разных признаков, скорее всего.
А что будет не «догадками», по-вашему? Диалог на человеческом языке, чтобы мы могли задавать ей вопросы?
В идеале — да. Будет полезно для верификации. Кроме того, полученные высокоуровневые описания могут использоваться самой сетью для регуляризации, приближая её восприятие к человеческому.
Попытки перевести математическую модель, заданную непрерывным счислением в пропозициональную (бинарную) логику, заведомо обречены на провал (дискретность слишком мала). Очевидное для компьютера, становится неочевидным для человеческого мышления.
Если ещё учесть, что человеческое мышление зачастую затрудняется разбираться в пропозициональной логике (не все в ней компетентны, не говоря о том, что наше мышление не рационально, а ассоциативно), то задача практически неразрешима, за исключением некоторых тривиальных случаев, используемых в качестве примитивных примеров, с целью проверки работоспособности алгоритмов машинного обучения (например, линейно-сепарабельные задачи).
Если ещё учесть, что человеческое мышление зачастую затрудняется разбираться в пропозициональной логике (не все в ней компетентны, не говоря о том, что наше мышление не рационально, а ассоциативно), то задача практически неразрешима, за исключением некоторых тривиальных случаев, используемых в качестве примитивных примеров, с целью проверки работоспособности алгоритмов машинного обучения (например, линейно-сепарабельные задачи).
Какой ИИ? Это — фантазии прошлого века… Благодаря развития интернету и средств представления информации развивается общий интеллект, который, грубо говоря, может в может быть в конкретном устройстве лишь частично
Что «видит» нейросеть, и как она «принимает решения», достаточно изучено, и автор пишет странные вещи:
«something a deep-learning algorithm might not be able to do»
Т.е. этому «deep-learning algorithm» (это что вообще такое?) может быть «не под силу» «объяснить», как он принимает решения? Как автор себе это представляет? LSTM, которая генерит текст по весам/активациям нейронов?
Такое ощущение, что товарищ набрался знаний о NN из статеек в научпопе. Как он пробрался в Nature с таким качеством текста и уровнем погружения в тему — хороший вопрос к редакции.
К примеру, во многих странах банки, отказывающие в займах, по закону обязаны объяснить причину отказа – а это алгоритму ГО может быть не под силу
«something a deep-learning algorithm might not be able to do»
Т.е. этому «deep-learning algorithm» (это что вообще такое?) может быть «не под силу» «объяснить», как он принимает решения? Как автор себе это представляет? LSTM, которая генерит текст по весам/активациям нейронов?
Такое ощущение, что товарищ набрался знаний о NN из статеек в научпопе. Как он пробрался в Nature с таким качеством текста и уровнем погружения в тему — хороший вопрос к редакции.
Постоянно спорю по этому поводу со своими европейскими коллегами на работе. Мы даже поспорили на 1 000 евро, что до трёх лет не появятся в Европе машины с полным автоматическим управлением.
Чтобы создать полное автоуправление, нужно создать ИИ а им пока что и не пахнет.
Чтобы создать полное автоуправление, нужно создать ИИ а им пока что и не пахнет.
Sign up to leave a comment.
Можем ли мы вскрыть чёрный ящик искусственного интеллекта?