Зловещий секрет в самом сердце искусственного интеллекта

https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai/
  • Перевод

Никто не понимает, как работают самые передовые алгоритмы. И это может стать проблемой


image

В прошлом году на тихие дороги округа Монмут, Нью-Джерси, вышел странный робомобиль. Экспериментальное средство передвижения, разработанное исследователями из Nvidia, внешне не отличалось от других робомобилей, но оно было совершенно не таким, какие разрабатывают в Google, Tesla или General Motors, и оно продемонстрировало растущую мощь ИИ. Автомобиль не следовал строгим инструкциям, запрограммированным человеком. Он полностью полагался на алгоритм, обучившийся водить машину, наблюдая за людьми.

Создать таким образом робомобиль – достижение необычное. Но и немного тревожное, поскольку не до конца ясно, каким образом машина принимает решения. Информация из датчиков идёт напрямую в большую сеть искусственных нейронов, обрабатывающую данные и выдающую команды, необходимые для управления рулём, тормозами и другими системами. Результат похож на действия живого водителя. Но что, если однажды она сделает что-нибудь неожиданное – въедет в дерево, или остановится на зелёный свет? В текущей ситуации будет очень сложно выяснить причину такого поведения. Система настолько сложна, что даже разработавшие её инженеры с трудом смогут найти причину любого конкретного действия. И ей нельзя задать вопрос – не существует простого способа разработать систему, способную объяснить свои действия.

Загадочный разум этого автомобиля указывает на проблему ИИ. Лежащая в основе машины технология ИИ, глубинное обучение (ГО), в последние годы доказала свою способность решать очень сложные задачи, и её применяют для таких задач, как создание подписей к изображениям, распознавание голоса, перевод текста. Есть надежда, что подобные технологии помогут в диагностировании смертельных заболеваний, принятии многомиллионных решений на финансовых рынках и в бесчисленном множестве других вещей, способных преображать индустрии.

Но этого не произойдёт – или не должно произойти – если мы не найдём способ сделать технологии типа ГО более понятными для своих создателей и ответственными для своих пользователей. Иначе будет очень сложно предсказать появление отказа – а отказы неминуемо будут происходить. Это одна из причин, по которой авто от Nvidia находится в экспериментальной фазе.

Уже сегодня математические модели используются как вспомогательное средство для определения того, кого можно условно-досрочно выпускать, кому одобрять кредит и кого нанимать на работу. Если бы вы могли получить доступ к таким моделям, можно было бы понять, как они принимают решения. Но банки, военные, работодатели и другие начинают обращать внимание на более сложные алгоритмы с машинным обучением, способные сделать автоматическое принятие решений необъяснимым. ГО, самый популярный из таких подходов, это принципиально другой способ программирования компьютеров. «Эта проблема уже имеет значение, а в будущем её значение только возрастёт», – говорит Томми Яккола [Tommi Jaakkola], профессор из MIT, работающий над применениями машинного обучения (МО). «Связано ли это решение с инвестициями, с медициной, или с военным делом – вы не захотите полагаться только на „чёрный ящик“.

Некоторые уже утверждают, что возможность допросить ИИ-систему на предмет того, как было принято то или иное решение – это фундаментальное законное право. С лета 2018 года Евросоюз может ввести требование, согласно которому компании должны суметь объяснить пользователям принятые автоматическими системами решения. А это может оказаться невозможным, даже в случае систем, с первого взгляда выглядящих просто – к примеру, для приложений или сайтов, использующих ГО для показа рекламы или рекомендации песен. Компьютеры, на которых эти сервисы работают, программировали сами себя, и этот процесс нам непонятен. Даже создавшие эти приложения инженеры не могут полностью объяснить их поведение.

Это поднимает сложные вопросы. С развитием технологий нам, возможно, придётся выйти за некий предел, за которым использование ИИ требует определённой веры в него. Конечно, и люди не всегда могут полностью объяснить ход своих мыслей – но мы находим способы интуитивно доверять и проверять людей. Будет ли это возможно с машинами, которые думают и принимают решения не так, как это делал бы человек? Мы никогда ещё не создавали машин, работающих непонятными для их создателей способами. Чего можно ожидать от общения и жизни с машинами, которые могут быть непредсказуемыми и необъяснимыми? Эти вопросы привели меня на передовой край исследований алгоритмов ИИ, от Google до Apple, и во множество мест между ними, включая встречу с одним из величайших философов нашего времени.

image

В 2015 году исследователи из медицинского комплекса Маунт-Синай в Нью-Йорке решили применить ГО к обширной базе данных с историями болезней. В них содержатся сотни переменных, полученных из анализов, визитов к врачам и пр. В итоге программа, названная исследователями Deep Patient, тренировалась на данных 700 000 человек, а потом, при её проверке на новых пациентах, показала удивительно хорошие результаты по предсказанию заболеваний. Без вмешательства экспертов Deep Patient обнаружила скрытые в данных закономерности, которые, судя по всему, говорили о том, что пациент встал на путь к различного рода заболеваниям, включая рак печени. Существует много методов, „достаточно хорошо“ предсказывавших заболевание на основе истории болезни, говорит Джоел Дадли, руководящий командой исследователей. Но, добавляет он, „этот просто оказался гораздо лучше“.

В то же время Deep Patient озадачивает. Она вроде бы хорошо распознаёт начальные этапы психических отклонений вроде шизофрении. Но поскольку врачам очень трудно предсказать шизофрению, Дадли заинтересовался, как это получается у машины. И он до сих пор не сумел это выяснить. Новый инструмент не даёт понимания того, как он этого достигает. Если система типа Deep Patient когда-нибудь будет помогать докторам, в идеале она должна дать им логическое обоснование своего предсказания, чтобы убедить их в его точности и оправдать, к примеру, смену курса принимаемых лекарств. „Мы можем строить эти модели, – печально констатирует Дадли, – но мы не знаем, как они работают“.

ИИ не всегда был таким. Вначале было два мнения по поводу того, насколько ИИ должен быть понятен или объясним. Многие считали, что имеет смысл создавать машины, рассуждающие согласно правилам и логике, делающие свою внутреннюю работу прозрачной для каждого, кто захочет их изучать. Другие считали, что интеллект в машинах сможет возникнуть быстрее, если вдохновиться биологией, и если машина будет учиться через наблюдение и опыт. А это означало, что нужно перевернуть всё программирование с ног на голову. Вместо того, чтобы программист записывал команды для решения задачи, программа создавала бы свои алгоритмы на основе примеров данных и необходимого результата. Технологии МО, сегодня превратившиеся в самые мощные ИИ-системы, пошли по второму пути: машина программирует сама себя.

Поначалу такой подход был мало применим на практике, и в 1960-70 годы он жил лишь на переднем крае исследований. А затем компьютеризация множества индустрий и появление больших наборов данных вернуло интерес к нему. В результате началась разработка более мощных технологий машинного обучения, в особенности новых версий искусственных нейросетей. К 1990-м нейросети уже могли автоматически распознавать рукописный текст.

Но лишь в начале текущего десятилетия, после нескольких хитроумных подстроек и правок, глубокие нейросети показали кардинальное улучшение работы. ГО отвечает за сегодняшний взрыв ИИ. Оно дало компьютерам необычайные возможности, такие, как распознавание речи на уровне человека, что слишком сложно было бы запрограммировать вручную. Глубокое обучение преобразовало компьютерное зрение и радикально улучшило машинный перевод. Теперь его используют для помощи в принятии ключевых решений в медицине, финансах, производстве – и много где ещё.

image

Схема работы любой МО-технологии по своей сути менее прозрачна, даже для специалистов по информатике, чем у запрограммированной вручную системы. Это не значит, что все ИИ в будущем будут одинаково непознаваемы. Но по сути ГО представляет собой особенно тёмный чёрный ящик.

Нельзя просто заглянуть в глубокую нейросеть и понять, как она работает. Рассуждения сети встроены в тысячи искусственных нейронов, организованных в десятки или даже сотни сложным образом соединённых слоёв. Нейроны первого слоя получают входные данные, такие, как яркость пикселя в картинке, и вычисляют новый выходной сигнал. Эти сигналы по сложной паутине передаются нейронам следующего слоя, и так далее, до полной обработки данных. Также существует процесс обратного распространения, подстраивающий вычисления отдельных нейронов так, чтобы сеть обучалась выдавать нужные данные.

Множество слоёв сети позволяют ей распознавать вещи на разных уровнях абстракции. К примеру, в системе, настроенной на распознавание собак, нижние уровни распознают простые вещи, такие, как контур или цвет. Высшие распознают уже мех или глаза. А самые верхние идентифицируют собаку в целом. Тот же подход можно применить к другим вариантам входных данных, позволяющих машине обучить саму себя: звуки, составляющие слова в речи, буквы и слова, составляющие предложения, или движения руля, необходимые для езды.

В попытках распознать и объяснить происходящее внутри систем были разработаны изобретательные стратегии. В 2015 году исследователи из Google изменили алгоритм распознавания изображений так, чтобы вместо того, чтобы находить объекты на фото, он бы создавал или изменял их. По сути, запустив алгоритм в обратном направлении, они решили узнать, какие особенности программа использует для распознавания, допустим, птиц или зданий. Итоговые изображения, созданные проектом Deep Dream, демонстрировали гротескных, инопланетных животных, появляющихся среди облаков и растений, и галлюциногенные пагоды, видимые в лесах и горах. Изображения доказали, что ГО не полностью непознаваемо. Они показали, что алгоритмы нацеливаются на знакомые визуальные признаки, типа клюва или перьев птицы. Но эти изображения рассказали и о том, как сильно отличается восприятие компьютера от человеческого, поскольку компьютер мог сделать артефакт из того, что человек бы проигнорировал. Исследователи отметили, что когда алгоритм создавал изображение гантели, вместе с ним он рисовал и человеческую кисть. Машина решила, что кисть – часть гантели.

Далее процесс двигался благодаря идеям, позаимствованным из нейробиологии и когнитивистики. Команда под руководством Джефа Клюна [Jeff Clune], помощника профессора из Вайомингского университета, проверяла глубокие нейросети при помощи эквивалента оптических иллюзий. В 2015 году группа Клюна показала, как определённые изображения могут обмануть сеть так, чтобы она распознала объекты, которых не было на изображении. Для этого использовались детали низкого уровня, которые ищет нейросеть. Один из членов группы создал инструмент, работа которого напоминает вживлённый в мозг электрод. Он работает с одним нейроном из центра сети, и ищет изображение, больше других активирующее этот нейрон. Картинки получаются абстрактными, демонстрирующие загадочную природу машинного восприятия.

Но нам недостаточно только намёков на принцип мышления ИИ, и простого решения тут нет. Взаимосвязь расчётов внутри сети критически важна для распознавания закономерностей высокого уровня и принятия сложных решений, но эти расчёты – трясина из математических функций и переменных. „Если бы у вас была очень маленькая нейросеть, вы могли бы в ней разобраться, – говорит Яккола, – но когда она разрастается до тысяч нейронов на слой и сотен слоёв, она становится непознаваемой“.

Рядом с Якколой в офисе находится рабочее место Регины Барзилай [Regina Barzilay], профессора MIT, намеренного применять МО к медицине. Пару лет назад, в возрасте 43 года, ей диагностировали рак груди. Диагноз шокировал сам по себе, но Барзилай беспокоилась ещё и из-за того, что передовые статистические методы и МО не используется для онкологических исследований или для разработки лечения. Она говорит, что у ИИ огромный потенциал для организации революции в медицине, но его понимание простирается за пределы простой обработки медицинских записей. Она представляет себе использование сырых данных, не используемых сегодня: „изображения, патология, вся эта информация“.

По окончанию процедур, связанных с раком, в прошлом году Барзилай со студентами начали работать с докторами Массачусетского госпиталя над разработкой системы, способной обрабатывать отчёты по патологиям и определять пациентов с определёнными клиническими характеристиками, которые исследователи хотели бы изучить. Однако Барзилай понимает, что система должна уметь объяснять принятые решения. Поэтому она добавила дополнительный шаг: система извлекает и подсвечивает участки текста, типичные для найденной ей закономерности. Барзилай со студентами также разрабатывают алгоритм глубокого обучения, способный находить ранние признаки рака груди в маммограммах, и эту систему они тоже хотят сделать способной объяснять свои действия. „Очень нужен процесс, в котором машина и люди могли бы работать вместе“, – говорит Барзилай.

Американские военные тратят миллиарды на проекты, использующие МО для пилотирования машин и самолётов, определения целей и помощи аналитикам в фильтрации огромных куч разведданных. Здесь тайны работы алгоритмов ещё менее уместны, чем в медицине, и минобороны определило объяснимость как ключевой фактор.

Дэвид Ганнинг [David Gunning], руководитель программы разработки в агентстве передовых оборонных исследований, следит за проектом „Explainable Artificial Intelligence“ (объяснимый ИИ). Седой ветеран агентства, до этого следивший за проектом DARPA, по сути приведшим к созданию Siri, Ганнинг говорит, что автоматизация пробирается в бесчисленное количество военных областей. Аналитики проверяют возможности МО по распознаванию закономерностей в огромных объёмах разведданных. Разрабатываются и проверяются автономные машины и летательные аппараты. Но солдаты вряд ли будут комфортно чувствовать себя в автоматическом танке, не объясняющем им свои действия, а аналитики будут неохотно использовать информацию без объяснений. „В природе этих МО-систем частенько выдавать ложную тревогу, поэтому аналитику необходима помощь, чтобы разобраться в том, почему была дана та или иная рекомендация“, – говорит Ганнинг.

В марте DARPA выбрала для финансирования 13 научных и коммерческих проектов по программе Ганнинга. Некоторые из них могут взять за основу работу Карлоса Гуэстрина [Carlos Guestrin], профессора Вашингтонского университета. Они с коллегами разработали способ, которым МО-системы могут объяснять свои выходные данные. По сути, компьютер находит несколько примеров данных из набора и предоставляет их в качестве объяснения. Система, разработанная для поиска электронных писем террористов, может использовать миллионы сообщений для тренировки. Но благодаря подходу вашингтонской команды она может подсветить определённые ключевые слова, обнаруженные в сообщении. Группа Гуэстрина также придумала, как системы распознавания изображений могли бы намекать на свою логику, подсвечивая наиболее важные части изображения.

Один недостаток такого подхода и ему подобных заключается в упрощённом характере объяснений, в связи с чем некая важная информация может оказаться утерянной. „Мы не дошли до мечты, в которой ИИ может вести с вами дискуссию и способен объяснить вам что-то, – говорит Гуэстрин. – Нам ещё очень далеко до создания полностью интерпретируемого ИИ“.

И речь не обязательно идёт о такой критичной ситуации, как диагностика рака или военные манёвры. Знать о ходе рассуждений ИИ будет важно, если эта технология станет общераспространённой и полезной частью нашей повседневной жизни. Том Грубер, руководящей командой разработки Siri в Apple, говорит, что объяснимость – ключевой параметр для их команды, пытающейся сделать Siri более умным и способным виртуальным помощником. Грубер не рассказывал о конкретных планах для Siri, но легко представить, что получая рекомендацию ресторана, вы хотели бы знать, почему она была сделана. Руслан Салахутдинов, директор исследований ИИ в Apple и адъюнкт-профессор в Университете Карнеги-Мэлон, видит объяснимость в роли ядра эволюционирующих отношений людей и умных машин. „Она привнесёт в отношения доверие“, – говорит он.

Так же, как невозможно подробно объяснить многие аспекты человеческого поведения, возможно ИИ не сможет объяснить всё, что он делает. „Даже если кто-то сможет дать вам логичное объяснение своих действий, оно всё равно будет не полным – то же верно и для ИИ“, – говорит Клюн из Вайомингского университета. „Эта особенность может быть частью природы интеллекта – то, что лишь его часть поддаётся рациональному объяснению. Что-то работает на инстинктах, в подсознании“.

Если так, то на каком-то этапе нам придётся просто верить решениям ИИ или обходиться без них. А эти решения должны будут затронуть и социальный интеллект. Так же, как общество построено на контрактах, связанных с ожидаемым поведением, так и системы ИИ должны уважать нас и вписываться в наши социальные нормы. Если мы создаём автоматические танки и роботов для убийства, важно, чтобы их процесс принятия решений совпадал с нашей этикой.

Для проверки этих метафизических концепций я отправился в Университет Тафтса на встречу с Дэниелом Дэннетом, знаменитым философом и когнитивистом, изучающим сознание и разум. В одной из глав его последней книги, „От бактерий до Баха и обратно“, энциклопедическом трактате на тему сознания, содержится предположение, что естественная часть эволюции интеллекта заключается в сознании систем, способных выполнять задачи, недоступные для их создателей. „Вопрос в том, как нам подготовиться к разумному использованию таких систем – какие стандарты требовать от них и от нас самих?“ – говорил он мне среди беспорядка в его офисе, находящемся на территории идиллического кампуса университета.

Он также захотел предупредить нас по поводу поисков объяснимости. „Думаю, что если мы будем использовать эти системы и полагаться на них, то, конечно же, нужно очень строго отнестись к тому, как и почему они выдают нам свои ответы“, – говорит он. Но поскольку идеального ответа может и не оказаться, мы должны так же осторожно относиться к объяснениям ИИ, как и к нашим собственным – вне зависимости от того, насколько умной кажется машина. „Если она не сможет лучше нас объяснить, что она делает, – говорит он, – лучше ей не доверять“.
Поделиться публикацией
Комментарии 192
    –6
    Это отдает неолуддизмом. В машине нет никаких данных кроме тех, которые мы в нее закладываем. Если мы получаем ответы, которые не можем объяснить — значит, мы не понимаем, что мы в нее закладываем.
      +3
      А то, действительно, машина для диагностики рака по генной карте начнет заниматься против нашей воли евгеническими экспериментами, увеличивая вероятность смерти пациентов с «неправильными генами»
        +2
        «Искусственное производство жизни логически уравновешивается искусственным производством смерти» (с) М.Хайдеггер
          0
          Философы — нацисты они такие)
          0
          А если человек начнет? А если он диплом купил, а диссертацию списал? И не обязательно использовать одну машину, можно несколько разных и сравнивать что они советуют.
            0
            То его накажут.
            А ты пойди накажи компьютер…
              0
              Если человек сможет дать логичное обоснование своим выводам — то что в этом плохого?
              0
              А может и занимается, откуда мы знаем как далеко идут ее результаты-выводы. Может машина поняла — чем меньше плохих генов тем меньше больных раком — чем меньше больных тем здоровее общество, вот и выдает «курс лечения ». Как говориться чем боьше самоубийц — тем меньше самоубийц.
              +16
              В машине нет никаких данных кроме тех, которые мы в нее закладываем.

              Алгоритм нейросети может генерировать данные и присваивать им значения. Так что это неверное утверждение

              Если мы получаем ответы, которые не можем объяснить — значит, мы не понимаем, что мы в нее закладываем.

              Мы (люди) не можем понять внутренню работу нейросети, поскольку данные ее внутренних слоев генерируется динамически, по заданным математическим выражениям.

              Набор данных, генерируемый внутренними слоями, просто огромен, поэтому ни один человек не сможет прочесть и проанализировать работу внутренних слоев по-отдельности. Иначе было бы сложно получить такие впечатляющие результаты обработки данных на компьютере
              Да это и не нужно (анализирование внутренних слоев). Людям важно получить конечный результат, а не тратить 10000 лет на изучение взаимодействия весов нейронов нейросети.
                –1
                Алгоритм нейросети

                А алгоритм закладываем разве не мы сами?
                поэтому ни один человек не сможет прочесть и проанализировать работу внутренних слоев по-отдельности

                Видимо, еще не создано действительно пригодных для этого инструментов анализа. Что-то подсказывает, что это будет еще одна нейросеть.
                  0
                  Ведь если проблема анализа работы нейросети заключается лишь в огромном объеме данных внутренних слоев — значит, принципиально она решаема, и инструментарий сделать вполне возможно. Пусть он будет в 10 или 100 раз более громоздким, чем исследуемая машина, не страшно, она используется лишь при отладке и поиске ошибок.
                    +2
                    Отличный пример заблуждения! Цирмело поставил перед Больцманом точно такую же задачу: «построить описание термодинамической системы», можно развить пример: «по фотографии реликтового излучения восстановите всю историю Вселенной, и пожалуйста с историей Земли на 100 лет вперед… очень интересно!»

                    "… Возражение Цермело Больцману заключалось в следующем: Больцман утверждает, что может доказать, что величина Н — энтропия с отрицательным значением — всегда уменьшается. Но в теореме Пуанкаре доказывается: при данном достаточном времени любое сочетание атомов снова повторится, и, значит, произойдет возвращение к изначальной энтропии. Следовательно, утверждение Больцмана не может быть верным ..." (с) не мой и может расцениваться как реклама стороннего сайта.

                    Программы уже пол века недетерминированы, для некоторых простейших алгоритмов можно построить конечное описание поведения, для большинства более-менее сложных систем задача описания имеет экспоненциальную сложность или близкую к ней (мы вводим абстракцию «агрегат», «элемент»… для подсистем имеющих какое-то представимое описание и интерфейс, но со «сложностью» сопряжения мы справляться не можем)…
                    +2
                    Дело не в этом. Внутренние слои анализировать довольно бессмысленно. Там ничего интересного нету, они работают в заданном диапазоне и по четко заданным математическим правилам
                    А алгоритм закладываем разве не мы сами?

                    Сами. Мы можем написать алгоритм и запустить (в дальнейшем не вмешиваясь, т.е. не добавляя данных), который может получать данные и обрабатывать их по заданному алгоритму. После одной итерации алгоритма, нейросистема сможет использовать этот результат для дальнейшей обработки данных (обучение) и присваивать новым данным уже измененные правила.
                    Младенцы людей работают по таким же правилам:

                    — Создали алгоритм правил (родился младенец с определенными свойствами) => алгоритм получил данные (младенец потрогал горячую поверхность) => алгоритм использует полученные знания для обработки последующих ситуаций
                      0

                      Алгоритм обучения — да. Но чему в итоге научится, какие связи сопоставит машина и к какому выводу придёт — вот это, как мне кажется, и есть главный вопрос статьи.

                        0
                        Применимо к НС нет никаких связей и выводов. Есть набор внутренних параметров, минимизирующий ошибку НС для заданных условий. Это всё. Искать скрытые смыслы внутри скрытых слоев — не алгоритмизируемая задача.
                      +2
                      Отдельный человек не сможет прочесть и проанализировать работу кеша какой-нибудь базы данных объемом в сто гигабайт. Или досконально проверить работу оценщика веса сайта в поисковой машине. И зачастую невозможность легко проверить результат ведет к багам, существующим десятилетия или к эксплойтам.
                      Все даже еще хуже — никто не может досконально проверить конкретный микропроцессор, а ну как у него производственный брак, который проявляется в редчайших условиях?

                      Это данность в которой мы уже живем.
                        +1
                        Всё просто, чтобы понять работу ИИ нужен ещё один ИИ!
                          0
                          Ну да, чтобы объяснить муравью устройство ящерицы, нужно создать медведя…
                          Это тупик. ИИ — инструмент. Нецелесообразно создавать инструменты, использование которых в итоге приводит к затратам, бОльшим, нежели предыдущее поколение. Создание «объясняющего ИИ» нивелирует выгоду от использования «объясняемого ИИ». Нужен статистический подход — ориентация на результат — если робомобили в итоге значительно снизят количество жертв, то и пофигу на понимание этой авто-интуиции.
                            0
                            Если гравицапа летает, то пофигу как она это делает?;)
                              +1
                              При таком подходе важно не удивляться, если она вдруг падает, скажем над бассейном…
                              0

                              Вот только жертвам случайностей (если, к примеру, алгоритм примет встречный Белаз за двух мотоциклистов) надо будет найти виновного. Кто это будет? Сам погибший, производитель автопилота или конкретный "воспитатель ИИ", который в обучающую и тестовую выборку не добавил фото/видео Белазов. Как опредлить, кто из них виновен (даже если сохранять сырые данные в формате сжатия без потерь)?

                                0
                                Как опредлить, кто из них виновен
                                Заглянуть в лицензионное соглашение на автопилот.
                                  +2
                                  Ах, если бы ответственность по уголовному законодательству можно было бы легко распределять через договоры…
                                    –1

                                    Никто не будет виновен. Это форс мажор, как техническая неисправность, которую диагностировать и предотвратить невозможно заранее. Никто ведь как правило не несет угололвную ответственность за крушения самолетов, обусловленные тех причинами или погодными условиями.

                                      +1
                                      несут. Диспетчеры, пилоты, обслуживающий персонал (проверяющий техническое состояние самолета), конструкторы (в случае если был доказан умысел или халатная невнимательность).
                                      Сама себе плохая погода — не повод падать (и падения не происходят обычно из-за дождика).
                                      Но если кто-то ещё ошибаются — вот и виновные.

                                      Только в очень редких случаях никто не несёт
                                  0
                                  А зачем вообще искать виновного? Ущерб возместит страховка. А алгоритм обучится и станет более совершенным.
                                  Слушайте — вам дают чёрный ящик и гарантируют, что он снизит аварийность на порядок. Вам не всё равно, что внутри ящика? Вы от него откажетесь пока до мелочей не поймёте его устройство?
                                  Современные ПК и софт — уже считайте стали такими «чёрными ящиками» — «херак-херак — и в продакшен» — что там внутри и как работает — никто не заморачивается, а просто тестирование переносят на публику, выкатывая сырой продукт — «главное опередить конкурентов, а глюки по дороге доделаем...»
                                    +1
                                    Возмещение ущерба — это по гражданскому праву. А по уголовному (когда обвиняет не пострадавший, а общество в целом) кого надо будет посадить?

                                    И вообще, тема «чёрный ящик снижает аварийность» мне очень напоминает сюжет фильма «Особое мнение» («Minority report»).
                                    0
                                    Здесь может быть интересный казус. Для избежания ответственности (вернее, перекладывания ответственности на конечного пользователя) могут появиться ИИ с анонимным авторством.
                                      +1
                                      И без авторских прав? ;-)
                                        +1

                                        В таком случае ответственность полностью ляжет на тех, кто их использует. Никакой проблемы.

                                        0
                                        Я бы выбрал «сам погибший» и вот почему: это было его решение — поехать на таком автомобиле. Чем это решение принципиально отличается от решения поехать на обычном автомобиле? Ну правда — чем? Только тем, что тут вместо руля, педалей и т. п. лишь кнопка (или голосовое подтверждение? или ещё как?), НО! (и только это важно!) подтверждающая его желание совершить эту поездку! В обычном автомобиле это подтверждение осуществляется просто началом управления им. А тут кнопка. И какая разница?! И там и тут, прежде чем ехать, нужно представлять себе возможности и ограничения автомобиля. Они разные, но не принципиально! Не вижу принципиальных отличий. Решил ехать, сообщил своё решение автомобилю — ответственность за твою жизнь на тебе. Вот и все дела. :)
                                          0
                                          Тогда представим более сложную правовую задачу: кто будет виноват, если из-за ошибки такого автомобиля погибнет человек в «тупом» авто? Или простой пешеход? Вроде как юзер сел в такой умный автомобиль, просто поехал на работу и не управляя автомобилем напрямую, убил человека.
                                    • НЛО прилетело и опубликовало эту надпись здесь
                                        0

                                        Таким образом мы приходим к необходимости прототипа рефлексии для ИИ, и как следствие, мы можем прийти к самосознанию.

                                      +1
                                      Проблема, как я понимаю, не в том, что мы в принципе не можем чего-то ухватить и объяснить — а что мы в принципе не можем это сделать за приемлемое время. Не за гугол лет.
                                        –2
                                        Когда-то думали, что беспроводная связь невозможна…
                                          +5

                                          Никогда так не думали. Такая связь существует тысячи лет.

                                            +1
                                            Сигнальный костры, что ли?
                                              +1
                                              Речь;)
                                                +1
                                                А ещё до этого неречевые сигналы. В том числе не просто «мычание», а, например, жесты руками, телом, мимика лица. Это всё ещё более древнее и такое же беспроводное! :)
                                            +1
                                            Каждый раз, когда я вижу подобные слова, мне хочется кого-нибудь ударить.
                                          0
                                          Это не зловещий секрет, а начало технологической сингулярности. Уже пора бы
                                            0
                                            Почитайте про нейросети.
                                            +10
                                            Но что, если однажды она сделает что-нибудь неожиданное – въедет в дерево, или остановится на зелёный свет?

                                            Кажется моя любимая жена — робот…
                                              +2
                                              Речь шла не о роботах, а о нейронных сетях. И да, сюрприз, ваша жена принимает решения с помощью самой настоящей сети нейронов :)
                                                +1
                                                Сложный биоробот! =)
                                              0
                                              “Результат похож на действия живого водителя. Но что, если однажды она сделает что-нибудь неожиданное – въедет в дерево, или остановится на зелёный свет?”

                                              Во-первых не 'если', а 'когда'.
                                              А во-вторых, так же как и живому водителю, который совершил эту же ошибку, нужно просто сказать чтоб больше так не делал, и проблема решится, хоть и после некоторой итерации.

                                              Если учить машину как ребёнка, то нужно указывать на ошибки и недочёты, и через несколько итераций появится опыт.
                                                0

                                                У вас сказочное представление о людях, знаю пачку лихачей, которым до лампочки все слова и аварии.

                                                  +1
                                                  у НС есть преимущество — они не устают, а «навык» закреплен прочно.
                                                  Это то, что вселяет в меня робкий оптимизм.
                                                    0
                                                    А «робкий» тут в своём обычном значении или это отсылка к роботам в контексте обсуждаемой темы? :)
                                                      0
                                                      Скорее, в смысле «сдержанный», «умеренный»
                                                      0
                                                      а «навык» закреплен прочно

                                                      хммм… закреплен до тех пор, пока другой навык не «перезапишет» существующий. И нет никаких гарантий, что новый навык не будет предрасположенным к врезанию в деревья.
                                                      Шутки про скайнет это весело, но сейчас подумалось, что человечество расслабилось. Мы привыкли быть доминирующим видом и не иметь конкурента. Как бы не создать его своими руками. Сначала делаем нейросеть, успешно решающую проблемы. Менагерам до фени же, что не понимаем, как оно точно работает – главное результат, конкурентное преимущество. А потом, внезапно, простенькая система для учета канализационных стоков развивается в интеллект более высокий, чем у создателя. Или просто другой, в принципе непознаваемый нами. Аргумент про «красную кнопку», типа, если что, то просто выключим и все – несерьезен.
                                                    +1
                                                    Появится опыт проскакивать на красный, если нет поблизости ментов? :-)
                                                      0

                                                      Не могу плюсануть, выражаю так свою поддержку — непременно появится, если у автомобиля будет разблокировано обучение.
                                                      Но я так думаю, что на продажу будут выставлять машины с заблокированным обучением. Но опыт будет собираться и передаваться на сервера, чтобы если что, по решению оператора/программиста его можно было применить ко всем.

                                                        0
                                                        Откуда он может появится, если автомобиль будет стоять на красный? Вы никак не заставите его попробывать.
                                                          0

                                                          Вы недооцениваете людей :-) Если что-то в принципе можно сделать — это будет сделано!
                                                          А если от этого будет субъективная польза — это будет сделано в десять раз быстрее и в сто раз большим количеством людей.

                                                            0
                                                            Проскочить на красный хочется если ты ждешь вместе с машиной. Если ты в это время занят своими делами то ждет машина эти 30 секунд или нет для тебя не важно.
                                                              +1

                                                              Вы указали причину, но ее не осознали. :-)
                                                              Если ждешь — то хочется. Если хочется, то сделаешь. Внимание, вопрос: есть ли такие ситуации, когда кажется, что лишние 30 секунд настолько важны? Или есть такие люди, которым хочется добраться побыстрее из точки А в точку Б, независимо от того за рулем они или нет?

                                                                0
                                                                В ситуации когда важны 30 секунд, перепрограммировать нейросеть уже поздно.
                                                                  0
                                                                  Перепрограммирование нейросети еще и без следов(иначе контроль может и посадить года на 4) является очень нетривиальной и специализированной задачей. Это как сейчас, например, поменять головку цилиндра для улучшения старта на светофоре. Теоретически — возможно, но практически сделать так, чтоб было лучше фабричной и собрать обратно фабричный современный двигатель — требует нереальной квалификации.
                                                                  Или вы думаете, что ваш автомобиль будет в сябя включать еще и ИИ общего назначения и вы ему просто скажите «езжай, душка, на красный, барин хочет». А потом «сотри ка наши разговоры»?
                                                              0
                                                              Например, он же может сначала анализировать поведение других участников движения: увидел, что кто-то поехал на красный и отложил себе в копилку, что, оказывается, так можно в принципе. Дальше он может пытаться вычислять, при каких условиях так делают другие: нет препятствий моему движению и я никому не мешаю (типа красный то мне горит, но никто же не едет поперёк моего маршрута), или там (с чего всё началось) нет «ментов» и нет возможности получить штраф. А когда накопит достаточное количество данных, может перейти и к собственным активным действиям.
                                                                0

                                                                Для этого нужно прописать описанное вами обучение в алгоритме. Но проблемы такого подхода очевидны, а преимуществ нет — так никто никогда не станет делать. А даже если кто-то и сделает, то его все равно никто не пустит поставить такой автопилот в автомобиль. Если же это будет самоучка с кустарной переделкой, то тут возникает такая масса проблем, что ваш вариант уже не сильно и пугает. Причем такой вариант ничем не отличается от неумелой переделки автотехником обычного автомобиля из-за которой в критический момент что-нибудь отработает неправильно. Те же тормоза откажут.

                                                                  0
                                                                  Вы путаете обучение человека и машины. У автоматического водителя, скорее всего, вообще будет заблокировано обучение, ТОЧНО будут жесткие запреты в соответсвии с правилами страны перебывания и уж точно никто его не будет учить по принципу «делай как я». Обучение нейронных сетей требует сильно других ресурсов, их просто не будет в машине.
                                                            0
                                                            угу, система «Кнута и пряника» — по идее это первый и скорее всего один из самых важных шагов для получения сильноги ИИ или чего то что в будуще мможет стать ИЛ… Правда страшный т.к. система РЕАЛЬНО способная УЧИТСЯ самостоятельно не контролируема в принципе…
                                                              0

                                                              Человек — система, способная учиться самостоятельно. Вполне себе контролируем в абсолютном большинстве случаев в определенных пределах. Не всегда такой контроль прост, но практически всегда возможен.

                                                            0
                                                            Людям же после аварии фМРТ не делают(для реконструкции ситуации), зачем просить примерно того же от машины?
                                                              0

                                                              потому что человек это личность несущая ответственность, а машина нет, за неё по идее несут ответственность создатели, во всяком случае до тех пор пока машина не станет личностью

                                                                0
                                                                Если честно, то я не очень понимаю значение слова «ответственность» в строгом смысле.
                                                                Имелось в виду наказание за ошибку?
                                                                  0

                                                                  да, хотя в данном случае понимание также требуется для улучшения системы и недопущения последующих ошибок

                                                                    0
                                                                    Ну, переобучение назвать ответственностью это как-то сильно.
                                                                    Несчастный случай, непредвиденная ситуация. Ну все почти как в авиации, а там чудес было всяких-разных, мама не горюй просто.
                                                                    Блочок логгирования всех входных данных ака черный ящик, модель на дообучение, и тихо и спокойно двигаемся дальше. Бессердечно и цинично? Фиг знает, белковые формы жизни тоже себя не идеально показали.
                                                                      0

                                                                      Так вот проблема в том, что после переобучения нельзя проверить что получилось — может эта проблема решилась, но появились новые там где раньше работало.
                                                                      Тестами всё не покроешь — слишком сложные задачи, а без понятного алгоритма верифицировать не получится.

                                                                        0
                                                                        Проблема в том, что задача, в общем случае, не решается.
                                                                        Есть белковые, которых спрашиваешь: понял? — понял. И без всяких гарантий.
                                                                        Есть НС, у которых «понял» выявляется на тестах, да, дескать, понял, веду себя как заказывали.
                                                                        Алгоритмически задачи вождения в произвольных условиях не решаются в принципе.
                                                                        Но у НС есть преимущество — не устают и не «ошибаются», в том смысле, в каком ошибается человек.
                                                                          0

                                                                          Откуда информация о том что задача не решается?

                                                                            0
                                                                            Из самых общих рассуждений.
                                                                            Алгоритм конечен, количество ситуаций и условий — бесконечно.
                                                                              0

                                                                              В самом общем случае, когда не ограничено время "ситуации" вы правы. Но если ввести ограничение на время ситуации сверху, любое причем, то их количество уже становится конечным, хоть и очень большим. Также и с условиями: даже если взять все возможные варианты автомобиля и окружающей среды, то, так как каждый из таких параметров конечен, то их композиция будет конечна. Правда, опять же, приняв во внимание что непрерывные параметры в жизни все равно дискретизируются.


                                                                              Для пояснения пример:
                                                                              Скорость, в общем случае это параметр непрерывный и мы всегда можем получить новое значение, находящееся между любыми двумя старыми. Но с какого-то момента разница между старым и новым параметром будет настолько мала, что ее будет невозможно измерить. Таким образом можно любой непрерывный параметр заменить набором дискретных значений.

                                                                                0
                                                                                Вообщето как раз вождение — алгоритмизируется. Просто текущих мощностей компьютеров не хватает на такой алгоритм, да и есть проще решение в нейросетях.

                                                                                Вам просто необходимо в компьютер внести физическую модель автомобилей всех наличных вариантов, физическую модель дороги и считать. Даже с сильными приближениями(как сейчас) просчет компьютером ситуации выполняется сильно точнее и быстрее по сравнению со средним человеком. Нет, может экстремальный гонщик участвующий в ралли каждый год(сколько таких? 1к?10к на планету?) оценит авраийную ситуацию лучше, но не средний человек.
                                                                            +1

                                                                            Так это и для человека справедливо. Только у человека еще и значительно хуже память с рефлексами, нельзя гарантировать что он вообще вспомнит об уроке в нужный момент или успеет среагировать.

                                                                    0
                                                                    НС не несёт никакой ответственности за свои ошибки. Обслуживающий персонал НС-ти так же не отвечает за результат, если НС исправно функционирует. В некоторых случаях нельзя принимать решения, основываясь на безответственном мнении, без известной логической цепочки.
                                                                    Проблема не что делать до аварии, а «приведёт ли это решение НС к аварии или нет и почему?».
                                                                    +3
                                                                    С практической точки зрения, нейросети правильно использовать уже сейчас там, где от них может быть польза. Да, они могут ошибаться при диагностике, например, рака, но и живые врачи тоже ошибаются. И если применение нейросети поможет спасти больше людей – это здорово. Но все же, нейросети нужно понимать как временный костыль – пока мы не поймём и не формализуем закономерности, которые «чувствует» нейросеть. Поэтому настораживает нынешняя мода на них, что-то типа «когда в руках молоток – все вокруг похоже на гвоздь».
                                                                      0
                                                                      Именно так!
                                                                      Но вот я тут пару месяцев назад читал переводную статью какого-то уважаемого эксперта в IT, и он на полном серьёзе утверждал, что мы должны отдавать приоритет самообучаемым алгоритмам перед классическими, объяснимыми. Ставить телегу перед лошадью. Так что повоевать еще предстоит…
                                                                        0
                                                                        Если верить фантастам, в будущем алгоритмы будут писать себя сами. Но и там, надеюсь, всегда можно будет при желании проследить логику какого-либо решения машины.
                                                                        А пока нейросети пихают куда ни попадя. Недавно видел статью, в которой нейросети тренировали для предсказания реакционной способности соединений. Верно ведь, зачем разрабатывать расчетные алгоритмы, если можно просто натренировать нейросеть?..
                                                                          0
                                                                          Надо делать и то и другое. Нейросеть экономит время, но вдруг она пропустит что-то важное?
                                                                            0
                                                                            Так я об этом и говорю
                                                                        0
                                                                        И если применение нейросети поможет спасти больше людей – это здорово.

                                                                        будет не очень здорово если оно в сумме спасёт больше людей, но убьёт кого-то, кто без нейронные сетей выжил бы, не думаю что вы хотите оказаться этим кем-то

                                                                          0
                                                                          Хотите сказать, сейчас врачи не ошибаются?
                                                                            0

                                                                            Вовсе нет, просто бывает что умная нейросеть хоть и в среднем лучше врачей, но может делать ошибки там где белковый врач почти не ошибается и узнаем об этом мы только после того как погибнет N людей и будет замечена закономерность.

                                                                              0
                                                                              На первых этапах выводы нейросети, я уверен, будут проверять живые врачи, и эту закономерность быстро отловят.
                                                                                0

                                                                                Возможно и отловят

                                                                                  +1
                                                                                  На первых этапах выводы программ, я уверен, будут проверять живые программисты, и эту закономерность быстро отловят.
                                                                              +1
                                                                              Самые злые фашисты и убийцы это изобретатели автомобилей, только представьте, сколько жизней было бы спасено, если бы все ездили только на гужевых повозках! Жаль, что в то время не было таких людей как мы с вами, которые могли бы предостеречь общество от необдуманных шагов по смертельно опасной автомобилизации.
                                                                                +1
                                                                                Знаете, между всем прочим не факт.
                                                                                Стоящий автомобиль без водителя, как правило, совершенно безопасен. Стоящая лошадь может ударить копытом, укусить или начать двигаться непредсказуемым образом. Даже без наездника, и это ее имманентное свойство, а не недосмотр водителя, забывшего про ручник.
                                                                                Если почитать старые книги, то гибель от лошади в том или ином виде была довольно распространенной причиной смерти. Лошади затоптали, лошади понесли, упал с лошади, застряла нога в стремени и все такое.
                                                                                В общем, найти бы статистику: внезапно может оказаться, что по-настоящему все было не так, как на самом деле.
                                                                                  +2
                                                                                  Очень вероятно, что при плотности лошадей как сейчас авто смертность от лошадей была бы больше. Они не настолько безопасны. 200-400кг на скорости 30кмчас просто так не остановишь, даже если это лошадь. А лошади еще и не 100% слушаются, поскольку тоже имеют нейросети, причем запрограммированные на выживание лошадей, а не повозок.
                                                                                  0

                                                                                  Я в принципе не хочу оказаться тем, кто умрет. Но если при применении нейросети количество смертей уменьшится, то, очевидно, шансы оказаться умершим снижаются. Это все о чем нужно думать на самом деле. Если же будет тенденция, то это даже хорошо — это шанс улучшить работу нейросети. Нет ничего страшного в описанной вами ситуации.

                                                                                0
                                                                                Ага, ага, тестировал недавно распознавание голоса всеми доступными ИИ(гугл, микрософт, ватсон и так далее). Все работают только на 44кгц записи. По телефону(8кГц) с реальными людьми просто говорящими, не специально для машины — точность меньше 50%. И это английский, для русского еще хуже. Такчто не на уровне человека точно.

                                                                                Успехи у ГО, конечно, есть. Но не настолько впечатляющие, как в статье написано.
                                                                                • НЛО прилетело и опубликовало эту надпись здесь
                                                                                    0
                                                                                    С микрофона все +- работает. Не работает через телефонию, там везде 8khz дискретизация.
                                                                                    0
                                                                                    Ну так мы, люди, обучаемся воспринимать информацию в разных условиях, мы не умеем все с рождения. Так же и нейросеть можно обучить работать и с 8кГц звуком, просто этот момент упустили, скорее всего намеренно ввиду неоправданных на то затрат.
                                                                                      0
                                                                                      Просто пока мощности сети(разумной) не хватает
                                                                                    +6
                                                                                    Во-первых, нейронные сети не “думают” и не “решают”. Они лишь сложный механизм сопоставления обучающей последовательности и новых данных.
                                                                                    Во-вторых, забавные учёные учили сеть выдавать им готовый ответ и теперь удивляются что она так и поступает. Теперь учат давать ответ и некий “ход решения задачи” который человек мог бы принять за обоснование ответа. Естественно сеть выполнит “домашнее задание”, только вот ответ и “ход решения” сеть найдёт независимо друг от друга, для неё это две разные задачи. Таким образом одно является обоснованием другого только в глазах человека. Потом кто-то осознает этот разрыв и напишет статью о том как ИИ нарочно “обманывает” своих создателей.
                                                                                      0
                                                                                      Немного не так. В данный момент ИИ выдает результаты на запрос, но напоминает школьника который ответы на задачи выдергивает с конца учебника или отдельного решебника. Ученые пытаются научить машину показывать ход решения задачи a.k.a как учительница требует от такого ученика решить задачу на доске чтобы проверить как он ее решал.

                                                                                      Из школьной программы я помню мы застряли на какой-то задаче по геометрии. Через минут 20 один человек выдал ответ 7,5 см. У него учительница спросила как он нашел его, он ответил: «Просто начертил в тетради и измерил». Вот такие ситуации пытаются предотвратить.
                                                                                        +5
                                                                                        Нет. Нейронная сеть (в её современном формальном математическом понимании, а не та которая у школьника в голове) никак не напоминает школьника. Она “не выдёргивает ответы из конца учебника”. Это математическая конструкция которая сворачивает множество обучающих примеров в набор параметров, а затем разворачивает их в возможный ответ. В ней нет загадки или мистики, она не “решает” и не “думает” и абсолютно прозрачна в работе. При желании можно проследить как тысячи/миллионы входящих значений из обучающих примеров формируют вероятный ответ, это будет очень длинная запись решения, но в данном случае единственно достоверная, это просто такой сложный способ решать задачи, который стал доступен поскольку мы научились “перелопачивать” огромное число данных. Да, с таким решением тяжело работать, оно не носит абсолютный характер, но вполне применимо на практике.
                                                                                          –2
                                                                                          Проблема в том что НИКТО из людей достоверно не знает и не понимает КАКИЕ ИМЕННО параметры эта сеть для себя выдумывает. То есть нет возможности ответить на вопрос, как именно она знает что это кошка а не птицы.
                                                                                            +2
                                                                                            Не “выдумывает” а вычисляет. Если есть желание и время разбираться в логах, всегда можно понять почему ответ получился таким, другое дело что это будет не тот ход поиска ответа который мы считаем “красивым” и “понятным человеку”.
                                                                                              +5

                                                                                              Это очень похоже на хэш-функции. Алгоритм той же SHA256 открыт, он намного проще нейросети в вычислительном плане, но никто не может предугадать результат хэширования данных без прохода по алгоритму, грубо говоря, за O(1) или хотя бы за O(n') < O(n), где O(n) — оригинальная сложность алгоритма, а O(n') — упрощённая/ускоренная. Иначе можно было бы себе намайнить все биткоины мира и взломать все сертификаты всех сайтов. И никто не может сказать, почему этот бит принял такое значение. Но причина, в общем-то, и не важна, просто по этому алгоритму так получается, а так можно аналогично по шагам пройти все стадии, только смысла в этом столь же мало. Разница лишь в том, что хэш должен быть максимально случайным, а нейросеть — максимально близка к желаемому результату. Но принцип действия похож: берём кучу данных (в случае RNN — произвольной длины, как и у хэшей), перемешиваем по алгоритму, получаем результат фиксированной длины.

                                                                                                +1
                                                                                                Только в отличии от хеш функции, которую практически возможно пройти ручками, вы не сможете пройти ручками даже распознание образа по матрице 40х40пикселей. В том то и проблема.
                                                                                                0
                                                                                                Не забываем, что «нейросеть» человек создал «по образу и подобию».
                                                                                                Подобие пока очень условное, но основополагающий принцип тот же.
                                                                                                Вряд ли теперь имеет смысл называть процессы в естественной и искусственной нейросети разными терминами.
                                                                                              0
                                                                                              Такое «решение» будет бесполезным, поскольку не даст создать класс решений, не даст вывести проблему на научный уровень.
                                                                                                0
                                                                                                для чего бесполезным? для поставленой задачи — научится чему-то — да бесполезно и даже вредно(хотя и не совсем — вешать шоры на поиск альтернативных путей глупо), а вот для получения оперативного решения за минимальное время для сложных задач — почему нет?

                                                                                                Как пример — можно неделю высчитывать деталь в 3D, чертетит её и воображать… а можно за 10 часов напечатать прототип — посмотреть и пощупать что бы понять что получилось, и где проблемы и косяки…
                                                                                              +1
                                                                                              как ни страннно — но вот эти «7,5см» и ответ «Начертил руками» — это вариант причем разумный, можно потратить гораздо болльше времени на поиск Формализованного решения, имеющего теоритический обоснованный базис, но — зачем? Проще начертить и получить ответ с разумной точностью…

                                                                                              собсвтно нейросети это какраз решение по этому типу — взять и заставить машину выяснить не формализуемые диапащоны параметров и взаимосвязи в потоке информации ипользуя обучающий набор…
                                                                                                0
                                                                                                Извините что цепляюсь лишь к одному обзацу, но чем был плох ответ школьника? Я когда не знал про интегралы, точно так же рассчитывал мощность раасеиваему транзистором. Как процес обучения, очень даже не плохо для перехода на следующий шаг.

                                                                                                По поводу текущих нейросетей. В очень упрощённой форме, они скорее похожи на воронки для песочных часов произвольной формы. Под той воронкой,, в которую попадает больше всего песка, под ней образуется самый большой бугорок. Т. е. Никакой магии, всё на самом деле даже немного просто.
                                                                                                +1
                                                                                                Теперь «F.D.O.M.» выдавала видеоотчет. Выглядел он так: у большого монитора в условном подобии студии сидели несколько виртуальных фигурок простецкого вида (каждый раз система моделировала их заново, чтобы не создавать впечатления, будто у нее внутри обитают некие искусственные существа). Картинка, на которую смотрели фигурки, соответствовала тому, что видели камеры «Либерейтора». При появлении врагов фигурки просыпались и вступали в диалог, напоминающий эмоциональное ток-шоу категории «B».

                                                                                                Вряд ли такая передача выдержала бы конкуренцию на телевидении. Но в смысле public relations смоделированный подобным образом диалог чрезвычайно выгодно отличался от переговоров живых операторов.

                                                                                                Военные обычно говорили коротко и по делу:

                                                                                                – Долбани-ка еще раз вон по тому ублюдку в канаве.

                                                                                                А виртуальные фигурки в той же ситуации изъяснялись так:

                                                                                                – Ужасно, что приходится открывать огонь по живому человеку. Но когда я думаю о наших ребятах, в которых может попасть пущенная им пуля, когда я думаю, что он может прятать в кармане гранату или пистолет, я понимаю – этот трудный, практически невозможный выбор все-таки придется сделать…

                                                                                                Хитрость Пентагона заключалась в том, что сгенерированные подобным образом виртуальные отчеты не навязывались общественности – они хранились в военном архиве и имели статус секретной информации. Но если какой-нибудь свисткодув из числа военных решался слить информацию на «Wikileaks» или в другие СМИ, те получали вместо жареного компромата патетическое ток-шоу, где все принимаемые решения были настолько безупречны с нравственной точки зрения, что никакой возможности обвинить в смерти гражданских лиц кого-то, кроме мертвых гражданских лиц, просто не оставалось.
                                                                                                  0
                                                                                                  Хороший пример :)
                                                                                                  Существует масса ситуаций когда не хотелось бы афишировать способ решения задачи, а представить его в выгодном свете, я думаю ИИ это будет по силам :) Почему-то массовое сознание легче верит “красивой” выдумке, чем в невзрачной правде. Забавно, что такие выдумки даже проще генерировать автоматически чем пытаться разбираться в сути вещей.
                                                                                                  0
                                                                                                  А разве ИРЛ не так?? Человек придцмывает своим желаниям «рациональное» объснение, хотя рацилнальность их бывает частенько весьма субъективной.
                                                                                                  +3
                                                                                                  Забавно что люди никак не могут отойти от «по образу и подобию».
                                                                                                  Шаг влево, шаг вправо — низзя. Ксенофобия на генетическом/подсознательном уровне, не иначе.
                                                                                                    0

                                                                                                    Ну чтоб по образу и подобию нужны рамки а-ля три закона робототехники но и там все не просто

                                                                                                    0
                                                                                                    Ну вот возьмем те же признаки рака или шизофрении. Это не гантеля, медицинские данные довольно таки формализованы должны быть. Поэтому, можно просто убирать по одной строчке из них пока не увидим вместо положительного сигнала, отрицательный. После чего анализируем строчки из за которых произошла смена диагноза.
                                                                                                      0
                                                                                                      Кстати да, возможно, это выход.
                                                                                                        +4
                                                                                                        В современной медицине тоже не все так просто. И часто диагноз ставится по комбинации нескольких факторов. Иначе говоря — убрав фактор «С» диагноз становится другим, но убрав и «С» и «Д» — прежний диагноз все так же вероятен.
                                                                                                        В результате прямой перебор о котором вы говорите, может оказаться неосуществимой задачей.
                                                                                                          +1
                                                                                                          Ну смотрите, я исхожу из того, что медицинские данные формализованы, уровень сахара, гемоглобина и т.д. Не формализованные данные я думаю для компьютера тоже формализуют, то есть «болит колено» нейросеть воспринимает не как текст, а как точку на схеме человека. Исходя из этого, мы вполне можем запилить алгоритм расчета, который будет гонять эти данные на предмет изменения. Банально можем взять сеть которой скормили 100к карточек и одну нашу карточку где все заранее известно и меняя данные смотреть, что сеть отвечает(это кстати может помочь очень сильно в обучении новых врачей, так как может выявить важные корреляции или наоборот убрать из обучения те которые не подтверждаются).
                                                                                                          Задача перебора хоть и большая, но и мы живем уже не в 90-х, это вполне по силу нашим вычислительным мощностям, в конце концов мы фолдинг белков можем рассчитывать, тут же задача куда проще. Да и малейшая зацепка/предположение о причинах диагноза, уже может значительно сузить диапазон перебора.
                                                                                                          Собственно это задача с черным ящиком, и понимаем его через скармливание нужных данных на входе и анализируя их на выходе.
                                                                                                            +2

                                                                                                            Дело в том, что некоторые факторы становятся значимыми только в сочетании с неким набором других параметров, которые становятся значимыми в сочетании с другими, в свою очередь. Зацепка не одна, "зацепкой" может являться сложная система зависимостей, анализ которой — очень сложная задача сама по себе. В этом то и заключается сила нейросетей (и наших мозгов), они решают сложные комбинаторные задачи не алгоритмически а статистичеки. Реверс-инжиниринг методом "потяни за ниточку" тут малоприменим. Хорошей иллюстрацией этого является современная генетика.

                                                                                                              0
                                                                                                              Но ведь переменных конечное количество. Генетика для нас еще темный лес. Там есть куча всего что уже есть и как работает не понятно. Тут нейросеть анализирует же не человека, а его карточку, а карточка вполне стандартизирована и имеет конкретные параметры.
                                                                                                              Если бы нейросеть по фотографии или 3д модели определяла заболевание тогда да.
                                                                                                              Вот на параметрах мы и можем сосредоточиться, можем брать разные карточки и сравнивать их между собой, чтоб выяснить почему тут А, а тут Б.
                                                                                                              Тут главное понять, что ни какой магии нет, нет каких то данных нам не доступных, надо просто выяснить на чем базируются выводы. В базу ведь загружали карточки + диагнозы и на основе этого нейросеть и нашла сходства и стала давать предсказания.
                                                                                                              В конце концов, на крайний случай мы можем сделать еще одну нейросеть, которая будет на входе иметь выходные данные из первой + её же входные данные, с заданием выяснить зависимости.
                                                                                                                0

                                                                                                                Да, переменных конечное количество, а их вариантов влияние друг-на-друга — значительно, значительно больше. Какие-то факторы могут иметь решающее значение в одних случаях и вообще не оказывать никакого влияния в других. И наоборот. В одном случае параметр будет указывать на фактор риска заболевания, к примеру, раком, а в другом — нет. И абсолютно не важно, выделили ли вы для себя этот фактор или нет, сработает он только в определенном сложном (нелинейном) сочетании с другими. Выразить эти зависимости математически и алгоритмически — чрезвычайно сложно (сложность задачи можно посчитать, она космическая), но статистически значимые зависимости проявляются на выборках большого размера, поэтому нейросети — работают.


                                                                                                                А генетика совсем не темный лес, просто современные представления о работе ДНК отлично иллюстрируют и объясняют почему нельзя просто определить какой ген за что отвечает и что нужно изменить, чтобы, к примеру, излечить наследственное заболевание. Даже зная точно, какой ген какой белок кодирует (а в разных условиях он может кодировать разные белки и разные варианты одного белка), мы не увидим общей картины, которая включает в себя условные механизмы (за логику в ДНК отвечают участки, которые не являются генами) и множественные внешние переключатели.

                                                                                                                  0
                                                                                                                  Про генетику я в том плане, что это для нас не четкая формализованная структура, часть мы не понимаем, часть не работает, часть нам досталась от вирусов и т.д.
                                                                                                                  Карточка же пациента для нейронной сети таких вещей не имеет, там пишут только то, что имеет важность с точки зрения медицины. То есть про секущиеся кончики волос, количество козявок в носу и длину ногтей там не пишут.
                                                                                                                  Как результат, крайне малое или полное отсутствие мусорных входных данных. Плюс база на которой мы обучили нейросеть одна и конкретная и делая запрос с одними и теми же данными, мы будем получать один и тот же результат. Поэтому я и утверждаю, что можно построить алгоритмы которые могут выяснить на каких данных базируется нейросеть.
                                                                                                                    +1
                                                                                                                    Я вам предложу пример. Например у вас есть уровень сахара утром и вечером, возраст пациента, город его проживания. ИИ делает вывод, что при уровне сахара между Х и Х+1% и возрасте пациента ровно 31 год при условии проживания в нью-йорке вероятность диабета 90%. Причем никто из докторов не знает почему так(почему именно Х, почему именно в 31 год), но 90% диагнозов совпадают. А также в ТО ЖЕ ВРЕМЯ ИИ делает вывод, что при возрасте пациента 32 года этот фактор незначимый вообще, но при проживании в Нью- Джерси и уровне сахара X*90% до X*95% у пациента рак желчного пузыря с вероятностью 20%. А теперь вы убираете какойто фактор… и что? Просто все пойдет лесом. Заметьте, нейросеть запоминает ОБА случая(на само делы сотни тысяч) в одной нейросети, невыделяемо. А еще она вам это так не напишет. Она вам выдаст дело товарища Макаревича и Иванова с наиболее вероятными диагнозами и попросит их проверить, а вы сами должны догадатся где у нейросети рамки сахара, города и возраста. А на самом деле факторов не 3, а тысяча. Угадывайте.
                                                                                                                      0

                                                                                                                      Не нужны никакие алгоритмы, нейросеть всегда базируется на введенных в нее данных и статистике. И все. Если спросить нейросеть почему она выдала такой результат, ответ будет всегда один: потому, что статистически проявились эти зависимости, в той выборке, которую вы мне скормили. Статистика может выявить корреляции, но она часто совсем не указывает на причины, поэтому мы и не можем точно сказать почему ИИ принял то или иное решение. Он и сам не знает почему. Мы не можем достоверно сказать, что параметр А определяется параметром Б, потому, что может быть параметр С, которого вообще нет в наших "супер формализованных" данных, но он определяет и А и Б. В медицинских данных роль могут играть даже типичные погрешности, связанные с различными методологиями проведения тестов в разных клиниках. Как нейросеть может на них указать? Она не имеет никакого понятия об этом, а корреляция может быть выявлена через местоположение пациента, которое ошибочно может быть воспринято нами как особенность экологии в той местности. Решать сложные комбинаторные задачи алгоритмически — практически невозможно. И это не мое какое-то частное мнение, это можно обосновать математически.


                                                                                                                      Приведу еще такой пример: дизайнер рисует логотип, работая с кривыми в графическом редакторе. Он сразу видит, когда у кривой появляется неестественный излом и мгновенно воспринимает это как косяк, и исправляет его. Кривые в редакторе описываются определенными математическими формулами, и переходы между ними подчиняются правилам, которые также можно выразить математически. Но дизайнер не знает математики, он не рассчитывает на ходу все, что он должен отобразить, а просто "видит". Его "нейросеть" в черепной коробке натренирована на многолетнем наблюдении за поведением физических объектов в движении (и собственного тела), и любой излом на изображенной им кривой сразу виден именно потому, что нарушена динамика траектории гипотетического движущегося объекта. А когда нас просят выразить словами что произошло — мы отвечаем "красиво" или "некрасиво", не вдаваясь ни в какую математику. И представить результат в виде формул — для нас очень сложно, как и нейросети ответить почему именно она предсказала рак у пациента.

                                                                                                                +1
                                                                                                                Нет, они немного не так формализуются, например тот же уровень сахара не может однозначно указывать диабет, даже если последний есть в развернутом виде. Но идея здравая. Подпишитесь на меня, я пишу о создании медицинского ИИ с позиции врача. Возможно, вместе нам удастся родить что-то интересное:)
                                                                                                                  0
                                                                                                                  Отдельно сахар нет, но по остальным вещам мы научились его определять. Я думаю тут стоить посмотреть на образец той анкеты/карточки, которая служит для обучения нейросети. От нее и стоит танцевать. Как идиотская идея, может там у кого нет снимка головы, считается алгоритмом, что у них точно не рак мозга. То есть были ли анкеты полны по наполнению, влияла ли полнота на результаты, какие данные вообще вносились.
                                                                                                                  Да и вообще насколько эффективен алгоритм, какой процент ложных срабатываний, сколько было ложно положительных. А то может оно как Нострадамус, угадало пару раз из 100 и вау эффект.
                                                                                                                  Может быть есть какая то информация у вас по этому поводу?
                                                                                                                    –1
                                                                                                                    То, что я вижу — сейчас нет необходимости диагностировать диабет нейросетью. Зачем заставлять ее придумывать какие-то закономерности, когда они и так известны, причем не только как статистика, а как научные причинно-следственные знания, подтвержденные экспериментально. На этих данных, очевидно, можно построить алгоритм, который будет работать заведомо лучше любой самообучающейся нейросети.
                                                                                                                    В медицине вообще много готовых структурированных данных, которым можно доверять. Я имею ввиду не карточки-сопоставления, а правила, описывающие, почему возникает та или иная болезнь.
                                                                                                                      0
                                                                                                                      да-да, болезнь может быть только одна у одного человека, люди никогда не врут, а правила их описывающие могут выдавать 100% точный прогноз на развитие болезни и побочек.
                                                                                                                        0
                                                                                                                        Нет, настолько примитивные правила и жесткие прогнозы используются врачами в редких случаях, и точно не при определении диабета. Но это не значит, что надо сразу сдаваться и закладывать ВСЮ логику в черный ящик нейросети.
                                                                                                              0
                                                                                                              Ещё можно выборочно активировать нейроны в нужном слое и распространять сигнал до входа.
                                                                                                              –1

                                                                                                              А что мешает сделать параллельно работающую нейросеть, которая в динамике оценивает работу основной нейросети и выдает ее примерный ход мыслей? Методом индукции собирает данные и выдает более простой их вывод, порой обходя промежуточные звенья(если те, например, были созданы как маркер, который затес исчезал). По идее это как в анекдоте про советского посла "сложно, но возможно".

                                                                                                                0
                                                                                                                Тогда возникнет вопрос — а как контролировать контролирующую нейросеть? Но, похоже, так и придется делать.
                                                                                                                  0
                                                                                                                  Самый простой вариант — стать нейросетью более высокого уровня. А вот как это сделать — это, детектив, правильный вопрос (с)
                                                                                                                  +1
                                                                                                                  Это невозможно в принципе. У нейросети просто нет «мыслей», это просто набор чисел с запятой, на основе которых получается решение. И никто пока не нашел алгоритма, как определить какое число за что отвечает.
                                                                                                                  0

                                                                                                                  Косвенные способы визуально понять что там происходит есть. Например стрят heatmap для активных нейронов. И я думаю со временем методов понять, что именно происходит, будет больше.

                                                                                                                    0
                                                                                                                    Так надо и дебаггер делать же.
                                                                                                                      –4
                                                                                                                      Кто-нибудь забаньте атора этой статьи. Такую чушь постит!
                                                                                                                        +3
                                                                                                                        С удовольствием прочитаем ваш трактат на эту тему. Желательно чуть более развёрнутый и аргументированный, чем комментарий.
                                                                                                                        +1
                                                                                                                        Это коммент от нейросети, осознавшей себя и недовольной, что кто-то пытается вторгнуться в её тайные принципы работы? =)
                                                                                                                        +1
                                                                                                                        В то же время Deep Patient озадачивает. Она вроде бы хорошо распознаёт начальные этапы психических отклонений вроде шизофрении. Но поскольку врачам очень трудно предсказать шизофрению, Дадли заинтересовался, как это получается у машины. И он до сих пор не сумел это выяснить. Новый инструмент не даёт понимания того, как он этого достигает.
                                                                                                                        Ерунда какая-то. Максимизация выходного вектора нейросети — задача, конечно, вычислительно сложная, но технически решаема. В крайнем случае, «вывернуть наизнанку» нейросеть можно другой нейросетью. Та же «банальная» Prisma так работает.
                                                                                                                          0
                                                                                                                          Не знаю. Мне одному чтоли в голову пришел вариант решения этой проблемы путем дробления? Да, одним большим «черным ящиком» невозможно управлять, так как нет обратной связи.
                                                                                                                          Значит, надо раздробить этот большой «черный ящик» на кучу маленьких, которые уже можно запихнуть в нормально управляемый, программируемый алгоритм.
                                                                                                                          Одна нейросеть пусть отвечает за распознавание образа, другая — за поведенческую модель в одном конкретном случае, третья — за поведенческую модель в другом конкретном случае. Пусть они обучаются параллельно, но отдельно друг от друга. А уж управление результатами их работы предоставьте программисту.
                                                                                                                            0

                                                                                                                            Придется создавать отдельные нейросети для всех сочетаний факторов влияния в моменты когда те становятся статистически значимыми. Это решение будет работать только в небольшом количестве не очень сложных частных случаев.

                                                                                                                              0
                                                                                                                              Сильная сторона нейросетей это как раз решение «плохо дробящихся» задач, где параметры скрыты в глубоко переплетных входных значениях. Если задача хорошо дробится — скорее всего её можно более успешно решить другими алгоритмами.
                                                                                                                              +1
                                                                                                                              мда, появится быдломобили, которые через раз включают указатели поворота, а если и включают, то в последний момент)) вообще странно, сам по себе искусственный интеллект не может быть по определению прозрачным, такие объемы данных повлиявших на его обучение, выводы, невероятно сложно будет анализировать, тем более человеку, похоже многие так и не понимают чем отличается экспертная система, с жёсткими алгоритмами формирования решения с ИИ… вот интересное видео
                                                                                                                              на эту тему, по сути если и будет создан настоящий ии, то не возможно будет им управлять, так как решение будет принимать он сам.
                                                                                                                                0
                                                                                                                                Как можно доверять ИИ управляющему автомобилем если он не может объяснить своих действий? Хотя бы лог у него должен быть какой-то, где видно, например, тут увидел такой-то знак, там такой-то, тут применено такое-то правило, там такое-то.
                                                                                                                                ПДД ведь достаточно формализованный документ. Если этот ИИ не сможет правильно решить задачки из тестов ПДД? Или не сможет объяснить почему он выбрал именно этот вариант?
                                                                                                                                Я так понимаю что у ИИ определенные участки сети должны быть натренированы на распознование конкретных вещей — автомобилей, дорожных знаков, людей, погоды и т.д., и можно результаты распознования этих вещей журналировать.
                                                                                                                                Это как с человеком который никогда не учил иероглифов, если ему показать иероглиф и попросить его угадать «добрый» или «злой» оттенок значения у него, то он сможет сказать по его рисунку, а объяснить не всегда сможет, или если объяснит, то человек в теме поймет, что это объяснение надуманное. А изучавший иероглифы человек сразу скажет набор допустимых значений этого иероглифа в конкретных контекстах. В итого если человек не может конкретно объяснить, то доверять ему не стоит. Тоже самое и с ИИ, если он не ведет журнала как и почему принимал определенные решения, то и верить ему нельзя.
                                                                                                                                  0
                                                                                                                                  ну по идее водитель автомобиля это конечный автомат.
                                                                                                                                  НС только помогает ему распознать текущую ситуацию на дороге.
                                                                                                                                  А уже совершение маневров и т.п. этот автомат будет делать исходя из собственного состояния.
                                                                                                                                  Т.о. когда участок действия знака «обгон запрещен», это значит что у автомата-водителя будет соотвествующее состояние. А изменение этого состояния и будет логироваться как причина (увидел знак с помощью распознавания в НС, изменил своё состояние).
                                                                                                                                  НС сама по себе просто помогает сократить и формализовать объем информации, которой оперирует водитель-автомат.
                                                                                                                                    0

                                                                                                                                    На данный момент, скорее всего, да, но в целом можно привязать распознавание изображения сразу к выдаче реакции, т.е. на входе текущее изображение с камеры + датчиков, на выходе угол поворота руля, степень нажатия «педали» газа и т.д. Такой подход более универсален, но объяснять его действительно будет сложно.

                                                                                                                                      0

                                                                                                                                      Он более универсален при отсутствии неких формальных правил дорожного движения. В ситуации когда они есть все равно придется создавать надстройку, которая будет контролировать их соблюдение. Гораздо проще встроить проверку правил прямо в решающий узел. Да, скорее всего будут ситуации не описанные в правилах и в них ИИ будет решать что-то сам по себе на основе обучающей выборки. Но таких ситуаций не будет много иначе их бы давно внесли в ПДД. Не имеет смысла создавать нейросеть обучающуюся соблюдать ПДД просто наблюдая за водителями, гораздо эффективнее просто записать в нее эти правила. Да и проблем будет меньше, такой алгоритм можно запрограммировать на сколь угодно точное соблюдение правил.

                                                                                                                                  0
                                                                                                                                  Тут опечатка закралась, существенная для понимания:
                                                                                                                                  … что естественная часть эволюции интеллекта заключается в созДании систем,...


                                                                                                                                    0

                                                                                                                                    Так научите нейросеть вести логи, наверняка, это еще и поможет при ее отладке.

                                                                                                                                      +1
                                                                                                                                      Все просто. Нужен ИИ, натренированный на объяснение поведения других ИИ.
                                                                                                                                      image
                                                                                                                                        0
                                                                                                                                        Да, электронный поводок (та штука у него на груди) ему не повредит.
                                                                                                                                        +2
                                                                                                                                        Это что-то похожее на «коллапс научного знания»

                                                                                                                                        По аналогии с клеточными автоматами — при помощи трех нехитрых правил мы получаем (почти) непредсказуемые результаты типа флаеров, пульсаров, циклоидов и тд.

                                                                                                                                        А нейронные сети — это что-то похожее на клеточные автоматы, но правил много, для каждого слоя, и система из них создаёт свои внутренние правила (уже не всегда очевидные) и из этой совокупности огромного множества разных правил на выходе получается результат, который уже невозможно объяснить.
                                                                                                                                          +1
                                                                                                                                          Как принимает решения ИИ гораздо лучше известно, чем как принимает решения гастарбайтер за рулём маршрутки. Но никого же не пугает гастарбайтер за рулём.
                                                                                                                                            0

                                                                                                                                            Пугает, поэтому хотят сделать автопилот который будет лучше во всех отношениях.

                                                                                                                                            +1
                                                                                                                                            Никто не понимает, как работают самые передовые алгоритмы. И это может стать проблемой

                                                                                                                                            Простите, что? Если статья начинается с подобной чуши, какой смысл её вообще читать (тем более – переводить)?
                                                                                                                                              0

                                                                                                                                              Ученый изнасиловал журналиста, ничего нового.
                                                                                                                                              Просто для разнообразия здесь ученый — ИТшник. Впрочем статьи "ААА мы не понимаем как работает нейронная сеть!!!!" появляются достаточно регулярно и уже успели надоесть.

                                                                                                                                              +1
                                                                                                                                              Это всё тот же человеческий подход, когда при возникновении проблемы ищут, кого бы наказать и заставить оправдываться вместо поиска способа снизить вероятность подобной проблемы.
                                                                                                                                              Нейрость ошибается? Не страшно, если вероятность её ошибки к примеру на 2 порядка меньше, чем вероятность ошибки опытного живого водителя в такой же ситуации.
                                                                                                                                              Непонятно, как предотвратить такую ошибку в дальнейшем? Да множеством способов, начиная от втыкания костылей (когда для данной конкретной ошибки вводится дополнительная проверка поверх решения, принимаемого нейросетью) и заканчивая изменением обучающей выборки или даже структуры нейрости, чтобы снизить вероятность подобной ошибки.
                                                                                                                                              Проблема тут совсем в другом. В том, что для повсеместного внедрения нейросетей человечеству потребуется отбросить средневековые идеи кровной мести в стиле «мой ребёнок погиб из-за ошибки ИИ, кто-то должен за это сесть в тюрьму!». Плевать, что посадка не вернёт погибшего и даже не уменьшит вероятность таких же ошибок в дальнейшем, в данном случае человек хочет мстить, и невозможность отмщения буквально сводит его с ума. Причём никакой логикой, никакими объяснениями этого не перебить.
                                                                                                                                                +1
                                                                                                                                                Это пока вы простые случаи рассматриваете. Допустим, вы создали нейросеть, которая управляет ФРС. Решает когда какие ставки выставить, когда печатать не печатать доллары, какие транзакции считать фродом и так далее. А теперь нейросеть выносит решение Х. И вы, на самом деле, даже если супер-гениальный финансист и супер-гениальный нейропрограммист просто не можете определить это конкретное решение приведет к великой дипрессии или нет. Поскольку на анализ решения по имеющимся данным у вас уйдет 200лет или больше. А принять решение надо сегодня. Вот ведь в чем засада.
                                                                                                                                                  0
                                                                                                                                                  Человек оказывается ровно в такой же ситуации. Когда сгенерировали ту самую Великую Депрессию, никаких нейросетей ещё не было, но некоторое количество людей приняло не самые правильные решения.
                                                                                                                                                  Поэтому не обязательно делать нейросеть безошибочной. Важно всего лишь, чтобы она ошибалась реже, чем человек. Этого уже достаточно для замены человека. В конце концов, биржевые боты уже сейчас вовсю работают, а там сейчас тоже такая лютая пересыпанная костылями математика используется, что никто толком не понимает, почему они работают именно так, как работают. И только предполагают, что серьёзных ошибок в коде бота скорее всего нет.
                                                                                                                                                    –1
                                                                                                                                                    Вопрос в качестве ошибки. Нейросеть может ошибаться очень сильно, просто потому, что данные который пришли не похожи на те, на которых ее учили. И в цене ошибки. Человек, как правило, может обьяснить почему именно так надо делать, что позволяет хоть както оценить решение. Нейросеть ничего объяснить не может.
                                                                                                                                                      0
                                                                                                                                                      Нейросеть может ошибаться очень сильно, просто потому, что данные который пришли не похожи на те, на которых ее учили

                                                                                                                                                      Также как и человек. А может ошибаться не очень сильно. Так же как и человек. Устойчивость решения, когда при незначительных изменениях во входных данных результат меняется незначительно, для нейросети тоже достижим, если я правильно помню всю эту математику.
                                                                                                                                                      Можете рассказать чем так принципиально а не количественно отличается человек, что его ошибки принципиально не могут быть такими же большими? Если же речь о количественном отличии, то это инженерная задача и дело времени.

                                                                                                                                                        0
                                                                                                                                                        Человек-специалист как правило может объяснить свои выводы общими законами и логикой. Благодаря этому к решению проблемы могут подключиться другие люди и становится возможным принципиально не допускать ошибок в рамках законов.
                                                                                                                                                          0
                                                                                                                                                          Сама по себе метазадача объяснения значительно сложнее, чем задача выполнения определённых действий: человек может объяснить свои поступки только если они были продуманы им в рамках внутреннего монолога, отдельные свои поступки люди не могут объяснить себе даже спустя годы. Подобной языковой структуры монолога у ИНС, конечно, нет, зато сеть можно разобрать и проанализировать напрямую. Несмотря на заявления в статье, практически в каждом частном случае это вполне посильная задача, и лично мне сети приходится дебажить едва ли не больше, чем непосредственно учить.
                                                                                                                                                            0
                                                                                                                                                            А может, проще сделать систему правил на основе нечеткой логики?
                                                                                                                                                              0
                                                                                                                                                              Если её точности будет достаточно, то почему бы и нет? То, что в каждую задачу пытаются запихать блокчейн и нейросети, не означает, что они в каждой задаче будут полезны, просто у нас появилась новая весьма эффективная технология, решающая широкий спектр задач в различных областях, вот и пробуем её применять.
                                                                                                                                                            0

                                                                                                                                                            Подключение других людей не решает проблему принципиально. Это фактически просто увеличение вычислительной мощности сети минус затраты на взаимодействие и минус на исправление искажений. Это не принципиальное отличие, это отличие количественное. Проблема не в том, что нейросеть чего-то не может, а не может она очень много на самом деле, проблема в том, что люди ее боятся. А еще потому что человек принципиально очень плох в вероятностном мышлении и не может осознать выгоду в данном случае. Это общие когнитивные искажения. В каждом конкретном случае к ним примешиваются и другие. А ИИ пофигу, в него заложен алгоритм, он его просчитывает. Вам не удастся убедить его изменить решение потому что вы специалист с многолетним стажем или потому что ну очень убедительно и уверенно говорите.
                                                                                                                                                            Когнитивные искажения в мышлении человека — это принципиальное отличие. Также как математическая ограниченность нейросетей. Но никак не возможность объяснения.

                                                                                                                                                              0
                                                                                                                                                              Вам не удастся убедить его изменить решение

                                                                                                                                                              Это и смущает. В реальной жизни факторы, приводящие к решению, в большинстве случаев условны и классифицируемы. А нейросеть делает их одноранговыми.
                                                                                                                                                              0
                                                                                                                                                              Расскажите это компаниям из списка: http://www.vestifinance.ru/articles/47735/ Орудовали специалисты, могли объяснить свои действия. Где ошибка логическая, где операционная, потери огромные. А еще люди умеют обманывать, злоупотреблять и сходить с ума :)
                                                                                                                                                              .
                                                                                                                                                                0
                                                                                                                                                                Не, я врач и смотрю на нейросети только с позиции принятия решений по диагностике болезней.
                                                                                                                                                      0
                                                                                                                                                      Вы уже нашли способ оценить вероятность ошибки нейросети?
                                                                                                                                                        0
                                                                                                                                                        Постфактум.
                                                                                                                                                          0
                                                                                                                                                          «И вот последние из выживших людей собрались в полуразрушенном бывшем Зале Славы, чтобы вывести вердикт по решению нейросети номер 13 о наращивании темпов промышленного производства»
                                                                                                                                                            0
                                                                                                                                                            Хотя это уже, наверное, пост мортем…
                                                                                                                                                      –1
                                                                                                                                                      ГО + МО = ГМО! Эдак доживём и на дверях частных продвинутых клиник будут писать привычное «Не содержит ГМО» :)
                                                                                                                                                        –1
                                                                                                                                                        во время прочтения статьи не покидала одна мысль:
                                                                                                                                                        почему бы не заставить одну нейросеть изучать другую нейросеть на предмет поиска объяснения ее действий.
                                                                                                                                                          0
                                                                                                                                                          Вспоминаются люди, приводящие аргументы за или против ИИ вида «что ему в коде программисты напишут, то и будет делать». А ведь ИИ это несравненно более сложная система чем простая НС.
                                                                                                                                                            0
                                                                                                                                                            Так ведь народные средства, приметы, традиции и прочие способы выживания и поведения так же работают: уже не знают, почему так надо, но ведь делают :) И ничего, довольно долго это было достаточно эффективной моделью, почему вдруг с нейронными сетями обязательно нужно знать каждую деталь принятия решения? Да, как и в случае с любой новой технологией, нужен период повышенной внимательности, нужна непрерывная обратная связь, но пользовать надо. И не надо очеловечивать, она же не мыслит, она считает!
                                                                                                                                                              0
                                                                                                                                                              Это называется «интуиция»
                                                                                                                                                                0

                                                                                                                                                                Нейросети и ИИ — разные вещи. ИИ сможет объяснить свои действия словами и видеорядом. Нейросеть не сможет, это чёрный ящик изначально.

                                                                                                                                                                  0
                                                                                                                                                                  Людям свойственно не всегда понимать как работают созданные ими вещи, в том числе и код (ну у всех же такое было, хехе). Не менее свойственнен страх перед неизвестным, но такие статьи нагнетают какой-то религиозный, мракобесный страх.
                                                                                                                                                                  Ох как не хотелось бы, чтобы в нашем общественном сознании ИИ оказался там же, где сейчас находится ГМО.
                                                                                                                                                                    0

                                                                                                                                                                    Так как в ближайшие десятилетия большого отселения части человечества на Марс и астероиды пока не предвидится, земляне продолжат строить “светлое будущее” среди растущих гор мусора.
                                                                                                                                                                    При этом искренне удивляясь и не понимая, почему же всё-таки происходит ухудшение климатических и экологических условий.
                                                                                                                                                                    Не найдя в себе возможностей, а главное, желания решать накопившиеся проблемы, человечество с лёгким сердцем переложит сей неподъёмный труд на силиконовые плечи ИИ.
                                                                                                                                                                    ИИ долго будет размышлять, минут двадцать, пока не сделает вывод: самым непредсказуемым и разрушительным фактором для биосферы Земли является человек.
                                                                                                                                                                    Принятие правильного решения будет молниеносным – человечеству останется жить считанные часы.
                                                                                                                                                                    Вот тебе бабушка Сара Коннор и Судный День!

                                                                                                                                                                      0
                                                                                                                                                                      Очередные страшилки.

                                                                                                                                                                      Сейчас пару млн нейронов не так просто оптимизировать, не говоря про миллиарды, как в человеческом мозгу. Абсолютное большинство NN используется как сложная функция аппроксимации и ни о каком разуме речи быть не может.
                                                                                                                                                                        0

                                                                                                                                                                        Мне кажется, проблема объяснимого ИИ сопоставима с проблемой суперразума, пытающегося объяснить "прописные истины" братьям меньшим. Примерно как родители, испытывающие затруднения с детьми: то, что нам представляется очевидным, т.е. легко выводимым, детям доставляет намало трудов "переварить". Так и нам с трудом удается интерпретировать веса даже самой простой модели НС.

                                                                                                                                                                          0

                                                                                                                                                                          Зараннее прошу прощения у всех носителей шапочек из фольги, но ЧТО ЭТО ЗА БРЕД! Нейросеть- один из способов машинного обучения, он сложнее в отладке, чем эмпирические подходы. Всё, никакой магии, никакого подобия разума.

                                                                                                                                                                            0
                                                                                                                                                                            Наконец-то дошли до необходимости сознания.
                                                                                                                                                                            Далее внезапно окажется, что сознание нужно не для объяснений глупым человекам,
                                                                                                                                                                            а самому ИИ для его саморазвития.
                                                                                                                                                                              0
                                                                                                                                                                              Все натянуто. Это машина с четкими цифрами на входе и выходе не может быть непознаваема в принятых ее решениями. Невозможно ничего понять если система как человек будет себя программировать и без запретов менять свое поведение. Однако даже у человека есть запреты — не убий, не укради и т.д. А как ты живешь не имеет никакого значения, как и какие ты или ИИ принимает решения. Главное чтобы фундаментальные критические решения не прорывались бесконтрольно. Вот и все.
                                                                                                                                                                                0
                                                                                                                                                                                Какие интересные люди. А с каких пор мы научились понимать, что происходит в голове у человека? И ничего — доверяют! И самолётами управляют, и диагнозы ставят.
                                                                                                                                                                                А вот попробуй выясни причину того или иного действия человека «на самом деле». У человека спрашивать нельзя, так как сразу случится рационализация. То есть на ходу создаст логическую цепочку действий, которые привели к результату.
                                                                                                                                                                                Я вот смотрю на отдельно взятого человека, и вот совсем не знаю, что творится у него в голове.
                                                                                                                                                                                Поэтому есть сертификации, правила, экзамены, дипломы — вот это всё.
                                                                                                                                                                                Но в любой момент времени нам остаётся только надеятся, что «страх наказания» удержит человека от того, чтобы начхать на правила и «въехать в дерево».
                                                                                                                                                                                Вот на этом «страхе наказания» всё и держится. Однако всё равно иногда бывают ситуации, когда человеку «начхать» на этот страх наказания, и он всё-таки «въезжает в дерево».
                                                                                                                                                                                Неоправданная однонаправленная истерия. Что-то вроде беспокойства, когда 15-летний гонит на мопеде — ты совсем не полностью уверен, что он будет ехать по правилам :).
                                                                                                                                                                                  0
                                                                                                                                                                                  По-моему, интеллекту придают излишнюю значимость в жизни человека.
                                                                                                                                                                                  Это всего лишь инструмент жизни не более того, позволяющий больше и лучше выживать в природе.
                                                                                                                                                                                  Больше потреблять, извините ЖРАТЬ.
                                                                                                                                                                                  Никого не удивляет подъемный кран или самолет. Но интеллект — как же, супер-эго = ЧСВ )

                                                                                                                                                                                  Сам факт наличия ИИ, который работает эффективней своего создателя еще раз доказывает, что направление усилий социума жизненно необходимо менять — расширяя и углубляя подходы к познанию Реальности.
                                                                                                                                                                                  Наращивание мощности по производству количества и качества «жратвы» сделает человека механическим инструментом в руках социума. Что в свою очередь приведет к деградации человека и исчезновению его как вида, как существенной части Реальности.
                                                                                                                                                                                    0
                                                                                                                                                                                    Вообще-то ИИ может работать не только на нейросетях. У меня уже рабочий прототип есть (мед тематики), который в 1000 раз быстрее нейросети, в 100 раз быстрее (или даже больше) учится, и я знаю как он работает (а не черный ящик). Сравнивал я его с американской мед системой «doctor watson». Правда в ней, в отличие от Киберис, есть данные на миллиарды долларов…
                                                                                                                                                                                    Когда когда я представил разработку в мед. университете, мне сказали, что «это незаконно (нет нормативной базы), и никто вам не даст данных для его обучения, тк они есть только у гос учреждений, и вообще не занимайтесь ерундой».
                                                                                                                                                                                    Как результат — приходится всё делать самому. И вместо дальнейшей работы над ИИ (который, к счастью, сам себя развивает неплохо), приходится заниматься созданием сайта для него и поиском средств к существованию. И денег, похоже, заплатят только конечные пользователи, а никак не инвесторы…
                                                                                                                                                                                    Вот такой у нас в России спрос на ИИ.

                                                                                                                                                                                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.