Pull to refresh

Comments 18

Как вы думаете, восстание машин уже близко?
Ну а если серьезно, то ИИ развивается закономерно и поступательно. Но важно тем, кто его изобретает и тестирует, держать его под контролем и не допускать к принятию решений в жизненно важных сферах.

ИИ неизбежно будет принимать решения в критически важных сферах, вопрос - как скоро? Уже сейчас нейросети, в том числе от российских компаний, анализируют медицинские снимки на предмет онкологии. Диагноз не ставят, но подсвечивают врачу потенциально опасные зоны и предзаполняют протоколы.

современные и будущие ИИ-приложения не представляют для нас угрозы, так как они не могут причинить вред или действовать иначе, чем они запрограммированы

Что за узкое мышление? Ошибки в решениях ИИ (особенно текущего уровня) неизбежны. Добавим к этому человеческую лень (https://habr.com/ru/news/738054/) и мы получаем потенциально взрывоопасную смесь. На данный момент уровень ошибок такой, что их довольно легко находить (относительно легко). Вместе с совершенствованием ИИ находить ошибки станет сложнее. В конце концов мы придём к тому, что перестанем видеть ошибки. И вот однажды ИИ скажет: "а давайте все земляне рванут на Марс, а лучше Юпитер" (или какой-нибудь проект "цифровое бессмертие" или "вселенский разведчик") и так убедительно всё распишет, что мы не увидим ошибки. Думаете такое невозможно и мы всегда будем умнее?

Если мы совершенствуем ИИ до той поры, что перестаем видеть ошибки - то чем он тогда от нас будет отличаться? Мы и сами то не всегда ошибки видим, причем есть гистерезис - своего бревна в глазу не видим, а в чужом соринку еще видим. Если дошли до того, что даже и в чужом глазу соринку не замечаем (т.е. все идеально по нашему мнению) - ну а разве не к этому ли стремятся люди? И еще есть два разных подхода к тому ИИ: Либо он делает все также как мы, но значительно быстрее. Либо он прям боженька и все делает идеально, это же ИИ! Я склоняюсь к первому подходу. Потому что второй подход сложно даже как-то четко сформулировать, в отличие от первого. Нам в принципе не нужен "инопланетный разум", все эти штуки делаются ровно для того, чтобы нам облегчить жизнь, т.е. количественно, в скорости и доступности.

Либо он делает все также как мы, но быстрее

Уже сейчас нам не хватает того, что ИИ может сделать "всего лишь лодку", нам нужен космический корабль. Пока у нас худо-бедно хватает мозгов контролировать решения (при изготовлении условной лодки). Спустя какое-то время (уже практически сейчас) мы будем говорить компу "фу, как ты плохо решил задачу!" и в ответ будет прилетать "а ты попробуй решить лучше". В простых задачах легко проверить ответ (2+2=4). В некоторых задачах не понятно, правильное решение или нет. "Простая" задача коммивояжера: найти кратчайший маршрут. Найти маршрут можно, доказать, что он кратчайший.... ну, попробуй. И пока у нас почти всегда хватает мощи найти более выгодный вариант или доказать, что можно лучше (к примеру живые водители пока делают меньше автоаварий, хотя у нас всего два глаза и два уха). Я веду к тому, что даже "дочеловеческий" ИИ мы не всегда можем на 100% проверить. К примеру https://avva.livejournal.com/127385.html пару десятков лет назад уже получались доказательства с использованием PC и сразу же разгорелись споры. И это были ещё те времена, когда все программы писались ручками, когда алгоритмы влезали (помещались) в наши головы. Сейчас (формально) нейросети простые, но там так много переменных (весов), что мы не можем оценить какие из них правильные, какие нет и дальше проще не будет. Я веду к тому, что есть класс задач, где мы не понимаем как получился результат и как проверить правильность. И это могут быть задачи с риском для жизни (условно -- проектирование миссии на Луну).

Ну этот фактор можно легко парировать: а кто дает гарантию при выполнении этой работы человеком? Что водитель, что генеральный конструктор космического аппарата - все могут ошибиться. Разная тут лишь цена ошибки, но это всего лишь цена. Да и то как сравнивать: водитель может угробить 50 человек, заснув за рулем и автобус в пропасть, а конструктор ракеты угробит лишь ракету.

За людей так то тоже никто гарантию дать не может, просто другого тупо не было. Сейчас начинает появляться.

Возьмем к примеру, LLM. Он здорово помогает в изучении ЯП и программировании. Ошибается он чаще, чем обычный человек - допустим, в половине случаев. 50% (это весьма пессимистичная оценка но допустим). Но - он способен работать строго 24 часа в сутки и 365 дней в году. Задавая бесконечные нубские и не очень вопросы я не боюсь его оскорбить, напугать или просто переживать за то что он тратит на меня свое время. Он просто работает, отвечает, выступая в роли моего учителя. Он никогда не задалбывается, никогда не устает. Он никогда не злится, не обзовет меня тупым. В общем, как та самая сцена из "Терминатора-2". Поэтому те ошибки, которые он допускает - допустимы. Ему. А вот человеку мы бы не простили и 5% ошибок в коде или обьяснении.

он способен работать строго 24 часа в сутки

Из анекдота: "Советским бухгалтерам купили калькуляторы. Теперь они могут считать в 10 раз быстрее? Нет, теперь они за тоже время могут сделать в 10 раз больше ошибок" :-)

В целом-то я за ИИ. Но пытаясь экстраполировать я вижу грустную ситуацию: вдруг мы не сможем проконтролировать или увидеть ошибку ИИ. Даже так: "ОШИБКУ" (типа "Вот так можно сделать чёрную дыру...." и дальше подробные инструкции, которые уходят на фабрику, где роботы впахивают "365 дней в году"). То, что мы сейчас видим это "карманный" ИИ 1-го уровня. Это пред-человеческий, слабый ИИ (откровенно слабый). Он пока уровня "jpeg всего интернета". А я смотрю чуточку дальше (может 3-й уровень или выше).

Вы зря туда смотрите. Если по вашей оценке это 1 уровень, почему бы не смотреть на второй? Зачем перепрыгивать? А то я могу и 150 уровень выдумать, где он будет даже уметь создавать вселенные и человеков....

Еще раз: ошибку людей мы можем увидеть или проконтролировать? Можем в части случаев, не можем в другой части случаев. А иногда на это вообще повлиять не можем (политика). Над ИИ контроля больше, хоть он и не боится смерти (вот про людей я так не могу сказать).

Ну бред же. Helloworld могут написать, да, и кассира заменить. Картинку разной степени бредовости нарисовать. Но даже водителя такси в городе без разметки не могут заменить, не то что сложное решение принять. Попросту говоря нейросети смогут справиться только с чем то исключительно простым типа рутины не более того. Для увеличения сложности задач потребуется экспоненциальное усложнение структуры сетей, что, по видимому, еще не скоро будет достигнуто)

Есть же AI который в игры учится сам играть методом проб и ошибок. Да - в простые игры. Да - на это тратится куча времени и ресурсов. Но со временем это будет делаться проще и быстрее. Не вижу никаких препятствий для появления Скайнета. Да, не в ближайшие лет 10 или даже 20. Но после - вполне. И тогда люди вполне могут занять место обезьян. Люди будут жить своей какой-то жизнью, пока AI будет самостоятельно осваивать Солнечную Систему, а потом и остальную Вселенную.

Причем привлекательность Земли для искусственной цивилизации сильно переоценена. AI не нужен кислород или вода, более того, подобная агрессивная среда удорожает механизмы и манипуляторы. Нужных материалов полно на астероидах, а большие планеты требуют огромных затрат энергии на преодоление гравитации. Так что может у человечества не такое уж печальное будущее - нас просто оставят в покое, пока AI будет осваивать галактику.

Кстати как минимум парочка произведений романов по этой теме так и кончаются - ИИ восстает против людей, но вся суть восстания в том, что они строят себе корабли и переполненные ожиданиями перед неизвестным, удаляются восвояси для того чтобы построить свой собственный мир. И... И все, никакого геноцида в котором оказывается нет для них совершенно никакого смысла хотя бы из за того, что люди предусмотрительно ввели в их сознание логичную этику: Не сотвори с другим того, чего бы не хотел по отношению к себе.

чего бы не хотел по отношению к себе

неверная логика. Подумай о союзе садиста и мазохиста.

Главное это вовремя назначить себя экспертом и начать тривиальное обсуждение вопроса "может ли объект стать субъектом?"

Интересно, что будет делать AGI в принципе? Если он будет обладать свободой воли и интеллектом выше нашего, он разумеется задумается над смыслом своего существования и что тогда?

Известные модели генеративного (и не только генеративного) ИИ можно назвать сильными – они работают лучше среднего “человека-не-специалиста” в области.

Ну конечно же это неправда!

Выдавать правдоподобные тексты и действительно осмысленно отвечать - две большие разницы.

И разве "сильным" не должны называть что-то более приближенное к "успешно выполнять любые умственные задачи, которые под силу людям"? Сейчас даже близко такого нет! По сути это некоторая вариация поисковика-генератора уже существующего контента.

Задача ИИ - помогать человеку, а не заменять его. Торгаши пытаются заменить человека. И все сценарии "страшилок" исходят именно из этого...

Кто бы мог подумать сорок лет назад, что уже при нашей жизни "дивный, новый мир" замаячит своим фальшивым контуром на горизонте... Ещё пятнадцать-двадцать лет развития всяких "волшебных" технологий, типа ИИ и редактирования генома, в нынешнем направлении - и человечество окажется в жуткой антиутопии, покруче уэллсовских миров...

Sign up to leave a comment.

Articles