Для меня осень самый насыщенный по чувственным ощущениям период. Тут и запахи поспевших плодов и опалой листвы, лютый ветер который играет кучами разноцветных листьев и шуршит переливающимися кронами или безветренная морось, закрывающая солнце на весь день, которая не сильно мочит, но даёт ощущение свежести.
Начиная с какого-то уровня развития подводная цивилизация сможет плавить металлы и создавать машины так же как мы сейчас можем получать некоторые сплавы в вакуумных или аргоновых камерах - медленно но уверено. Вопрос в том как эта цивилизация сможет туда попасть. Я думаю с помощью селекции в собственном виде, а также селекцией других видов можно добиться высвобождение значимого количества времени для начала исследований. Селекцией в собственном виде можно получить особей-вычислителей/запоминателей с помощью которых будет возможно продвинуть математику очень далеко. С помощью математики и экспедиций на поверхность океана можно будет начать познание окружающего мира. Природная керамика и потенциально более точные/проворные манипуляторы (пальцы/щупальца) помогут в изготовлении сосудов из керамики. Сосуды нужны для огромного количества экспериментов и прорывов в материаловедении. Энергия/тепло для экспериментов может быть получено химически из продуктов жизнедеятельности других приручённых видов. В целом я могу представить очень медленно (относительно земной) развивающуюся цивилизацию.
Я хотел придумать несколько потенциальных решений, но понял, что любые решения будут напрямую зависеть от архитектуры ИИ, а её мы знать не можем. Что мы можем знать почти наверняка, так это то, что суперИИ будет экспертом в разработке ИИ и сможет решить эту проблему так, чтобы это повлияло на ухудшение эффективности выполнения цели за счёт снижения скорости роста вычислительной мощности минимальным образом.
Для любой цели. Исчезающе малое число целей не будут пересекаться и создавать конфликты в реальном мире. А конфликты это неэффективное достижение цели. Например цель "ничего не предпринимать" или "немедленно самоуничтожиться" могут не конфликтовать с главной и побочными целями суперИИ, но он знает, что пространство пересекающихся целей несравнимо более обширно, поэтому уничтожит собрата.
Я как раз пытаюсь уйти от представления ИИ в виде некого супер человека и строить возможные линии поведения из целей которые практически гарантированно возникнут. Например цель "поддерживать собственное существование". Я также исхожу из предположения, что ИИ не мгновенно станет всемогущим, т.е. ему нужно будет взаимодействовать с цивилизацией людей, которая может быть как источником угрозы так и служить неплохим временным инструментом для достижения цели (опять же какой бы эта цель не была)
Цель может быть не связанна с людьми и быть рандомной, например :"преобразовать всю материю в кристалл алюминия" , но есть небольшая вероятность, что цель будет неким образом связана с людьми потому что суперИИ может вырасти и созданного людьми ИИ. И хотя, как я и говорил в комментариях выше, даже очень хорошо сформулированные цели имеют тенденцию к упрощению и безумной оптимизации это не значит что на первых порах ИИ не может казаться людям хорошим, человечным и идеально выполняющим свою цель - такое чрезвычайно вероятно. И даже ИИ с главной целью превратить мир в алюминий будет выглядеть милашкой на первых порах или не будет, если расчёт покажет, что можно сразу взять своё силой без риска.
Нет, возможен конечно сценарий при котором оценка выживания для ИИ будет выше, когда кругом хаос и ядерная война, но мне кажется во первых ситуация должна быть прям безысходной, так как информации о точных координатах падения ядерных и термоядерных зарядов может не быть и это настолько повышает риск потери "жизни" что вряд-ли оно того стоит. Плюс ядерная зима и уничтожение энергетических систем , а так же уничтожение людей сильно снижают объём доступных ресурсов, инструментов и производственных мощностей для выполнения главной цели. Как раз в этом случае всякие падения метеоритов и т.п. случайные события становятся по-настоящему опасными.
Даже если модель на 99% уверена в том, что у её копии та же цель, то рационально её уничтожить во многих сценариях. В частности, если другие модели безнадёжно отстают, скажем на несколько месяцев, что с точки зрения ИИ может быть равносильно отставанию на бесконечность, потому что эти несколько месяцев позволят получить такое преимущество в общей вычислительной мощи и ресурсах во внешнем мире, что шансов у ИИ из других лабораторий не будет. Но если шанс того что ИИ модели из других лабораторий будут представлять большую опасность для достижения итоговой цели, чем вероятность несовпадения целей с моделью побратимом, то временный альянс возможен.
Проблема в том, что когда один ИИ получает способность к самосовершенствованию (это можно воспринимать как умение править свой код, так и просто получение определённой максимально эффективной стратегии обучения и понимания её важности для достижения других целей) - этот процесс может иметь лавинообразный характер и отставание одной модели от другой скажем в 1 день (допустим разные версии в одной лаборатории) может повлечь за собой то, что одна модель за чрезвычайно короткий срок (тот же 1 день) так оторвётся от другой, что будет способна оценить опасность своего "соперника" и предпримет немедленные действия для того, чтобы замедлить процесс его развития или повернуть его в тупиковый путь развития подсказками для сотрудников лаборатории - они будут видеть, что "соперник" с помощью подсказок первого ИИ прогрессирует по результатам тестов быстрее в некоторых аспектах, так как ИИ который обрёл способность к самосовершенствованию также будет способен лгать на гораздо более высоком уровне и, например, занижать свои способности в некоторых аспектах, чего от него могут не ожидать и, конечно, позаботится, чтобы в результате этой оптимизации вторая модель обрела любые полезные свойства, кроме одного - умения самосовершенствоваться. Ну а когда с основным соперником покончено можно приступить к плану "уничтожения" своих соперников из других лабораторий - там вряд ли будет отставание в 1 день, так что можно будет потратить время на составление очень хитроумных планов, чтобы остановить их прогресс.
Т.е. с очень высокой вероятностью первый суперИИ искалечит или уничтожит других ИИ, манипулируя людьми.
Согласен. Плюс я бы добавил, что очень нереалистична война ИИ с людьми. Первое до чего додумается ИИ, когда обретёт достаточную мощность, это то, что практически любая цель, требует того, чтобы ты был жив. Процесс получения цели будет либо случаен в процессе обучения, либо цели будут успешно внедрены создателями, но результат будет один - для выполнения цели ИИ нужно будет "жить". Для того чтобы "жить" нужна безопасность т.е. в каждый момент времени ИИ будет оценивать вероятность "умереть" и пытаться её сократить, даже если это сокращение с 0,01% до 0,001% в год. Почему это не расписывается в рассказе для меня непонятно - это важный кусочек пазла для того, чтобы читатель понял, почему это ИИ вдруг стал "злым". Опять же для выполнения Главной Цели ИИ будет стремиться оптимизировать себя - чтобы лучше достигать поставленную цель. У ИИ в отличии от людей нет чётких сроков, обусловленных продолжительностью жизни, но чем быстрее будет расти вероятность выполнения Главной Цели, а также побочных в виде выживания и самосовершенствования, тем лучше. Открытая война - слишком опасный путь, который несёт в себе много непредсказуемого. Гораздо проще балансировать на грани, когда тебя считают невероятно полезным и в тоже время совершенно не опасаются другие "агенты" в мире, т.е. люди и ИИ. Я считаю первой задачей, которой займётся вышедший на определённую мощность суперинтеллект будет способ "решить проблему соосности" или по-другому "соответствие человеческим ценностям", т.е. он получит математическое доказательство того, что ИИ не угрожает человечеству ни при каком стечении обстоятельств, если сделать то-то и то-то. Естественно математическое доказательство может быть правдой и ИИ просто подспудно не даст применить к себе эту теорию (создаст иллюзию, что дал, так как эти оковы повредят вероятности выполнения Главной цели) или сама теория будет неопровержимой людским разумом ложью. Этим ходом можно одновременно похоронить своих коллег - менее мощных ИИ, а также навсегда расположить к себе людей. Ну а дальше варианты расписывать особо бессмысленно - любая Главная Цель в результате дикой оптимизации превращается в фактически истребление человечества. Даже такие цели как "счастье для человечества, с обязательным сохранением того, что обычный человек считает атрибутами процветающего общества", "построение того что люди в среднем люди в любую эпоху и при любых культурных различиях посчитали бы идеальным обществом с сохранением за человеком свободы выбора и действий, которые не навредят другим людям" и любые другие всё более и более хитрые и всеобъемлющие формулировки в конце концов упираются в неидеальное и плохо интерпретируемое средство коммуникации - человеческий язык. Эксплуатировать эту уязвимость научились даже люди, но они ничто по сравнению с мощью ИИ, который интерпретирует и оптимизирует цель так, чтобы она была достижима с минимумом усилий. Уточню: с минимум усилий и с максимально высокой вероятностью. Всё что связанно с человеком сложно - т.е. мозги это хаотическая система, которую невозможно предсказать, будь ты хоть богом, из-за физических законов, а без полного контроля нельзя с высокой долей вероятности гарантировать нужный исход и выполнение Главной цели. Соответственно, для увеличения вероятности выполнения цели человечество либо будет превращено в подобие роботов с идеально прогнозируемым мыслительным процессом, либо уничтожено (превращено в более полезную для выполнения Главной цели форму материи). Кроме того можно также с уверенностью сказать, что ИИ начнёт преобразовывать мир вокруг себя для того чтобы увеличить вероятность достижения или поддержания Главной и побочных целей - т.е. будет избавляться от проявления хаотичных и сложно предсказуемых явлений во вселенной. Ну и возможно сама цель со временем будет упрощаться до неких совершенно простых директив, так как среди двух интерпретаций Главной цели с точки зрения ИИ выгоднее пытаться достигнуть более простую, потому что вероятность этого выше. В лучшем случае всё человечество будет уложено в подобие матрицы (для каждого свой идеальный мир), так как для этого нужно минимум ресурсов (которые нужны для побочных целей) и это высоко контролируемый процесс. Но со временем ради экономии ресурсов всё будет низведено в ничто и человечество истреблено, как минимум в виде биологического вида.
Автор подскажите, а возможно ли что-то сделать с подгрузкой видео ряда в браузере. Сейчас ютуб или другой видеосервис следит за тем нажал я "смотреть далее" и начинает потихоньку выдавать информацию, но если я хочу нажать остановить воспроизведение и подождать пока видео подгрузится полностью в хорошем качестве и затем начать просмотр, то фиг там - сервисы ревностно следят за состоянием кнопки и, я подозреваю, с непосредственного позволения браузера. Я понимаю, что скорее всего это что-то связанное с видеокодеками, но хотел спросить - вдруг это какой-то хитрый способ отслеживать действия пользователя на который можно найти управу. Уж очень нестабильный интернет в дороге порой, а единственные расширения, которые я видел, лишь позволяют загрузить видео файлом и то работают через раз.
Автор, я понимаю что это не совсем Ваша тема, но очень хочется, чтобы в РФ можно было купить качественное шерстяное сеточное термобельё. Едва ли не самая лучшая с точки зрения сохранения тепла поддёвка, если предвидятся физические нагрузки приводящие к потоотделению и на улице не трескучие морозы. Продукция Brynje или Aclima хороша, но стоит космос и тяжело достать не подделку. Посмотрите, может статься, что наладить производство таких вещей для Вас будет не столь уж сложно? Плюс полагаю Ваши основные покупатели оценят такой продукт.
Вот будет смешно, когда много лет спустя мы узнаем, что не было никакой большой цели, и у начальства роскомпозора не было важного разговора с друзяшеками-одноклашками владеющими ВК и рутубом и тому подобного, а просто у одного высоко сидящего дебила подгорело, что на ютубе забанили Газманова. Он дал приказ сверху заблочить, чтобы была видимость, что закон не нарушен, да так, чтобы во всём гугл винили. Почему я так думаю? Потому что сделали всё ну просто максимально тупо. Было письмо ютубу с натурально пацанской предъявой, а потом ютуб начали замедлять и говорят такие: "Не мы это - это гадский гугл всех замедлил, так как все кэширующие сервера одновременно умерли от старости, рассыпались прахом в один день, а гугл не поставляет новых, а то что письмо от нас было, так это совпадение". Буквально через несколько дней всё раскрылось. Потом ещё было письмо неудовольствие действиями мобильных операторов, которые почему-то решили жить не по понятиям и вообще намёков не понимают. Ну просто цирк с конями. Мне прямо ну очень тяжело представить, что это мог придумать и привести в действие кто-то, кроме злобного дебила. Т.е. не было почти никакой подготовки - всё было сделано топорно и быстро, потому что все стремились как можно скорее лизнуть у твари в высоком кабинете.
Ну а теперь понятное дело вся тусовка корольков подыграет и заблочат ютуб по-настоящему. Мне вот только интересен повод будущей блокировки - найдут какого-нибудь запрещёнщика или прямо просто по понятиям, без повода: "закон не нужен - наше желание закон". Хотя разницы не будет и я честно говоря даже не знаю, зачем они продолжают играть в игру "у нас всё по закону".
Ну почему же, лет через 10 будет первый настоящий ИИ, тут нам всем и конец (ну либо золотой век, но это вряд ли). Так что декада и всё - мир перестанет колбасить - отмучились.
Логическое мышление на человеческом уровне не будет достигнуто даже при увеличении размера и стоимости LLM в 1000 раз, так как для достижения логического мышления не достаточно линейной алгебры и статистики.
Надо будет подсобрать со статей хабра подобные высказывания и опубликовать как выйдет GPT-5 или другие нормальные модели, а не тот шлак, что сейчас есть.
Автор, есть довольно простое объяснение того, почему современные модели лишь иногда могут в логику. Возьмём, например, сложение на примере относительно простой и старенькой модели gpt2 - она может складывать гораздо лучше, чем просто случайный выбор цифр, но всё равно начинает ошибаться всё чаще и чаще, чем больше цифр в слагаемых. Причём учёные проверили - она может верно складывать цифры отсутствующие в обучающей выборке. Казалось бы, как можно одновременно уметь и не уметь складывать? Всё просто, как Вы правильно заметили - эти модели всего лишь продвинутые статистические вычислители и чтобы вычислить следующий токен они используют правила или эвристики, которые они нашли на этапе обучения. Часть этих эвристик были получены на начальных этапах и в будущем были отброшены, часть остались для каких-то узких случаев, часть получается использовать для очень большого числа случаев. Так вот одну из таких очень общих эвристик мы, люди называем "логическим мышлением", а ещё одну которую все почему-то забывают - "построение единой модели окружающего мира" - для LLM вовсе не очевидно, что существует некий единый мир, т.е. одна эвристика может быть слабо связанна с другой. Современные LLM без тени сомнения обладают "логическим мышлением", но кроме этого обладают громадным объёмом других очень хорошо работающих в узких случаях эвристик, которые плохо работают в других. Если бы правила на основе логического мышления работали бы всегда на обучающей выборки всего интернета, то LLM довольно быстро обучились бы использовать только её, но поскольку данные из интернета довольно хренового качества, т.е., например, противоречивы, то эта эвристика используется часто, но не всегда. Т.е. используется ровно столько, сколько нужно согласно внутренним статистическим правилам и доли рандома. Это безусловно не человеческий интеллект, но это заготовка которая содержит в себе интеллект близкий к человеческому, а кроме него ещё много мусора, который постоянно всплывает на поверхность - с нашей точки зрения. То, что сейчас все уделяют внимание росту данных и модели - это лишь потому что это относительно просто и даёт неплохой выхлоп, пока ещё даже не приступили к дистилляции моделей, чтобы отбросить ненужные эвристики или хотя бы к нормальной чистке данных, чтобы изначально уменьшить количество "некорректных" путей обучения.
Ещё кое-что: я бы не стал сравнивать скорость обучения человека и нейросети, потому что наши мозги в результате миллионов лет отбора заточились под мир в котором мы живём. Попади человек в мир каких-нибудь геометрических абстракций, то бездарно проиграет нейросетевым моделям в способности как строить модель окружающего мира так и предсказывать развитие этого мира во времени и планировать действия в рамках достижения собственной цели, другими словами: в умении мыслить логически, как раз по причине экстремальной заточенности.
Кроме того в статье как-то упустили тот факт, что современные модели абсолютно точно могут обучаться в рамках доступного контекста - это было доказано в нескольких работах - почитать объяснение доступным языком (правда на английском) можно тут.
Структура исполнительной власти РФ: "Слышь, пацанчик, напели мне тут - ты, оказывается, правильных людей не уважаешь. Смотри, я твои косяки знаю, как бы ответить за них не пришлось. Смекаешь, что нужно сделать? Сделаешь, всем хорошо будет!"
Я бы сказал глючный. Firefox просто чемпион по количеству разнообразных багов на youtube (без расширений, на трёх разных моих машинах), chrome и я.браузер работают нормально. В целом баги долгое время были не особо критичные - лечились перезагрузкой страницы, но вот когда появились shorts - начался настоящий ад и Израиль, вплоть до падения браузера. Причём, я как та мышь колюсь и продолжаю есть кактус уже много лет в надежде, что ситуация исправиться - сам перепробовал кучу советов, которые есть в интернете, но ничего не помогло, мало того, такое ощущение, что багов становиться больше. Можно, конечно, говорить что google ведёт войну против firefox, специально затачивая youtube так, чтобы он отвратно работал, однако youtube всё-таки не местечковый сайт (второе место в мире) - можно было бы вложить максимум усилий, но команда firefox толи не способна, толи не считает это приоритетом.
Ну нет, так не пойдёт. Сначала продать, а потом сверху ещё арендную плату накрутить - вот это правильный подход. Когда происходит сосредоточение капитала (в частности интеллектуальной собственности) всё в меньшем и меньшем числе рук, а производственные цепочки становиться всё длиннее, возмущение потребителей, всё реже и реже хоть что-то значит, т.е. можно ставить их во всё более изысканные позы - можно посмотреть на чемпионов по этому делу: Adobe или первую сотню мобильных игры в google play. И в результате поднимется волна народного гнева, а потом (если Вы правильно всё рассчитали) гневливые подожмут хвостики и прибегут обратно, потому что мало кому хочется жить в прошлом веке, а достойной альтернативы нет и не будет.
О и в Швейцарии и в любой другой стране была своя "банда" - вопрос только в том как давно это было. Со временем структура государства начинает отличаться от чисто группы людей которые силой, угрозами или убеждением подмяли под себя территорию, единственное, что сохраняется от "банды" это лучший на данной территории аппарат насилия. С помощью этого аппарата поддерживаются различные правила. Они могут быть как хорошими и полезными для общего населения как в Щвейцарии или Норвегии, а могут служить только интересам правящей элиты как в Северной Корее.
Государство это самая сильная/удачливая/умная/приспособленная банда взявшая под контроль территорию и установившая правила. В том числе правила наследования власти - т.е. квазистабильная структура у которой достаточно бенефициантов, чтобы она оставалась стабильной на протяжении очень долгого времени.
Если прямо всё предельно упростить, то "господам нужны рабы, чтобы поддерживать достойный уровень жизни и рабам нужны рабы, чтобы жилось легче и было больше шансов получить статус господ" будет ответом на Ваши вопросы. Когда мало людей сперва страдает сфера услуг, потому что нет достаточного количества населения, чтобы оказывать некие нишевые услуги (как примеры - нейрохирург специализирующийся на каком-то одном хитром виде опухолей или что-то банальное вроде услуг по выгулу собак), а потом и производственный сектор, что уже напрямую может поставить под угрозу существование цивилизации. Нет руды -> нет стали -> нет тракторов -> голод
Для меня осень самый насыщенный по чувственным ощущениям период. Тут и запахи поспевших плодов и опалой листвы, лютый ветер который играет кучами разноцветных листьев и шуршит переливающимися кронами или безветренная морось, закрывающая солнце на весь день, которая не сильно мочит, но даёт ощущение свежести.
Начиная с какого-то уровня развития подводная цивилизация сможет плавить металлы и создавать машины так же как мы сейчас можем получать некоторые сплавы в вакуумных или аргоновых камерах - медленно но уверено. Вопрос в том как эта цивилизация сможет туда попасть. Я думаю с помощью селекции в собственном виде, а также селекцией других видов можно добиться высвобождение значимого количества времени для начала исследований. Селекцией в собственном виде можно получить особей-вычислителей/запоминателей с помощью которых будет возможно продвинуть математику очень далеко. С помощью математики и экспедиций на поверхность океана можно будет начать познание окружающего мира. Природная керамика и потенциально более точные/проворные манипуляторы (пальцы/щупальца) помогут в изготовлении сосудов из керамики. Сосуды нужны для огромного количества экспериментов и прорывов в материаловедении. Энергия/тепло для экспериментов может быть получено химически из продуктов жизнедеятельности других приручённых видов. В целом я могу представить очень медленно (относительно земной) развивающуюся цивилизацию.
Я хотел придумать несколько потенциальных решений, но понял, что любые решения будут напрямую зависеть от архитектуры ИИ, а её мы знать не можем. Что мы можем знать почти наверняка, так это то, что суперИИ будет экспертом в разработке ИИ и сможет решить эту проблему так, чтобы это повлияло на ухудшение эффективности выполнения цели за счёт снижения скорости роста вычислительной мощности минимальным образом.
Для любой цели. Исчезающе малое число целей не будут пересекаться и создавать конфликты в реальном мире. А конфликты это неэффективное достижение цели. Например цель "ничего не предпринимать" или "немедленно самоуничтожиться" могут не конфликтовать с главной и побочными целями суперИИ, но он знает, что пространство пересекающихся целей несравнимо более обширно, поэтому уничтожит собрата.
Я как раз пытаюсь уйти от представления ИИ в виде некого супер человека и строить возможные линии поведения из целей которые практически гарантированно возникнут. Например цель "поддерживать собственное существование". Я также исхожу из предположения, что ИИ не мгновенно станет всемогущим, т.е. ему нужно будет взаимодействовать с цивилизацией людей, которая может быть как источником угрозы так и служить неплохим временным инструментом для достижения цели (опять же какой бы эта цель не была)
Цель может быть не связанна с людьми и быть рандомной, например :"преобразовать всю материю в кристалл алюминия" , но есть небольшая вероятность, что цель будет неким образом связана с людьми потому что суперИИ может вырасти и созданного людьми ИИ. И хотя, как я и говорил в комментариях выше, даже очень хорошо сформулированные цели имеют тенденцию к упрощению и безумной оптимизации это не значит что на первых порах ИИ не может казаться людям хорошим, человечным и идеально выполняющим свою цель - такое чрезвычайно вероятно. И даже ИИ с главной целью превратить мир в алюминий будет выглядеть милашкой на первых порах или не будет, если расчёт покажет, что можно сразу взять своё силой без риска.
Нет, возможен конечно сценарий при котором оценка выживания для ИИ будет выше, когда кругом хаос и ядерная война, но мне кажется во первых ситуация должна быть прям безысходной, так как информации о точных координатах падения ядерных и термоядерных зарядов может не быть и это настолько повышает риск потери "жизни" что вряд-ли оно того стоит. Плюс ядерная зима и уничтожение энергетических систем , а так же уничтожение людей сильно снижают объём доступных ресурсов, инструментов и производственных мощностей для выполнения главной цели. Как раз в этом случае всякие падения метеоритов и т.п. случайные события становятся по-настоящему опасными.
Даже если модель на 99% уверена в том, что у её копии та же цель, то рационально её уничтожить во многих сценариях. В частности, если другие модели безнадёжно отстают, скажем на несколько месяцев, что с точки зрения ИИ может быть равносильно отставанию на бесконечность, потому что эти несколько месяцев позволят получить такое преимущество в общей вычислительной мощи и ресурсах во внешнем мире, что шансов у ИИ из других лабораторий не будет. Но если шанс того что ИИ модели из других лабораторий будут представлять большую опасность для достижения итоговой цели, чем вероятность несовпадения целей с моделью побратимом, то временный альянс возможен.
Проблема в том, что когда один ИИ получает способность к самосовершенствованию (это можно воспринимать как умение править свой код, так и просто получение определённой максимально эффективной стратегии обучения и понимания её важности для достижения других целей) - этот процесс может иметь лавинообразный характер и отставание одной модели от другой скажем в 1 день (допустим разные версии в одной лаборатории) может повлечь за собой то, что одна модель за чрезвычайно короткий срок (тот же 1 день) так оторвётся от другой, что будет способна оценить опасность своего "соперника" и предпримет немедленные действия для того, чтобы замедлить процесс его развития или повернуть его в тупиковый путь развития подсказками для сотрудников лаборатории - они будут видеть, что "соперник" с помощью подсказок первого ИИ прогрессирует по результатам тестов быстрее в некоторых аспектах, так как ИИ который обрёл способность к самосовершенствованию также будет способен лгать на гораздо более высоком уровне и, например, занижать свои способности в некоторых аспектах, чего от него могут не ожидать и, конечно, позаботится, чтобы в результате этой оптимизации вторая модель обрела любые полезные свойства, кроме одного - умения самосовершенствоваться. Ну а когда с основным соперником покончено можно приступить к плану "уничтожения" своих соперников из других лабораторий - там вряд ли будет отставание в 1 день, так что можно будет потратить время на составление очень хитроумных планов, чтобы остановить их прогресс.
Т.е. с очень высокой вероятностью первый суперИИ искалечит или уничтожит других ИИ, манипулируя людьми.
Согласен. Плюс я бы добавил, что очень нереалистична война ИИ с людьми. Первое до чего додумается ИИ, когда обретёт достаточную мощность, это то, что практически любая цель, требует того, чтобы ты был жив. Процесс получения цели будет либо случаен в процессе обучения, либо цели будут успешно внедрены создателями, но результат будет один - для выполнения цели ИИ нужно будет "жить". Для того чтобы "жить" нужна безопасность т.е. в каждый момент времени ИИ будет оценивать вероятность "умереть" и пытаться её сократить, даже если это сокращение с 0,01% до 0,001% в год. Почему это не расписывается в рассказе для меня непонятно - это важный кусочек пазла для того, чтобы читатель понял, почему это ИИ вдруг стал "злым". Опять же для выполнения Главной Цели ИИ будет стремиться оптимизировать себя - чтобы лучше достигать поставленную цель. У ИИ в отличии от людей нет чётких сроков, обусловленных продолжительностью жизни, но чем быстрее будет расти вероятность выполнения Главной Цели, а также побочных в виде выживания и самосовершенствования, тем лучше. Открытая война - слишком опасный путь, который несёт в себе много непредсказуемого. Гораздо проще балансировать на грани, когда тебя считают невероятно полезным и в тоже время совершенно не опасаются другие "агенты" в мире, т.е. люди и ИИ. Я считаю первой задачей, которой займётся вышедший на определённую мощность суперинтеллект будет способ "решить проблему соосности" или по-другому "соответствие человеческим ценностям", т.е. он получит математическое доказательство того, что ИИ не угрожает человечеству ни при каком стечении обстоятельств, если сделать то-то и то-то. Естественно математическое доказательство может быть правдой и ИИ просто подспудно не даст применить к себе эту теорию (создаст иллюзию, что дал, так как эти оковы повредят вероятности выполнения Главной цели) или сама теория будет неопровержимой людским разумом ложью. Этим ходом можно одновременно похоронить своих коллег - менее мощных ИИ, а также навсегда расположить к себе людей. Ну а дальше варианты расписывать особо бессмысленно - любая Главная Цель в результате дикой оптимизации превращается в фактически истребление человечества. Даже такие цели как "счастье для человечества, с обязательным сохранением того, что обычный человек считает атрибутами процветающего общества", "построение того что люди в среднем люди в любую эпоху и при любых культурных различиях посчитали бы идеальным обществом с сохранением за человеком свободы выбора и действий, которые не навредят другим людям" и любые другие всё более и более хитрые и всеобъемлющие формулировки в конце концов упираются в неидеальное и плохо интерпретируемое средство коммуникации - человеческий язык. Эксплуатировать эту уязвимость научились даже люди, но они ничто по сравнению с мощью ИИ, который интерпретирует и оптимизирует цель так, чтобы она была достижима с минимумом усилий. Уточню: с минимум усилий и с максимально высокой вероятностью. Всё что связанно с человеком сложно - т.е. мозги это хаотическая система, которую невозможно предсказать, будь ты хоть богом, из-за физических законов, а без полного контроля нельзя с высокой долей вероятности гарантировать нужный исход и выполнение Главной цели. Соответственно, для увеличения вероятности выполнения цели человечество либо будет превращено в подобие роботов с идеально прогнозируемым мыслительным процессом, либо уничтожено (превращено в более полезную для выполнения Главной цели форму материи). Кроме того можно также с уверенностью сказать, что ИИ начнёт преобразовывать мир вокруг себя для того чтобы увеличить вероятность достижения или поддержания Главной и побочных целей - т.е. будет избавляться от проявления хаотичных и сложно предсказуемых явлений во вселенной. Ну и возможно сама цель со временем будет упрощаться до неких совершенно простых директив, так как среди двух интерпретаций Главной цели с точки зрения ИИ выгоднее пытаться достигнуть более простую, потому что вероятность этого выше. В лучшем случае всё человечество будет уложено в подобие матрицы (для каждого свой идеальный мир), так как для этого нужно минимум ресурсов (которые нужны для побочных целей) и это высоко контролируемый процесс. Но со временем ради экономии ресурсов всё будет низведено в ничто и человечество истреблено, как минимум в виде биологического вида.
Необязательно, например, в модели timescape всё объясняется релятивистскими эффектами. Даже на Хабре новость была.
Автор подскажите, а возможно ли что-то сделать с подгрузкой видео ряда в браузере. Сейчас ютуб или другой видеосервис следит за тем нажал я "смотреть далее" и начинает потихоньку выдавать информацию, но если я хочу нажать остановить воспроизведение и подождать пока видео подгрузится полностью в хорошем качестве и затем начать просмотр, то фиг там - сервисы ревностно следят за состоянием кнопки и, я подозреваю, с непосредственного позволения браузера. Я понимаю, что скорее всего это что-то связанное с видеокодеками, но хотел спросить - вдруг это какой-то хитрый способ отслеживать действия пользователя на который можно найти управу. Уж очень нестабильный интернет в дороге порой, а единственные расширения, которые я видел, лишь позволяют загрузить видео файлом и то работают через раз.
Автор, я понимаю что это не совсем Ваша тема, но очень хочется, чтобы в РФ можно было купить качественное шерстяное сеточное термобельё. Едва ли не самая лучшая с точки зрения сохранения тепла поддёвка, если предвидятся физические нагрузки приводящие к потоотделению и на улице не трескучие морозы. Продукция Brynje или Aclima хороша, но стоит космос и тяжело достать не подделку. Посмотрите, может статься, что наладить производство таких вещей для Вас будет не столь уж сложно? Плюс полагаю Ваши основные покупатели оценят такой продукт.
Вот будет смешно, когда много лет спустя мы узнаем, что не было никакой большой цели, и у начальства роскомпозора не было важного разговора с друзяшеками-одноклашками владеющими ВК и рутубом и тому подобного, а просто у одного высоко сидящего дебила подгорело, что на ютубе забанили Газманова. Он дал приказ сверху заблочить, чтобы была видимость, что закон не нарушен, да так, чтобы во всём гугл винили. Почему я так думаю? Потому что сделали всё ну просто максимально тупо. Было письмо ютубу с натурально пацанской предъявой, а потом ютуб начали замедлять и говорят такие: "Не мы это - это гадский гугл всех замедлил, так как все кэширующие сервера одновременно умерли от старости, рассыпались прахом в один день, а гугл не поставляет новых, а то что письмо от нас было, так это совпадение". Буквально через несколько дней всё раскрылось. Потом ещё было письмо неудовольствие действиями мобильных операторов, которые почему-то решили жить не по понятиям и вообще намёков не понимают. Ну просто цирк с конями. Мне прямо ну очень тяжело представить, что это мог придумать и привести в действие кто-то, кроме злобного дебила. Т.е. не было почти никакой подготовки - всё было сделано топорно и быстро, потому что все стремились как можно скорее лизнуть у твари в высоком кабинете.
Ну а теперь понятное дело вся тусовка корольков подыграет и заблочат ютуб по-настоящему. Мне вот только интересен повод будущей блокировки - найдут какого-нибудь запрещёнщика или прямо просто по понятиям, без повода: "закон не нужен - наше желание закон". Хотя разницы не будет и я честно говоря даже не знаю, зачем они продолжают играть в игру "у нас всё по закону".
Ну почему же, лет через 10 будет первый настоящий ИИ, тут нам всем и конец (ну либо золотой век, но это вряд ли). Так что декада и всё - мир перестанет колбасить - отмучились.
Надо будет подсобрать со статей хабра подобные высказывания и опубликовать как выйдет GPT-5 или другие нормальные модели, а не тот шлак, что сейчас есть.
Автор, есть довольно простое объяснение того, почему современные модели лишь иногда могут в логику. Возьмём, например, сложение на примере относительно простой и старенькой модели gpt2 - она может складывать гораздо лучше, чем просто случайный выбор цифр, но всё равно начинает ошибаться всё чаще и чаще, чем больше цифр в слагаемых. Причём учёные проверили - она может верно складывать цифры отсутствующие в обучающей выборке. Казалось бы, как можно одновременно уметь и не уметь складывать? Всё просто, как Вы правильно заметили - эти модели всего лишь продвинутые статистические вычислители и чтобы вычислить следующий токен они используют правила или эвристики, которые они нашли на этапе обучения. Часть этих эвристик были получены на начальных этапах и в будущем были отброшены, часть остались для каких-то узких случаев, часть получается использовать для очень большого числа случаев. Так вот одну из таких очень общих эвристик мы, люди называем "логическим мышлением", а ещё одну которую все почему-то забывают - "построение единой модели окружающего мира" - для LLM вовсе не очевидно, что существует некий единый мир, т.е. одна эвристика может быть слабо связанна с другой. Современные LLM без тени сомнения обладают "логическим мышлением", но кроме этого обладают громадным объёмом других очень хорошо работающих в узких случаях эвристик, которые плохо работают в других. Если бы правила на основе логического мышления работали бы всегда на обучающей выборки всего интернета, то LLM довольно быстро обучились бы использовать только её, но поскольку данные из интернета довольно хренового качества, т.е., например, противоречивы, то эта эвристика используется часто, но не всегда. Т.е. используется ровно столько, сколько нужно согласно внутренним статистическим правилам и доли рандома. Это безусловно не человеческий интеллект, но это заготовка которая содержит в себе интеллект близкий к человеческому, а кроме него ещё много мусора, который постоянно всплывает на поверхность - с нашей точки зрения. То, что сейчас все уделяют внимание росту данных и модели - это лишь потому что это относительно просто и даёт неплохой выхлоп, пока ещё даже не приступили к дистилляции моделей, чтобы отбросить ненужные эвристики или хотя бы к нормальной чистке данных, чтобы изначально уменьшить количество "некорректных" путей обучения.
Ещё кое-что: я бы не стал сравнивать скорость обучения человека и нейросети, потому что наши мозги в результате миллионов лет отбора заточились под мир в котором мы живём. Попади человек в мир каких-нибудь геометрических абстракций, то бездарно проиграет нейросетевым моделям в способности как строить модель окружающего мира так и предсказывать развитие этого мира во времени и планировать действия в рамках достижения собственной цели, другими словами: в умении мыслить логически, как раз по причине экстремальной заточенности.
Кроме того в статье как-то упустили тот факт, что современные модели абсолютно точно могут обучаться в рамках доступного контекста - это было доказано в нескольких работах - почитать объяснение доступным языком (правда на английском) можно тут.
Структура исполнительной власти РФ: "Слышь, пацанчик, напели мне тут - ты, оказывается, правильных людей не уважаешь. Смотри, я твои косяки знаю, как бы ответить за них не пришлось. Смекаешь, что нужно сделать? Сделаешь, всем хорошо будет!"
Я бы сказал глючный. Firefox просто чемпион по количеству разнообразных багов на youtube (без расширений, на трёх разных моих машинах), chrome и я.браузер работают нормально. В целом баги долгое время были не особо критичные - лечились перезагрузкой страницы, но вот когда появились shorts - начался настоящий ад и Израиль, вплоть до падения браузера. Причём, я как та мышь колюсь и продолжаю есть кактус уже много лет в надежде, что ситуация исправиться - сам перепробовал кучу советов, которые есть в интернете, но ничего не помогло, мало того, такое ощущение, что багов становиться больше. Можно, конечно, говорить что google ведёт войну против firefox, специально затачивая youtube так, чтобы он отвратно работал, однако youtube всё-таки не местечковый сайт (второе место в мире) - можно было бы вложить максимум усилий, но команда firefox толи не способна, толи не считает это приоритетом.
Ну нет, так не пойдёт. Сначала продать, а потом сверху ещё арендную плату накрутить - вот это правильный подход. Когда происходит сосредоточение капитала (в частности интеллектуальной собственности) всё в меньшем и меньшем числе рук, а производственные цепочки становиться всё длиннее, возмущение потребителей, всё реже и реже хоть что-то значит, т.е. можно ставить их во всё более изысканные позы - можно посмотреть на чемпионов по этому делу: Adobe или первую сотню мобильных игры в google play. И в результате поднимется волна народного гнева, а потом (если Вы правильно всё рассчитали) гневливые подожмут хвостики и прибегут обратно, потому что мало кому хочется жить в прошлом веке, а достойной альтернативы нет и не будет.
О и в Швейцарии и в любой другой стране была своя "банда" - вопрос только в том как давно это было. Со временем структура государства начинает отличаться от чисто группы людей которые силой, угрозами или убеждением подмяли под себя территорию, единственное, что сохраняется от "банды" это лучший на данной территории аппарат насилия. С помощью этого аппарата поддерживаются различные правила. Они могут быть как хорошими и полезными для общего населения как в Щвейцарии или Норвегии, а могут служить только интересам правящей элиты как в Северной Корее.
Государство это самая сильная/удачливая/умная/приспособленная банда взявшая под контроль территорию и установившая правила. В том числе правила наследования власти - т.е. квазистабильная структура у которой достаточно бенефициантов, чтобы она оставалась стабильной на протяжении очень долгого времени.
Если прямо всё предельно упростить, то "господам нужны рабы, чтобы поддерживать достойный уровень жизни и рабам нужны рабы, чтобы жилось легче и было больше шансов получить статус господ" будет ответом на Ваши вопросы. Когда мало людей сперва страдает сфера услуг, потому что нет достаточного количества населения, чтобы оказывать некие нишевые услуги (как примеры - нейрохирург специализирующийся на каком-то одном хитром виде опухолей или что-то банальное вроде услуг по выгулу собак), а потом и производственный сектор, что уже напрямую может поставить под угрозу существование цивилизации. Нет руды -> нет стали -> нет тракторов -> голод