Это может быть выгодно - с этим согласен. Но вот назвать это протестом язык не поворачивается. "Я за демократию! Поэтому свалил в монархию." Или "Я против решения XYZ! Поэтому свалил в страну, которая вообще своих решений не принимает". Такие действия не приведут к изменению того, против чего такой "протест" направлен, поэтому с точки зрения протеста это неэффективно.
Если мы хотим, чтобы некое государство стало хорошим для жизни, то следует следовать стратегии, которая приводит к выживанию и развитию этого самого государства. Если мы хотим, чтобы лично наши семьи хорошо жили - то можно выбирать государство с более высоким качеством жизни, но это попадает не в категорию "протест", а в категорию "мне здесь лучше".
В общем, какую благую стратегию развития человечества преследует протест ногами - мне непонятно. Лишить Россию суверенитета? Мне неочевидно, приведёт ли это к лучшему, и почему.
Куда? Из сломанной демократии в монархию? Или в страну, развязавшую в 10 раз больше войн? Или в страны, потерявшие собственный суверенитет, и поэтому будто бы белые и пушистые, но по факту просто колонии самого воинственного государства? Так себе протест получается. А в оставшихся странах уровень жизни ещё ниже, и соответственно медицина проседает :( Кажется все страны перечислил, буду рад ошибаться.
Ну так по уровню то жизни Россия как раз таки очень привлекательна. Из Узбекистана люди мечтают переехать в Россию. А Москва вообще считается вторым по качеству жизни городом в мире, сразу после Лондона.
И ни слова о том, что ведущие лаборатории и учёные видят в появлении СИИ угрозу уничтожения всего человечества, наравне с ядерной войной. https://www.safe.ai/statement-on-ai-risk
Что 30 тысяч исследователей и разработчиков призывают к мораторию на его развитие в связи с этой угрозой. https://futureoflife.org/open-letter/pause-giant-ai-experiments/
Что ООН призывает к созданию международной организации по аналогии с МАГАТЭ https://m.youtube.com/watch?v=ktFF2dSH3oU&ab_channel=UnitedNations
Что задача обеспечения безопасности ИИ является до сих пор нерешённой, но на решение этой задачи тратится меньше 0.1% усилий по сравнению с разработкой увеличения возможностей ИИ.
А вот это уже хороший технический вопрос, для ответа на который у меня недостаточно компетенции. Могу лишь предложить, что все паддинги и прочие переменные можно стандартизировать, чтобы утечка информации через них легко обнаруживалась.
Я же написал - заливаем, а не генерируем девайсом. Генерируем самостоятельно, а потом уже заливаем. Предвкушая возражение "надо ж доверять тогда своему компу, на котором генерируем ключ" - генерить можно несколько ключей для multisig кошелька на разных разделённых компах, хотя на мой взгляд это уже через чур.
А как же оффлайн аппаратные кошельки? Теоретически, берём планшет без доступа к интернету, заливаем туда ключ через камеру по qr коду. Когда надо подписать транзакцию, заливаем туда транзакцию по qr коду, планшет её подписывает ключом, и на дисплее отображает qr код подписанной транзакции. Любой читалкой qr кода перепроверяем, что в qr коде нет ничего, кроме подписанной транзакции. Публикуем подписанную транзакцию. В такой схеме ведь нет ни капли доверия производителю такого планшета, или я что-то упустил из виду?
(На практике видел нечто подобное как в продаже, так и гайды, как на обычном планшете это сделать.)
В истории человечества есть множество примеров решения проблем класса "трагедия общин" с помощью дипломатии. Когда равновесие X является плохим для всех, вводится соглашение о запретах, и создаются структуры взаимного контроля. Конечно, может произойти и так как вы описали, что о введении соглашений люди задумаются слишком поздно, за точкой невозврата. Пока что людям удаётся договариваться с людьми. Есть предположение, что с ИИ договариваться будет гораздо сложнее.
Бизнес не может ухудшить экологию до уровня несовместимого с выживанием владельца бизнеса. Если владелец человек, то из этого следует, что человечество выживет. Если владелец ИИ, то таких гарантий нет.
Но коэффициенты то меняются в зависимости от обучающих данных. И то, насколько сильно они впитали в себя ПД зависит исключительно от степени переобученности модели. NERF сети вон впитывают информацию из обучающей выборки настолько, что восстановить можно трёхмерную модель с любого ракурса. Так что же, NERF сеть с чужими данными можно свободно распространять, просто из-за того, что её веса были рандомом когда-то до обучения? Если картиночную нейросеть обучать на картинках одного и того же паспорта, то из весов нейросети можно будет извлечь и серию, и номер, и имя, и фамилию, и дату рождения. А если что-то нельзя извлечь сейчас, то не факт, что это нельзя будет извлечь потом, через н лет развития компьютерной криминалистики и методов анализа нейросетей.
И что, что в нейросети нет исходных изображений? В JPG тоже нет исходных изображений - там только коэффициенты синусных разложений. И исходное изображение из JPG тоже не восстановить - только приближённую аппроксимацию. Так же и с нейросетями - да, исходные не восстановить, но приближённые - можно. Пример: https://blog.openmined.org/extracting-private-data-from-a-neural-network/amp/
Тут есть 2 аспекта: во-первых, нейросети являются производными произведениями от всех данных, на которых они обучались. Поэтому на них распространяются все те же самые юридические ограничения, что и на любые другие производные работы.
Во-вторых, есть GDPR, который обязывает компании удалить все персональные данные о человеке по его запросу, за редкими исключениями. Веса нейросети содержат информацию о всех объектах в обучающей выборке, поэтому если в обучающей выборке были персональные данные, то и веса нейросети содержат агрегированную информацию о персональных данных. По GDPR агрегированная информация о ПД это тоже ПД, соответственно по запросу веса должны быть удалены. Чтобы на такое не нарваться, надо анонимизировать данные, перед тем, как обучать на них нейросеть. Попадают ли работы фотографа в категорию ПД - зависит от его работ. Если там есть его сэлфи, то да. Если на этих селфи лицо не было замазано перед обучением нейросети, то нейросеть должна быть удалена по запросу.
С другой стороны - человек, которого я начинаю жалеть, очень легко может втянуться в состояние жертвы, и начинать манипулировать уже мной. Поэтому хочется пройти между сциллой обесценивания, и харибдой взращивания состояния жертвы. Как это делать - мне не очень понятно. Лично мне, когда я болею, гораздо проще, если болезнь как раз таки обесценивают, чем если начинают страдать вместе со мной. Т.е. лучше мне скажут "не переживай, через неделю будешь как огурец", чем "бедненький ты несчастненький, как же тебе тяжело".
Насколько я понял статью, негативной является установка "чтобы зарабатывать больше, нужно работать больше". Тут дело такое - и тот, кто зарабатывает 50 000 и тот, кто зарабатывает 500 000 оба как правило работают обычную пятидневку. И по своему опыту могу сказать, что самый большой прирост происходит не из-за изменения количества часов работы, а от смены скажем так, рынка сбыта. Например, в гос структурах платят мало, в коммерции - кратно больше, в международной коммерции - кратно ещё больше. А степень нагрузки с заработком коррелируют гораздо меньше, чем кажется.
Нет, мы не сможем остановить достаточно продвинутую Auto-LLM просто выключив сервера. Потому, что она сможет прочитать гайд по metasploit, и создать ботнет из заражённых устройств. Попробуйте остановить ботнет Mēris, или Mirai - этого не может никто, кроме владельцев этих ботнетов. В случае же с AutoLLM владельцем ботнета будет сам ботнет, поэтому такой ботнет не сможет остановить вообще никто. Плюс к этому, AutoLLM смогут самостоятельно зарабатывать деньги в криптовалюте, как минимум - тактикой Ransomware, и сбором благотворительности - что откроет ему доступ к серверам на чёрном рынке. Такой ботнет по-началу не сможет принести существенный урон, но он сможет дождаться, пока в открытый доступ сольют ещё более мощную LLM. Таким образом, если появится ботнет из Auto-LLM, имеющий возможность самостоятельно менять свою LLM, то мы окажемся за точкой невозврата. Просто потому, что если верны два утверждения "существует X, стремящийся уничтожить человечество" и "у нас нет возможности остановить X" то человечество оказывается в очень затруднительном положении.
Можно конечно парировать этот аргумент тем, что в случае чего мы можем просто выключить вообще все цифровые устройства. Но, во-первых, это всё равно катастрофа. А во-вторых, я не верю, что человечество окажется достаточно решительным, чтобы пойти на такой шаг, зная каким нерешительным оно себя демонстрирует в вопросах регулирования ИИ сейчас.
Принципиальное отличие ИИ от инструмента в том, что ИИ может действовать (уже действует, например ChaosGPT) самостоятельно. Мы можем остановить развитие обычного компьютерного вируса, посадив в тюрьму всех, кто над ним работает. Но мы не можем сделать то же самое с вирусом, управляемым Auto-LLM. По сути ChaosGPT является вредоносным ПО по любым определениям, и должна быть забанена, а её авторы - посажены. Проблема в том, что из любой LLM можно сделать ChaosGPT за минуту, и LLM будет являться ключевым компонентом. Поэтому я и считаю, что к LLM необходимо особое отношение. Как к взрывчатке или урану, например - да, и взрывчатка и уран это тоже всего лишь инструмент, но в открытом доступе такого инструмента быть не должно.
Спасибо за стью - она даёт осязаемую аргументацию, чего очень не хватает в дискуссиях о возможностях LLM. Вообще, очень вдохновляет то, что по сути LLM - это не просто механизм, который мы собрали, а феномен, который можно изучать и изучать. Очень явным становится то, что создатели что-то сделали, но сами не знают, что.
Это может быть выгодно - с этим согласен. Но вот назвать это протестом язык не поворачивается. "Я за демократию! Поэтому свалил в монархию." Или "Я против решения XYZ! Поэтому свалил в страну, которая вообще своих решений не принимает". Такие действия не приведут к изменению того, против чего такой "протест" направлен, поэтому с точки зрения протеста это неэффективно.
Если мы хотим, чтобы некое государство стало хорошим для жизни, то следует следовать стратегии, которая приводит к выживанию и развитию этого самого государства. Если мы хотим, чтобы лично наши семьи хорошо жили - то можно выбирать государство с более высоким качеством жизни, но это попадает не в категорию "протест", а в категорию "мне здесь лучше".
В общем, какую благую стратегию развития человечества преследует протест ногами - мне непонятно. Лишить Россию суверенитета? Мне неочевидно, приведёт ли это к лучшему, и почему.
По существу нечего сказать?
Куда? Из сломанной демократии в монархию? Или в страну, развязавшую в 10 раз больше войн? Или в страны, потерявшие собственный суверенитет, и поэтому будто бы белые и пушистые, но по факту просто колонии самого воинственного государства? Так себе протест получается. А в оставшихся странах уровень жизни ещё ниже, и соответственно медицина проседает :( Кажется все страны перечислил, буду рад ошибаться.
Ну так по уровню то жизни Россия как раз таки очень привлекательна. Из Узбекистана люди мечтают переехать в Россию. А Москва вообще считается вторым по качеству жизни городом в мире, сразу после Лондона.
Ой, поторопился с суждениями - не заметил, автор действительно об этом пишет
И ни слова о том, что ведущие лаборатории и учёные видят в появлении СИИ угрозу уничтожения всего человечества, наравне с ядерной войной. https://www.safe.ai/statement-on-ai-risk
Что 30 тысяч исследователей и разработчиков призывают к мораторию на его развитие в связи с этой угрозой. https://futureoflife.org/open-letter/pause-giant-ai-experiments/
Что ООН призывает к созданию международной организации по аналогии с МАГАТЭ https://m.youtube.com/watch?v=ktFF2dSH3oU&ab_channel=UnitedNations
Что задача обеспечения безопасности ИИ является до сих пор нерешённой, но на решение этой задачи тратится меньше 0.1% усилий по сравнению с разработкой увеличения возможностей ИИ.
А вот это уже хороший технический вопрос, для ответа на который у меня недостаточно компетенции. Могу лишь предложить, что все паддинги и прочие переменные можно стандартизировать, чтобы утечка информации через них легко обнаруживалась.
Я же написал - заливаем, а не генерируем девайсом. Генерируем самостоятельно, а потом уже заливаем. Предвкушая возражение "надо ж доверять тогда своему компу, на котором генерируем ключ" - генерить можно несколько ключей для multisig кошелька на разных разделённых компах, хотя на мой взгляд это уже через чур.
А как же оффлайн аппаратные кошельки? Теоретически, берём планшет без доступа к интернету, заливаем туда ключ через камеру по qr коду. Когда надо подписать транзакцию, заливаем туда транзакцию по qr коду, планшет её подписывает ключом, и на дисплее отображает qr код подписанной транзакции. Любой читалкой qr кода перепроверяем, что в qr коде нет ничего, кроме подписанной транзакции. Публикуем подписанную транзакцию. В такой схеме ведь нет ни капли доверия производителю такого планшета, или я что-то упустил из виду?
(На практике видел нечто подобное как в продаже, так и гайды, как на обычном планшете это сделать.)
В истории человечества есть множество примеров решения проблем класса "трагедия общин" с помощью дипломатии. Когда равновесие X является плохим для всех, вводится соглашение о запретах, и создаются структуры взаимного контроля. Конечно, может произойти и так как вы описали, что о введении соглашений люди задумаются слишком поздно, за точкой невозврата. Пока что людям удаётся договариваться с людьми. Есть предположение, что с ИИ договариваться будет гораздо сложнее.
Бизнес не может ухудшить экологию до уровня несовместимого с выживанием владельца бизнеса. Если владелец человек, то из этого следует, что человечество выживет. Если владелец ИИ, то таких гарантий нет.
То есть по вашей логике, Джеффри Хинтон не пробовал ничего создать с помощью нейросетей?
Но коэффициенты то меняются в зависимости от обучающих данных. И то, насколько сильно они впитали в себя ПД зависит исключительно от степени переобученности модели. NERF сети вон впитывают информацию из обучающей выборки настолько, что восстановить можно трёхмерную модель с любого ракурса. Так что же, NERF сеть с чужими данными можно свободно распространять, просто из-за того, что её веса были рандомом когда-то до обучения? Если картиночную нейросеть обучать на картинках одного и того же паспорта, то из весов нейросети можно будет извлечь и серию, и номер, и имя, и фамилию, и дату рождения. А если что-то нельзя извлечь сейчас, то не факт, что это нельзя будет извлечь потом, через н лет развития компьютерной криминалистики и методов анализа нейросетей.
И что, что в нейросети нет исходных изображений? В JPG тоже нет исходных изображений - там только коэффициенты синусных разложений. И исходное изображение из JPG тоже не восстановить - только приближённую аппроксимацию. Так же и с нейросетями - да, исходные не восстановить, но приближённые - можно. Пример: https://blog.openmined.org/extracting-private-data-from-a-neural-network/amp/
Тут есть 2 аспекта: во-первых, нейросети являются производными произведениями от всех данных, на которых они обучались. Поэтому на них распространяются все те же самые юридические ограничения, что и на любые другие производные работы.
Во-вторых, есть GDPR, который обязывает компании удалить все персональные данные о человеке по его запросу, за редкими исключениями. Веса нейросети содержат информацию о всех объектах в обучающей выборке, поэтому если в обучающей выборке были персональные данные, то и веса нейросети содержат агрегированную информацию о персональных данных. По GDPR агрегированная информация о ПД это тоже ПД, соответственно по запросу веса должны быть удалены. Чтобы на такое не нарваться, надо анонимизировать данные, перед тем, как обучать на них нейросеть. Попадают ли работы фотографа в категорию ПД - зависит от его работ. Если там есть его сэлфи, то да. Если на этих селфи лицо не было замазано перед обучением нейросети, то нейросеть должна быть удалена по запросу.
С другой стороны - человек, которого я начинаю жалеть, очень легко может втянуться в состояние жертвы, и начинать манипулировать уже мной. Поэтому хочется пройти между сциллой обесценивания, и харибдой взращивания состояния жертвы. Как это делать - мне не очень понятно. Лично мне, когда я болею, гораздо проще, если болезнь как раз таки обесценивают, чем если начинают страдать вместе со мной. Т.е. лучше мне скажут "не переживай, через неделю будешь как огурец", чем "бедненький ты несчастненький, как же тебе тяжело".
Насколько я понял статью, негативной является установка "чтобы зарабатывать больше, нужно работать больше". Тут дело такое - и тот, кто зарабатывает 50 000 и тот, кто зарабатывает 500 000 оба как правило работают обычную пятидневку. И по своему опыту могу сказать, что самый большой прирост происходит не из-за изменения количества часов работы, а от смены скажем так, рынка сбыта. Например, в гос структурах платят мало, в коммерции - кратно больше, в международной коммерции - кратно ещё больше. А степень нагрузки с заработком коррелируют гораздо меньше, чем кажется.
Нет, мы не сможем остановить достаточно продвинутую Auto-LLM просто выключив сервера. Потому, что она сможет прочитать гайд по metasploit, и создать ботнет из заражённых устройств. Попробуйте остановить ботнет Mēris, или Mirai - этого не может никто, кроме владельцев этих ботнетов. В случае же с AutoLLM владельцем ботнета будет сам ботнет, поэтому такой ботнет не сможет остановить вообще никто. Плюс к этому, AutoLLM смогут самостоятельно зарабатывать деньги в криптовалюте, как минимум - тактикой Ransomware, и сбором благотворительности - что откроет ему доступ к серверам на чёрном рынке. Такой ботнет по-началу не сможет принести существенный урон, но он сможет дождаться, пока в открытый доступ сольют ещё более мощную LLM. Таким образом, если появится ботнет из Auto-LLM, имеющий возможность самостоятельно менять свою LLM, то мы окажемся за точкой невозврата. Просто потому, что если верны два утверждения "существует X, стремящийся уничтожить человечество" и "у нас нет возможности остановить X" то человечество оказывается в очень затруднительном положении.
Можно конечно парировать этот аргумент тем, что в случае чего мы можем просто выключить вообще все цифровые устройства. Но, во-первых, это всё равно катастрофа. А во-вторых, я не верю, что человечество окажется достаточно решительным, чтобы пойти на такой шаг, зная каким нерешительным оно себя демонстрирует в вопросах регулирования ИИ сейчас.
Принципиальное отличие ИИ от инструмента в том, что ИИ может действовать (уже действует, например ChaosGPT) самостоятельно. Мы можем остановить развитие обычного компьютерного вируса, посадив в тюрьму всех, кто над ним работает. Но мы не можем сделать то же самое с вирусом, управляемым Auto-LLM. По сути ChaosGPT является вредоносным ПО по любым определениям, и должна быть забанена, а её авторы - посажены. Проблема в том, что из любой LLM можно сделать ChaosGPT за минуту, и LLM будет являться ключевым компонентом. Поэтому я и считаю, что к LLM необходимо особое отношение. Как к взрывчатке или урану, например - да, и взрывчатка и уран это тоже всего лишь инструмент, но в открытом доступе такого инструмента быть не должно.
Спасибо за стью - она даёт осязаемую аргументацию, чего очень не хватает в дискуссиях о возможностях LLM. Вообще, очень вдохновляет то, что по сути LLM - это не просто механизм, который мы собрали, а феномен, который можно изучать и изучать. Очень явным становится то, что создатели что-то сделали, но сами не знают, что.