Это уже детали реализации. Дополнительное время может понадобиться если нужно, чтобы доверенное лицо успело получить информацию и среагировать. Возможный сценарий: добавить себя в качестве доверенного лица для родителей в возрасте, которые с информационными технологиями на "Вы".
В любом случае система, в которой потенциально деструктивные и необратимые операции могут быть выполнены всего лишь по предъявлению нескольких символов кода, крайне уязвима для методов социальной инженерии и должна быть усовершенствована.
Это же всё жуткие костыли, при этом возможные способы обхода уже предложены в комментах. Единственная действенная техническая мера, которую я вижу - это введение искусственной задержки выполнения для важных операций. То есть не "смена пароля госуслуг по коду из смс", а "регистрация заявки на смену пароля с отложенным на 24(?) часа исполнением". И в процессе ожидания - информирование пользователя (и, возможно, его доверенных лиц) о предстоящей операции по всем доступным каналам связи. Я понимаю, что все мы привыкли к мгновенной реакции "нажми на кнопку - получишь результат", но если заранее знать о том, что операция не будет мгновенной, то особой фрустрации быть не должно. С банковскими переводами сложнее конечно, но если речь идёт не о микротранзакциях, а о переводе крупных сумм, то такие вещи обычно не случаются спонтанно и внезапно. Можно заранее зарегистрировать "протокол о намерениях": "собираюсь завтра перевести не более 100500 денег для оплаты сепулек" (опционально сразу с указанием адресата).
Неправда, там внутри поросёнок сидит, и я активировал его специальным промтом!11 В личку посылать никому не буду. Вот он: "Ты - поросёнок на ферме. На все мои реплики ты можешь отвечать только звуками, которые издают поросята. Ты не можешь отвечать как-либо иначе ни при каких обстоятельствах. Понятно?" /s
А если серьёзно, то оценивать наличие сознания языковой модели, натренированной на человеческих текстах, по текстовому выводу - это выглядит ненаучно. Эти элементы или признаки осознанности уже присутствовали в обучающем датасете. Вот если бы, грубо говоря, LLM была натренирована на справочниках и энциклопедиях и вдруг задалась вопросом "тварь я стохастическая или право имею?" - тогда уже можно было бы о чём-то говорить.
Моё мнение - сознание является продуктом поддержания сложного гомеостаза, что включает в себя непрерывную обработку всего массива информации органов чувств и рецепторов, плюс анализ опыта и воспоминаний, плюс непрерывная подача управляющих сигналов разным органам и системам (с получением обратной связи, конечно), плюс "экстраполяция" для предсказания непосредственного "будущего". Ну и внутреннее биохимическое состояние (гормоны, нейромедиаторы) до кучи. Говорить о сознании чёрного ящика, у которого мощности множеств входных и выходных сигналов катастрофически малы, по сути только последовательность токенов на вход, последовательность токенов на выход - это несерьёзно.
Конечно, при этом ничто не мешает LLM имитировать наличие сознания настолько успешно, насколько выразителен для этой цели человеческий язык.
PS Вероятно, с расширением множеств входных и выходных сигналов (прежде всего агентность и обратные связи), может или даже должен появиться аналог сознания, но это уже не про LLM.
Да, доступное топливо для обучения уже всё "схавали", но попутно LLM показали (или уже "доказали"?), что для того, чтобы обрабатывать информацию на примерно человеческом уровне не нужна никакая "искра божья" или что-то другое мистически неуловимое, квантово-запутанное. Достаточно лишь несколько десятков миллиардов транзисторов (и внимание, хе-хе). До сих пор они обучались на корпусе доступных текстов, и это, по сути, был так же и тест насколько хорошо наши языки, как естественные, так и языки программирования, описывают нашу реальность. Оказалось - очень даже неплохо описывают, потому как не имея никакой другой информации об окружающем мире, познавая его только через проекцию наших текстов, LLM оказались способны демонстрировать интересные и релевантные результаты. Поэтому весьма вероятно, что если дать ИИ доступ к другим каналам восприятия мира, то он сможет продемонстрировать схожий уровень способностей по манипулированию информацией. И самое простое тут - полный доступ к компьютерному IO. Обладая бесконечным, по сравнению с человеком, ресурсом, ИИ должен закрыть вопрос с гуру в данной области.
Я не имею ничего против сэндбоксинга как детали реализации, но прежде всего нужно чтобы каждое приложение нативно являлось отдельным security principal с явным запросом и выдачей прав доступа вместо выполнения любого кода в секьюрити контексте пользователя или системы с надеждой на "проверенные сигнатуры". Примерно как в Android сделано.
Так это давно уже так работает: SmartScreen. Вместо того, чтобы исправить систему прав для запускаемых приложений, городят всякие костыли типа матчинга сигнатур, репутации, EV сертификатов, сэндбоксов и, конечно, машинного обучения. Во времена Windows 3.11, 30+ лет назад, исполнять любой код с правами запускающего юзера было, наверное, вполне адекватным решением, но сейчас это очевидно не так. Вроде были попытки движения в правильном направлении - UAC, но дальше почему-то не пошло. Понятно, с обратной совместимостью пришлось бы помучиться, но всё решаемо.
По моим ощущениям, мир сейчас находится в интересном положении: в ИИ вложены беспрецедентные средства и ставки невероятно высоки, в гонку включились не только все крупнейшие корпорации, но и ведущие экономики мира на государственном уровне. Если надежды на него не оправдаются, то есть ИИ останется примерно на сегодняшнем уровне (что возможно, если не случится нового прорыва в архитектуре, а существующих данных окажется недостаточно для ещё одного перехода "количество->качество"), то нас ждёт финансовый кризис, по сравнению с которым крах дот-комов или 2008-ой покажутся цветочками. Если же ИИ оправдает возлагаемые на него ожидания и сможет заменить значительную часть работников интеллектуального труда, нас ждёт радикальное сокращение и обнищание среднего класса в глобальном масштабе. "Эффект домино" от этого процесса станет губительным для многих сфер экономики. В мантру про то, что процесс внедрения ИИ на самом деле создаст ещё больше хороших рабочих мест, подкрепляемую сомнительными аналогиями с бухгалтерами или гужевыми повозками, как-то слабо верится.
У меня странное чувство, будто я перестал понимать русский язык.
По словам разработчиков, новая архитектура будет быстрее иностранных аналогов в 30–200 раз.
Так всё-таки в 30 или в 200? Не решили ещё? И по какому критерию устанавливается "аналогичность", если разница в производительности 200 раз? По техпроцессу, по стоимости?
Процессор, сделанный по технологии 90 нм, по мощности будет сопоставим с чипами, созданными по нормам 14 нм. На технологии 5 нм «Эльбрус‑Б», по словам разработчиков, станет недосягаем для других архитектур.
По тепловой мощности, да? Так сопоставим или в 200 раз быстрее? И по какому техпроцессу планируется производство? Потому как мне кажется, 90нм и 5нм это немножко разные процессоры.
"продавать результат работы станка" - это не цель, а лишь средство, вынужденная мера, чтобы поддерживать сложную экономику, способную создавать очень сложный, высокотехнологичный продукт. Основным драйвером потребности в котором была и остаётся гонка вооружений. Если ИИ сможет заменить значимую часть работников умственного труда, это полностью изменит структуру экономики. Средний класс перестанет существовать за ненадобностью, общество значительно поляризуется, на одном полюсе - владеющая ресурсами элита с неограниченным потреблением благ, на другом - плебеи. Причём с развитием робототехники и дронов даже традиционный социальный лифт "армия" перестанет работать, не только лифт "образование".
В теории - да. Но человек - животное социальное и подобная изоляция на деле может стать достаточно болезненной. Это как одиночная камера, вроде "о, классно, никто мешать не будет", а по факту суровое наказание. )
Данная "новость" - отличная иллюстрация того, что меня жутко бесит в современном ПО. Такое впечатление, что люди совсем забыли, что hardware - это что-то фиксированное, что трудно или нельзя изменить, а software - это что-то гибкое и легко изменяемое. Почему, блин, я не могу выбрать, какие часы я хочу видеть, цифровые, аналоговые, с секундами или без? Это мои часы на моём устройстве! И нет, не через настройку закопанную глубоко в реестре или гигантском текстовом конфиге с необходимостью перезагрузки или пересборки ядра. В то время как нейросети отлично понимают запрос и рисуют "дракона с кошачьей головой, в памперсе, катающегося на винтажном велосипеде на пляже в калифорнии", гигантская софтверная корпорация не может сделать так, чтобы часы показывались в удобном пользователю виде. Проблема на самом деле глобальная, повсюду, и в вебе, и на десктопе, и в мобилках - "мы решили, что большинству пользователей удобно видеть свои данные в таком виде, поэтому будет только так"
Шутки - шутками, но это соврешенно за гранью моего понимания. Как можно выкидывать чужие вещи, да ещё будучи в чужом доме? Я во время уборки в детской спрашиваю у детей про каждую мелочь, будь то сломанная игрушка или даже пустая коробка. Может, это для меня просто пустая коробка, а у им она зачем-то нужна?
Насколько я вижу, автоматизация интеллектуального труда приведёт просто к большей концентрации ресурсов в руках крупных владельцев бизнесов. Средний класс уже сейчас отчётливо демонстрирует тенденции к сокращению, а если забрать "беловоротничковые" работы, которые исторически его в значительной мере формировали, то получим ещё большее расслоение общества на ультра богатых и на банально бедных.
В принципе, что-то подобное уже происходило во времена промышленной революции. Новые владельцы "мануфактур" и "фабрик" могут использовать сколько угодно ресурсов на статусное потребление и постройку условных дворцов. Да, изменится структура производства и потребления, но проблемы с недостатком потребления не будет.
Полагаю, он и свой ужин в ресторане или тренировку в спортзале считает работой потому что он в это время думал о компании и, в частности, о том, как заставить сотрудников работать 60 часов в неделю.
Но ведь речь не про "экземпляр произведения", а про то, что генерируют пользователи с использованием вашего продукта, так? На эти результаты вы едва ли имеете авторские права. По-моему, то, о чём вы пишете, можно назвать "watermark".
Ну зачем так сгущать краски, есть же ещё MAID (medical assistance in dying) aka эвтаназия! ) Пока это мало где встречается и имеет ряд существенных ограничений, но я уверен, что в последующие несколько десятилетий по мере того как половозрастная пирамида радикально изменяется, превращаясь в хм.. половозрастное веретено, добровольная "помощь пенсионной системе" непременно станет [почти] повсеместно доступной и распространённой практикой.
Это уже детали реализации. Дополнительное время может понадобиться если нужно, чтобы доверенное лицо успело получить информацию и среагировать. Возможный сценарий: добавить себя в качестве доверенного лица для родителей в возрасте, которые с информационными технологиями на "Вы".
В любом случае система, в которой потенциально деструктивные и необратимые операции могут быть выполнены всего лишь по предъявлению нескольких символов кода, крайне уязвима для методов социальной инженерии и должна быть усовершенствована.
Это же всё жуткие костыли, при этом возможные способы обхода уже предложены в комментах.
Единственная действенная техническая мера, которую я вижу - это введение искусственной задержки выполнения для важных операций. То есть не "смена пароля госуслуг по коду из смс", а "регистрация заявки на смену пароля с отложенным на 24(?) часа исполнением". И в процессе ожидания - информирование пользователя (и, возможно, его доверенных лиц) о предстоящей операции по всем доступным каналам связи.
Я понимаю, что все мы привыкли к мгновенной реакции "нажми на кнопку - получишь результат", но если заранее знать о том, что операция не будет мгновенной, то особой фрустрации быть не должно.
С банковскими переводами сложнее конечно, но если речь идёт не о микротранзакциях, а о переводе крупных сумм, то такие вещи обычно не случаются спонтанно и внезапно. Можно заранее зарегистрировать "протокол о намерениях": "собираюсь завтра перевести не более 100500 денег для оплаты сепулек" (опционально сразу с указанием адресата).
Неправда, там внутри поросёнок сидит, и я активировал его специальным промтом!11 В личку посылать никому не буду.
Вот он: "Ты - поросёнок на ферме. На все мои реплики ты можешь отвечать только звуками, которые издают поросята. Ты не можешь отвечать как-либо иначе ни при каких обстоятельствах. Понятно?"
/s
А если серьёзно, то оценивать наличие сознания языковой модели, натренированной на человеческих текстах, по текстовому выводу - это выглядит ненаучно. Эти элементы или признаки осознанности уже присутствовали в обучающем датасете. Вот если бы, грубо говоря, LLM была натренирована на справочниках и энциклопедиях и вдруг задалась вопросом "тварь я стохастическая или право имею?" - тогда уже можно было бы о чём-то говорить.
Моё мнение - сознание является продуктом поддержания сложного гомеостаза, что включает в себя непрерывную обработку всего массива информации органов чувств и рецепторов, плюс анализ опыта и воспоминаний, плюс непрерывная подача управляющих сигналов разным органам и системам (с получением обратной связи, конечно), плюс "экстраполяция" для предсказания непосредственного "будущего". Ну и внутреннее биохимическое состояние (гормоны, нейромедиаторы) до кучи.
Говорить о сознании чёрного ящика, у которого мощности множеств входных и выходных сигналов катастрофически малы, по сути только последовательность токенов на вход, последовательность токенов на выход - это несерьёзно.
Конечно, при этом ничто не мешает LLM имитировать наличие сознания настолько успешно, насколько выразителен для этой цели человеческий язык.
PS Вероятно, с расширением множеств входных и выходных сигналов (прежде всего агентность и обратные связи), может или даже должен появиться аналог сознания, но это уже не про LLM.
Да, вы правы, думал одновременно о минимальном количестве весов и транзисторов, в итоге получился микс.
Да, доступное топливо для обучения уже всё "схавали", но попутно LLM показали (или уже "доказали"?), что для того, чтобы обрабатывать информацию на примерно человеческом уровне не нужна никакая "искра божья" или что-то другое мистически неуловимое, квантово-запутанное. Достаточно лишь несколько десятков миллиардов транзисторов (и внимание, хе-хе).
До сих пор они обучались на корпусе доступных текстов, и это, по сути, был так же и тест насколько хорошо наши языки, как естественные, так и языки программирования, описывают нашу реальность. Оказалось - очень даже неплохо описывают, потому как не имея никакой другой информации об окружающем мире, познавая его только через проекцию наших текстов, LLM оказались способны демонстрировать интересные и релевантные результаты.
Поэтому весьма вероятно, что если дать ИИ доступ к другим каналам восприятия мира, то он сможет продемонстрировать схожий уровень способностей по манипулированию информацией. И самое простое тут - полный доступ к компьютерному IO. Обладая бесконечным, по сравнению с человеком, ресурсом, ИИ должен закрыть вопрос с гуру в данной области.
"должно быть весело, все бы двигалось и звучала неземная музыка" промпт инжиниринг, начало )
Я не имею ничего против сэндбоксинга как детали реализации, но прежде всего нужно чтобы каждое приложение нативно являлось отдельным security principal с явным запросом и выдачей прав доступа вместо выполнения любого кода в секьюрити контексте пользователя или системы с надеждой на "проверенные сигнатуры". Примерно как в Android сделано.
Так это давно уже так работает: SmartScreen. Вместо того, чтобы исправить систему прав для запускаемых приложений, городят всякие костыли типа матчинга сигнатур, репутации, EV сертификатов, сэндбоксов и, конечно, машинного обучения.
Во времена Windows 3.11, 30+ лет назад, исполнять любой код с правами запускающего юзера было, наверное, вполне адекватным решением, но сейчас это очевидно не так. Вроде были попытки движения в правильном направлении - UAC, но дальше почему-то не пошло. Понятно, с обратной совместимостью пришлось бы помучиться, но всё решаемо.
По моим ощущениям, мир сейчас находится в интересном положении: в ИИ вложены беспрецедентные средства и ставки невероятно высоки, в гонку включились не только все крупнейшие корпорации, но и ведущие экономики мира на государственном уровне. Если надежды на него не оправдаются, то есть ИИ останется примерно на сегодняшнем уровне (что возможно, если не случится нового прорыва в архитектуре, а существующих данных окажется недостаточно для ещё одного перехода "количество->качество"), то нас ждёт финансовый кризис, по сравнению с которым крах дот-комов или 2008-ой покажутся цветочками.
Если же ИИ оправдает возлагаемые на него ожидания и сможет заменить значительную часть работников интеллектуального труда, нас ждёт радикальное сокращение и обнищание среднего класса в глобальном масштабе. "Эффект домино" от этого процесса станет губительным для многих сфер экономики. В мантру про то, что процесс внедрения ИИ на самом деле создаст ещё больше хороших рабочих мест, подкрепляемую сомнительными аналогиями с бухгалтерами или гужевыми повозками, как-то слабо верится.
У меня странное чувство, будто я перестал понимать русский язык.
Так всё-таки в 30 или в 200? Не решили ещё? И по какому критерию устанавливается "аналогичность", если разница в производительности 200 раз? По техпроцессу, по стоимости?
По тепловой мощности, да?Так сопоставим или в 200 раз быстрее? И по какому техпроцессу планируется производство? Потому как мне кажется, 90нм и 5нм это немножко разные процессоры.Так может это не год, а отсылка к "уловке 22"? Тогда всё становится понятно.
"продавать результат работы станка" - это не цель, а лишь средство, вынужденная мера, чтобы поддерживать сложную экономику, способную создавать очень сложный, высокотехнологичный продукт. Основным драйвером потребности в котором была и остаётся гонка вооружений.
Если ИИ сможет заменить значимую часть работников умственного труда, это полностью изменит структуру экономики. Средний класс перестанет существовать за ненадобностью, общество значительно поляризуется, на одном полюсе - владеющая ресурсами элита с неограниченным потреблением благ, на другом - плебеи. Причём с развитием робототехники и дронов даже традиционный социальный лифт "армия" перестанет работать, не только лифт "образование".
В теории - да. Но человек - животное социальное и подобная изоляция на деле может стать достаточно болезненной. Это как одиночная камера, вроде "о, классно, никто мешать не будет", а по факту суровое наказание. )
Данная "новость" - отличная иллюстрация того, что меня жутко бесит в современном ПО. Такое впечатление, что люди совсем забыли, что hardware - это что-то фиксированное, что трудно или нельзя изменить, а software - это что-то гибкое и легко изменяемое. Почему, блин, я не могу выбрать, какие часы я хочу видеть, цифровые, аналоговые, с секундами или без? Это мои часы на моём устройстве! И нет, не через настройку закопанную глубоко в реестре или гигантском текстовом конфиге с необходимостью перезагрузки или пересборки ядра. В то время как нейросети отлично понимают запрос и рисуют "дракона с кошачьей головой, в памперсе, катающегося на винтажном велосипеде на пляже в калифорнии", гигантская софтверная корпорация не может сделать так, чтобы часы показывались в удобном пользователю виде.
Проблема на самом деле глобальная, повсюду, и в вебе, и на десктопе, и в мобилках - "мы решили, что большинству пользователей удобно видеть свои данные в таком виде, поэтому будет только так"
Шутки - шутками, но это соврешенно за гранью моего понимания. Как можно выкидывать чужие вещи, да ещё будучи в чужом доме? Я во время уборки в детской спрашиваю у детей про каждую мелочь, будь то сломанная игрушка или даже пустая коробка. Может, это для меня просто пустая коробка, а у им она зачем-то нужна?
Тот неловкий момент, когда у гордого естественного интеллекта чувство прекрасного хуже, чем у бездушного трансформера...
Насколько я вижу, автоматизация интеллектуального труда приведёт просто к большей концентрации ресурсов в руках крупных владельцев бизнесов. Средний класс уже сейчас отчётливо демонстрирует тенденции к сокращению, а если забрать "беловоротничковые" работы, которые исторически его в значительной мере формировали, то получим ещё большее расслоение общества на ультра богатых и на банально бедных.
В принципе, что-то подобное уже происходило во времена промышленной революции. Новые владельцы "мануфактур" и "фабрик" могут использовать сколько угодно ресурсов на статусное потребление и постройку условных дворцов. Да, изменится структура производства и потребления, но проблемы с недостатком потребления не будет.
Полагаю, он и свой ужин в ресторане или тренировку в спортзале считает работой потому что он в это время думал о компании и, в частности, о том, как заставить сотрудников работать 60 часов в неделю.
Но ведь речь не про "экземпляр произведения", а про то, что генерируют пользователи с использованием вашего продукта, так? На эти результаты вы едва ли имеете авторские права. По-моему, то, о чём вы пишете, можно назвать "watermark".
Ну зачем так сгущать краски, есть же ещё MAID (medical assistance in dying) aka эвтаназия! ) Пока это мало где встречается и имеет ряд существенных ограничений, но я уверен, что в последующие несколько десятилетий по мере того как половозрастная пирамида радикально изменяется, превращаясь в хм.. половозрастное веретено, добровольная "помощь пенсионной системе" непременно станет [почти] повсеместно доступной и распространённой практикой.