Видите ли в чем дело... Контент, который вы потребляете, он как бы денег стоит. :) И не маленьких. Эти затраты кто-то должен компенсировать. Если вы хотите, что бы все было честно, без воровства - купите подписку на нэтфликс. Или что там еще. Если вы потребляете контент бесплатно, значит за него заплатил кто-то другой. И сделал он это не по доброте душевной, а потому, что ему это выгодно...
Проблема в том, что если реклама не таргетированная, это невыгодно никому: вас она бесит, тот, кто ее заказал не получает желаемой конверсии, канал имеет двух недовольных клиентов: вас и заказчика рекламы. Поэтому в схему включается четвертый игрок: продавец телевизоров! Он собирает обезличенную статистику и предоставляет данные о том, что вам скорее всего зайдет... )
В итоге вы не платите за контент и видите рекламу того, что вам интересно и в идеале даже не очень раздражает, а может даже и идете к продавцу рекламируемого товара за покупкой, продавец довольный этим обстоятельством оплачивает вам контент. Канал имеет двух довольных клиентов. Win-Win!
Это все конечно очень увлекательно, но складывается ощущение, что из-за этого теперь срывается отборочный этап олимпиады по Scratch (Должен был быть в эту субботу в Ногинске по Подмосковью). Как теперь объяснить ребенку, почему гон никуда не едет? Потому, что взрослые - дураки?
Мне всегда вспоминается анекдот: "Мужик заходит к приятелю и видит, что тот играет в шахматы со своей собакой. — Какая умная собака! — Умная? Да я веду со счетом 3:2!" 😅
Вы сейчас рассказываете, что долго БЕСЕДОВАЛИ с машиной, и сетуете, что у нее "так себе с воображением"! 🤦♂️
Так-то оно так, но не совсем. ;) Майнеры (либо холдеры в случае PoS) - косвенный показатель интереса к конкретному токену/коину. Если их мало, это значит мало и транзакций и вообще "жизни нет". Ну и про атаку 51 забывать не стоит...
В статье 273 есть несколько ключевых слов на которые закрывают глаза. Во-первых, это "заведомо предназначенных", во-вторых "несанкционированного". По-хорошему, нужно доказать, именно "заведомость", что в данном случае видимо подразумевалось в части обвинения про " risk=3 и level=5", а главное - "несанкционированность"! Как доказать, что данный софт не предназначен для честного пен-теста, а предназначен для взлома? Как-бы формулировка не предусматривает, что программа "может быть использована", должно быть очевидно, что она заведомо для этого предназначена. В кино хороший адвокат сыграл бы на этом и все кончилось бы хорошо... Но мы не в кино.
А почему все-таки такой странный способ монетизации? Карты на часах такая вещь, которая может понадобится раз-другой, а может вообще не понадобится... Странно покупать подписку и продолжать ее платить, не пользуясь приложением. Вроде кейс купил и забыл, пока не понадобилась - более нативный.
Мне нравятся ваши статьи - для начинающих самое то. Но любите вы ввернуть что-то от себя! Откуда инфа, что низкий лернинг рейт - риск оверфита? Пруф есть?
Я не особо эксперт, но лернинг рейт это шаг уменьшения весов в сторону локального минимума. Если модель склонна к переобучению и локальный минимум по сути просто является выбросом - гипотетически может получится так, что чуть больший lr не даст ей переобучится. Но точно так же он не даст ей достичь и правильного локального минимума! Есть общепринятые методы борьбы с оверфитом: регуляризация, усреднение по минибатчу, аугментация… но lr подбирается под конеретную ситуацию и почти никогда не вредно сделать его еще меньше! Иногда на пару порядков (если можешь себе позволить долгое обучение и/или модель уже на этапе доводки, а не с рандомной инициализации стартует).
Вы же для новичков пишете! Они ж так и запомнят: низкий lr = оверфит = нельзя… не надо так.
Разум работает на улучшение решений в будущем, поэтому анализировать свершенные выборы бесполезно — там нет воли, но там вообще ничего нет, оно уже ушло.
А я бы поспорил... ) Будущее - это то, каким мир должен быть в нашем представлении, то, к чему мы стремимся. И это будущее достаточно сильно фиксировано (хотя конечно периодически корректируется). Прошлое же мы постоянно уточняем: большая часть усваиваемой нами информации, это сведение о том, что произошло, причем, иногда достаточно давно...
>>> но анализ AGI выявит в ней уязвимости с доступом к реальности.
Еще раз: какой у персонажа компьютерной игры доступ к реальности? Помимо гипотетической внушаемости неких "наблюдателей", коих в пределе может и не быть! Ну раз уж мы обсуждаем пусть гипотетический, но строгий умозрительный эксперимент - как вы это себе представляете?
>>> решения, найденные AGI и примененные в реальности, вызовут негативные последствия-немедленные или отложенные.
Воот... Это гораздо более вероятно. Но это при условии, что AGI в симуляции продвинулся настолько, что мы не можем валидировать его стратегию, не можем достаточно адекватно оценить/просчитать и просто тупо воспроизводим. Не могу пока понять, насколько это реально. Но предполагаю, что если это что-то из физики частиц или каких-то полей - такое й принципе возможно. Но это вроде бы не намного более рискованно, как если бы AGI Проводил подобные эксперименты в реале.
Ну... Я вам оппонирую, не потому, что в области нейросетей нет проблем и все это надумано. Статья хорошая, много правильного, и проблемы поднятые имеют место быть. Я оппонирую потому, что в том виде, как проблемы сформулированы - они порождают у массы людей ощущение того, что ИНС - тупик и надо "копать в другую сторону". ;)
Факт: нейросети плохо "дообучаются". Это действительно так. Catastrophic forgetting. Но... Эту проблему, как минимум частично можно решить, если новыми данными дополнять один большой датасет и/или брать новые и старые данные в какой-то пропорции. При этом то, что человек, дескать хорошо обучается на малых данных - это не правда. Человек это сильно предобученная система, которая в основном использует именно зеро-шот в задачах, которые решает сразу (кто-бы что не говорил, но формирование новых нейронных связей - процесс очень небыстрый). Сети на примере GPT (а последнее время, стало модно называть примеры в промте - few-shot) тоже так могут.
Факт: Нейросети путаются на тех картинках, на которых человек никогда не запутался бы. Да, и что? Это значит, что сети у нас в голове и ИНС устроены, а главное обучаются сильно по-разному! Но и две разных сети, например какой-нить AlexNet и современный ViT точно так же отличаются друг от друга (будут подвержены разным adversarial-атакам). Важно не то, чем отличаемся, а чем похожи. А похожи тем, что и для нас существует свои adversarial. Полагаю, это значит, что можно подобрать такие архитектуры/методики обучения, которые сведут "путаницу" к допустимому минимуму.
Факт: Сети обученные на одном домене плохо переносятся на другой. Да. А если сеть обучена на многих доменах? ;) Что, как правило верно для человека... То расклад уже немного другой. Если вы возьмете снимки из 10 больниц, то 11 скорее всего зайдет без проблем. Человек тоже учится всему-чему-только-можно и именно этим определяется его высокая адаптивность.
>>> Но на данный момент у нас нет возможности обучить нейросеть на таком количестве данных.
Ну почему же... И датасеты появляются все интереснее. И не столь важно количество данных (хотя все же важно), сколько их... Полнота, что ли. Что бы по возможности вообще убрать такое понятие, как "домен"... Но это отдельная и долгая история! ;)
>>> Например, нейросеть, которая отлично распознает лица европейцев, будет плохо работать на лицах людей из Африки… Для человека проблемы domain shift практически не стоит…
Серьезно? Вы считаете, что настолько же хорошо различаете чернокожих или, скажем, азиатов, как европейцев (при условии, что живете среди европецев)? Вы сильно заблуждаетесь, либо где-то уникальны. Среднестатистическому европейцу «китайцы все на одно лицо».
>>> Даже самое малое изменение картинки, малое добавление шума может сильно изменить ответ нейросети. Посмотрим, например, на две картинки ниже.
Шум подбирается специально через бекпроп под конкретную архитектуру. Не факт, что для сетки у вас в голове нельзя подобрать такой же. )) Впрочем, в основном такие атаки актуальны для чистых конволюционнок, с современными архитектурами вроде не очень актуально.
>>> При малом количестве обучающих данных нейросети переобучаются. Человек же может обучиться под новую задачу на основе ограниченного опыта.
Вы путаете обучение (изменение весов) и иференс! ) Человек на малом количестве опыта не обучается, а использует те репрезентации, которые есть. Современные нейросети тоже так умеют (зерошот). Обучение у человека организовано иначе, но его можно «эмулировать», если не дообучать на малом, а дополнять «датасет» и дообучать на полном… Предположительно. Там тоже не все просто — проблема дообучения актуальна, но… Блин, не правильно ее иллюстрировать сравнивая обучение сети на малом наборе данных и человека, который первый раз видит какую-то задачу и быстро ей «научается». Корректнее сравнение с GPT, которой в промте дается пример того, что нужно сделать. Но в этом примере человек и нейросеть практически идентичны.
За структуру…
В современных нейросетях все больше разговоров за всевозможные латентные пространства. Они многомерны. Знаменитый пример world2vec: «king-man+woman=queen»(в векторном виде), или тот же самый фокус для FaceNet с очками показывает, что в этом векторном представлении могут содержаться довольно разнообразные структурные компоненты… Главный вопрос — как сделать так, что бы эта структура в конечном итоге соответствовала нашей. Есть мнение, что только если датасетом будет сама жизнь. )
Вот вы вроде инженер же, а оцениваете прогресс как обыватель. )) Айфон — это маркетинг, а не прогресс.
Сравните технологии производства чипов и прогресс за эти 26 лет, например. Вот неплохой обзорчик. Я думаю можно привести много примеров из других областей, что бы понять, что прогресс с повсеместным распространением компьютеров значительно ускорился.
Но в чем-то вы правы. Он ускорился за счет переложения части функционала на электронные системы, что возможно несколько изменило общий «интеллектуальный профиль» инженера. Но насколько это плохо для прогресса — вопрос. Порог вхождения, время, необходимое для подготовки специалиста, а так же период его продуктивности — критические параметры для прогресса в целом. Да, есть вероятность, что современный инженер менее глубоко понимает какие-то аспекты и нюансы, но зато за счет автоматизации он может проверить полсотни гипотез за час, автоматически или полуавтоматически подобрать параметры сложной модели, запустить симуляцию в конце-концов!
Я уверен, что были обвинения справочникам, что они расхолаживают, мол раньше все нужное в голове держали, или калькуляторам, что люди считать разучились. ;)
Я хорошо понимаю о чем вы: я сам, к примеру, плохо себе представляю разработку больше 100 строк кода без google под боком, но… Не вполне уверен, что это так уж плохо! Ресурс мозга тоже не бесконечен, и возможно перекладывая часть функций на компьютеры, мы эти ресурсы высвобождаем.
Я не говорю, что проблема именно и только в российском происхождении. Скорее стечение факторов. Но учитывая паранойю про русских хакеров, компания из России, разрабатывающая мультитул для "хаккеров"... Ну, закономерно, что они решили перебдеть. ;)
Удивляет что среди всех комментариев нет ни одного (или я не внимательно читал?), предполагающего, что проблема в российском происхождении бизнеса. Что компания зарегистрирована в штатах, не отменяет того факта, что основатель и большая часть команды - россияне. Логично предположить, что подобная компания в текущих реалиях, занимающаяся разработкой хакерских примочек - первая в очереди. С учетом повсеместной "отмены" всего российского...
Да уж... Вышло максимально хардкорно - что есть то есть.
Липкие памяти? Серьезно? Блин, sticky memories - это желтенькие бумажки, напоминалки, который на монитор клеят!
Функцией ядра вы я так понимаю radial basis functions (RBFs) назвали?
Тот случай, когда лучше оригинальный текст через гугл транслейт переводить, чем так.
Видите ли в чем дело... Контент, который вы потребляете, он как бы денег стоит. :) И не маленьких. Эти затраты кто-то должен компенсировать. Если вы хотите, что бы все было честно, без воровства - купите подписку на нэтфликс. Или что там еще. Если вы потребляете контент бесплатно, значит за него заплатил кто-то другой. И сделал он это не по доброте душевной, а потому, что ему это выгодно...
Проблема в том, что если реклама не таргетированная, это невыгодно никому: вас она бесит, тот, кто ее заказал не получает желаемой конверсии, канал имеет двух недовольных клиентов: вас и заказчика рекламы. Поэтому в схему включается четвертый игрок: продавец телевизоров! Он собирает обезличенную статистику и предоставляет данные о том, что вам скорее всего зайдет... )
В итоге вы не платите за контент и видите рекламу того, что вам интересно и в идеале даже не очень раздражает, а может даже и идете к продавцу рекламируемого товара за покупкой, продавец довольный этим обстоятельством оплачивает вам контент. Канал имеет двух довольных клиентов. Win-Win!
Это все конечно очень увлекательно, но складывается ощущение, что из-за этого теперь срывается отборочный этап олимпиады по Scratch (Должен был быть в эту субботу в Ногинске по Подмосковью). Как теперь объяснить ребенку, почему гон никуда не едет? Потому, что взрослые - дураки?
Отнюдь!
Скрытые состояния так же проходят через стопку слоев и ничего там не замораживается, с чего вы взяли?
Стесняюсь спросить: а почему LSTM однослойный? )) Возьмем к примеру, торч: https://pytorch.org/docs/stable/generated/torch.nn.LSTM.html - третий параметр, num_layers...
Мне всегда вспоминается анекдот: "Мужик заходит к приятелю и видит, что тот играет в шахматы со своей собакой. — Какая умная собака! — Умная? Да я веду со счетом 3:2!" 😅
Вы сейчас рассказываете, что долго БЕСЕДОВАЛИ с машиной, и сетуете, что у нее "так себе с воображением"! 🤦♂️
>>> Половина белых воротничков переучиваются на синие?
Синие тоже не в безопасности
Так-то оно так, но не совсем. ;) Майнеры (либо холдеры в случае PoS) - косвенный показатель интереса к конкретному токену/коину. Если их мало, это значит мало и транзакций и вообще "жизни нет". Ну и про атаку 51 забывать не стоит...
В статье 273 есть несколько ключевых слов на которые закрывают глаза. Во-первых, это "заведомо предназначенных", во-вторых "несанкционированного". По-хорошему, нужно доказать, именно "заведомость", что в данном случае видимо подразумевалось в части обвинения про " risk=3 и level=5", а главное - "несанкционированность"! Как доказать, что данный софт не предназначен для честного пен-теста, а предназначен для взлома? Как-бы формулировка не предусматривает, что программа "может быть использована", должно быть очевидно, что она заведомо для этого предназначена. В кино хороший адвокат сыграл бы на этом и все кончилось бы хорошо... Но мы не в кино.
А почему все-таки такой странный способ монетизации? Карты на часах такая вещь, которая может понадобится раз-другой, а может вообще не понадобится... Странно покупать подписку и продолжать ее платить, не пользуясь приложением. Вроде кейс купил и забыл, пока не понадобилась - более нативный.
Мне нравятся ваши статьи - для начинающих самое то. Но любите вы ввернуть что-то от себя! Откуда инфа, что низкий лернинг рейт - риск оверфита? Пруф есть?
Я не особо эксперт, но лернинг рейт это шаг уменьшения весов в сторону локального минимума. Если модель склонна к переобучению и локальный минимум по сути просто является выбросом - гипотетически может получится так, что чуть больший lr не даст ей переобучится. Но точно так же он не даст ей достичь и правильного локального минимума! Есть общепринятые методы борьбы с оверфитом: регуляризация, усреднение по минибатчу, аугментация… но lr подбирается под конеретную ситуацию и почти никогда не вредно сделать его еще меньше! Иногда на пару порядков (если можешь себе позволить долгое обучение и/или модель уже на этапе доводки, а не с рандомной инициализации стартует).
Вы же для новичков пишете! Они ж так и запомнят: низкий lr = оверфит = нельзя… не надо так.
А я бы поспорил... ) Будущее - это то, каким мир должен быть в нашем представлении, то, к чему мы стремимся. И это будущее достаточно сильно фиксировано (хотя конечно периодически корректируется). Прошлое же мы постоянно уточняем: большая часть усваиваемой нами информации, это сведение о том, что произошло, причем, иногда достаточно давно...
>>> но анализ AGI выявит в ней уязвимости с доступом к реальности.
Еще раз: какой у персонажа компьютерной игры доступ к реальности? Помимо гипотетической внушаемости неких "наблюдателей", коих в пределе может и не быть! Ну раз уж мы обсуждаем пусть гипотетический, но строгий умозрительный эксперимент - как вы это себе представляете?
>>> решения, найденные AGI и примененные в реальности, вызовут негативные последствия-немедленные или отложенные.
Воот... Это гораздо более вероятно. Но это при условии, что AGI в симуляции продвинулся настолько, что мы не можем валидировать его стратегию, не можем достаточно адекватно оценить/просчитать и просто тупо воспроизводим. Не могу пока понять, насколько это реально. Но предполагаю, что если это что-то из физики частиц или каких-то полей - такое й принципе возможно. Но это вроде бы не намного более рискованно, как если бы AGI Проводил подобные эксперименты в реале.
Вот техники-то все и погубят! ) Читать «Конец Вечности» Айзека Азимова...
Ваши действия рассматриваются как нарушение протокола безопасности! Оставайтесь на месте к вам уже выехали! )))
Ну... Я вам оппонирую, не потому, что в области нейросетей нет проблем и все это надумано. Статья хорошая, много правильного, и проблемы поднятые имеют место быть. Я оппонирую потому, что в том виде, как проблемы сформулированы - они порождают у массы людей ощущение того, что ИНС - тупик и надо "копать в другую сторону". ;)
Факт: нейросети плохо "дообучаются". Это действительно так. Catastrophic forgetting. Но... Эту проблему, как минимум частично можно решить, если новыми данными дополнять один большой датасет и/или брать новые и старые данные в какой-то пропорции. При этом то, что человек, дескать хорошо обучается на малых данных - это не правда. Человек это сильно предобученная система, которая в основном использует именно зеро-шот в задачах, которые решает сразу (кто-бы что не говорил, но формирование новых нейронных связей - процесс очень небыстрый). Сети на примере GPT (а последнее время, стало модно называть примеры в промте - few-shot) тоже так могут.
Факт: Нейросети путаются на тех картинках, на которых человек никогда не запутался бы. Да, и что? Это значит, что сети у нас в голове и ИНС устроены, а главное обучаются сильно по-разному! Но и две разных сети, например какой-нить AlexNet и современный ViT точно так же отличаются друг от друга (будут подвержены разным adversarial-атакам). Важно не то, чем отличаемся, а чем похожи. А похожи тем, что и для нас существует свои adversarial. Полагаю, это значит, что можно подобрать такие архитектуры/методики обучения, которые сведут "путаницу" к допустимому минимуму.
Факт: Сети обученные на одном домене плохо переносятся на другой. Да. А если сеть обучена на многих доменах? ;) Что, как правило верно для человека... То расклад уже немного другой. Если вы возьмете снимки из 10 больниц, то 11 скорее всего зайдет без проблем. Человек тоже учится всему-чему-только-можно и именно этим определяется его высокая адаптивность.
>>> Но на данный момент у нас нет возможности обучить нейросеть на таком количестве данных.
Ну почему же... И датасеты появляются все интереснее. И не столь важно количество данных (хотя все же важно), сколько их... Полнота, что ли. Что бы по возможности вообще убрать такое понятие, как "домен"... Но это отдельная и долгая история! ;)
>>> Например, нейросеть, которая отлично распознает лица европейцев, будет плохо работать на лицах людей из Африки… Для человека проблемы domain shift практически не стоит…
Серьезно? Вы считаете, что настолько же хорошо различаете чернокожих или, скажем, азиатов, как европейцев (при условии, что живете среди европецев)? Вы сильно заблуждаетесь, либо где-то уникальны. Среднестатистическому европейцу «китайцы все на одно лицо».
>>> Даже самое малое изменение картинки, малое добавление шума может сильно изменить ответ нейросети. Посмотрим, например, на две картинки ниже.
Шум подбирается специально через бекпроп под конкретную архитектуру. Не факт, что для сетки у вас в голове нельзя подобрать такой же. )) Впрочем, в основном такие атаки актуальны для чистых конволюционнок, с современными архитектурами вроде не очень актуально.
>>> При малом количестве обучающих данных нейросети переобучаются. Человек же может обучиться под новую задачу на основе ограниченного опыта.
Вы путаете обучение (изменение весов) и иференс! ) Человек на малом количестве опыта не обучается, а использует те репрезентации, которые есть. Современные нейросети тоже так умеют (зерошот). Обучение у человека организовано иначе, но его можно «эмулировать», если не дообучать на малом, а дополнять «датасет» и дообучать на полном… Предположительно. Там тоже не все просто — проблема дообучения актуальна, но… Блин, не правильно ее иллюстрировать сравнивая обучение сети на малом наборе данных и человека, который первый раз видит какую-то задачу и быстро ей «научается». Корректнее сравнение с GPT, которой в промте дается пример того, что нужно сделать. Но в этом примере человек и нейросеть практически идентичны.
За структуру…
В современных нейросетях все больше разговоров за всевозможные латентные пространства. Они многомерны. Знаменитый пример world2vec: «king-man+woman=queen»(в векторном виде), или тот же самый фокус для FaceNet с очками показывает, что в этом векторном представлении могут содержаться довольно разнообразные структурные компоненты… Главный вопрос — как сделать так, что бы эта структура в конечном итоге соответствовала нашей. Есть мнение, что только если датасетом будет сама жизнь. )
Сравните технологии производства чипов и прогресс за эти 26 лет, например. Вот неплохой обзорчик. Я думаю можно привести много примеров из других областей, что бы понять, что прогресс с повсеместным распространением компьютеров значительно ускорился.
Но в чем-то вы правы. Он ускорился за счет переложения части функционала на электронные системы, что возможно несколько изменило общий «интеллектуальный профиль» инженера. Но насколько это плохо для прогресса — вопрос. Порог вхождения, время, необходимое для подготовки специалиста, а так же период его продуктивности — критические параметры для прогресса в целом. Да, есть вероятность, что современный инженер менее глубоко понимает какие-то аспекты и нюансы, но зато за счет автоматизации он может проверить полсотни гипотез за час, автоматически или полуавтоматически подобрать параметры сложной модели, запустить симуляцию в конце-концов!
Я уверен, что были обвинения справочникам, что они расхолаживают, мол раньше все нужное в голове держали, или калькуляторам, что люди считать разучились. ;)
Я хорошо понимаю о чем вы: я сам, к примеру, плохо себе представляю разработку больше 100 строк кода без google под боком, но… Не вполне уверен, что это так уж плохо! Ресурс мозга тоже не бесконечен, и возможно перекладывая часть функций на компьютеры, мы эти ресурсы высвобождаем.
Я не говорю, что проблема именно и только в российском происхождении. Скорее стечение факторов. Но учитывая паранойю про русских хакеров, компания из России, разрабатывающая мультитул для "хаккеров"... Ну, закономерно, что они решили перебдеть. ;)
Удивляет что среди всех комментариев нет ни одного (или я не внимательно читал?), предполагающего, что проблема в российском происхождении бизнеса. Что компания зарегистрирована в штатах, не отменяет того факта, что основатель и большая часть команды - россияне. Логично предположить, что подобная компания в текущих реалиях, занимающаяся разработкой хакерских примочек - первая в очереди. С учетом повсеместной "отмены" всего российского...