Так же как и имя, "пол" в плане стиля ответов будет зависеть от соотношения полов в данных на которых обучена сеть, от вопроса (если написать "знала ли ты об этом?" модель вероятнее всего выберет женскую роль для ответа), от контекста и от метода получения следующего слова (максимальная вероятность или выборка из распределения)
Про значимость имени согласен, но тут имя используется как частный случай для демонстрации того, что у модели нет собственной индивидуальности, потому что такая же ситуация возникает и по любому другому личному вопросу, ну вроде если спросить "любишь ли ты музыку?", то ответ будет исходить из того, как много людей в обучающем корпусе любит музыку, а не из того, что у модели сформировались реальные личные предпочтения. И точно также этот параметр можно будет менять контекстом.
После загрузки контейнера через указанный в репозитории скрипт pull и запуска его через run имеется папка workspace где в папке examples только набор стандартных примеров, а скриптов для запуска модели нет. Что я сделал неправильно?
Думаю смысл заключается в том, что надо сначала запустить контейнер а потом из него клонировать репозиторий и запускать модель, правильно? Хотелось бы инструкцию чуть подробнее, работа большая проделана вами, но последний шаг написания инструкции сильно увеличил бы ее ценность и доступность.
Единственный способ получить больше денег принеся меньше пользы это совершить мошенничество какого-либо вида — что ж, мошенничество должно быть наказуемым. Вы думаете что все (или хотя бы значимая часть) конкурентов — мошенники?
К сожалению, это не так. Простой пример - пластиковые пакеты. Людям они нравятся, удобнее купить пакет на кассе, чем ходить с сумкой. Бизнес их производит. Так же с одноразовой посудой и т.п. Но пользы для общества в целом это не приносит - мы уже имеем гигантские мусорные "острова" плавающего пластика. Мы все знаем, что люди мыслят не рационально и ставят краткосрочное удобство вперед долгосрочных проблем. Примеров подобных ситуаций тысячи.
Назовите любой другой способ количественно и децентрализованно определять полность чего-либо.
Отсутствие другого проверенного способа никак не доказывает, что существующий способ хороший и на него следует молится. Если мы видим проблемы, то нам следует думать, как их устранять, а не говорить, что других способов нет
Как уже показывал @0xd34df00d монополии в реальности не возникают, все ост-индские компании
Просмотрев все его статьи, не нашел, где там доказано, что монополии не вознкают. Ну и аргумент не серъезный, что кто-то про что-то давно писал. Монополии это явление, которое изучается экономической наукой давно и есть известные проблемы с этим связанные. Цифровые монополии это не классические монополии, но они все равно доминируют на рынке и могут навязывать свои правила. Ну и чисто на бытовом уровне, писали уже и про то, что в личный кабинет сотовых операторов невозможно войти не согласившись на передачу своих данных "партнерам", про маркетплейсы, которые массово отказываются продавать купленные товары по указанной цене (что не законно, но выгодно), про поисковики, которые свои сервисы ставят вперед всех остальных, тех. поддержку, до которой не добраться и которая отвечает формальными отписками, ну и это все верхушка айсберга. То, что некоторые большие компании иногда загибаются, и им на смену приходят другие бегемоты, ситуацию в целом не меняет.
Я скорее наоборот воспринимаю пропаганду работы на низкомаржинальном бизнесе как промывание мозгов руководством с целью скрыть свою неэффективность и нежелание что-либо менять.
Многие маленькие компании на самом деле более эффективные, чем большие, но им не по силам тягаться с большими монстрами, монстр может быть неэффективен в плане организации работы, но в силу размера денег у него больше. Он может сделать зарплаты выше рынка в убыток себе на достаточно длительное время, переманить хороших специалистов и таким образом уничтожить потенциальных будущих конкурентов на корню. Или поставить ссылку на свой новый сервис на главную страницу свою и получить сто тысяч пользователей бесплатно, а мелкого конкурента за то же самое брать миллион денег. Честная конкуренция только в книжках существует.
Неправильно путать полезность для общества и готовность людей платить деньги. Люди часто готовы платить деньги за бесполезные вещи (например NFT со ссылкой на изображение ёжика, неэффективные БАДы и т.п.). И с другой стороны не готовы платить деньги за общественно полезные вещи (переработка отходов, другие экологическе проекты). Поэтому перемещение программистов в области с высокой марджинальностью нельзя автоматически считать равным их перемещению в полезные для общества проекты. Вполне возможно, что в результате будут уничтожены предприятия делающие полезные, но менее хайповые вещи.
Кроме того, надо учитывать, что программисты часто перемещаются в крупные компании, которые могут за счёт своего размера развивать и вовсе убыточные проекты (типа экосистемы Сбера, которая сейчас убыточна), но при этом эти компании могут платить программистам намного больше, чем маленькая фирма, которая убыточные проекты не потянет. В краткосрочной перспективе это радует нас высокими зарплатами, а в долгосрочной может привести к монополизации рынка, исчезновению маленьких компаний. А монополии уже могут диктовать пользователям невыгодные условия, предоставлять плохой сервис, завышать цены, заставлять подписываться на ненужные услуги и делать прочие плохие вещи, которые всем нам хорошо знакомы.
Картинка, которую вы тут назвали "смоделированная сфера, которая должна напоминать по свойствам пузырь Алькубьерре." на самом деле вообще не про это. Дело в том, что в статье Уайт с соавторами сначала приводят свой новый метод расчетов. Для валидации метода они сравнивают его результаты с известным решением задачи для случая плоскости и сферы. И именно этот случай показан на картинке, которая тут обозвана "сферой напоминающей пузырь Алькубьерре". Собственно про пузырь в статье уже идёт дальше.
Поэтому хочу сказать вот что. Я плохо понимаю данную область физики, но этот момент из статьи Уайта уловил. А вы берётесь критиковать Уайта, при этом в содержание его статьи изложено с серьезными ошибками. Я ожидал как-то увидеть реальный разбор в чем Уайт не прав. Да, он странный персонаж, и автор сомнительного изобретения, но это не даёт права критики опускаться на ещё более поверхностный научный уровень. К сожалению, в последнее время вижу на Хабре много популярных научных статей с явными ошибками такого рода.
Почти все задачи (некоторые считают, что вообще все) можно свести к задаче предсказания слова. Например, так: «X и Y это противоречие, да или нет? Ответ:»
В реальности для NLI модель обычно дообучают на примерах того, что нужно, для повышения точности, но смысл в целом не меняется.
Чтобы слово «рама» было именем оно должно начинаться с большой буквы, и/или должен быть контекст, указывающий на существование такого персонажа, иначе большинство носитель русского языка будут слово «рама» понимать как «Четырёхугольное, овальное или иной формы скрепление из брусьев, планок, в которое вставляется оконное стекло или картина».
Как я показал выше, с точки зрения правильной связки слов между собой, модель вполне «осознает» написанное, так как может решать задачи, требующие знания связей слов.
Так вот шанс попасть в 10000 и оценен неверно. Брать официальную статистику штаба нет смысла никакого. Давайте хотя бы Росстат возьмем. В период с апреля по апрель избыточная смертность 420000 человек. Делим на население России в 144 млн, получаем, что вероятность умереть за полгода 0.1458% в целом. Даже если поверить цифре, что из 420000 только половина имела COVID, то 0.072%, что не факт, потому что отложенная смертность от осложнений не попадает в официальное число, а она как мы видим из исследований существенна. И когда мы сравниваем с частотой тромбозов 1/1000000 = 0.00001% видим существенную разницу, и при этом нельзя забывать, что есть естественная частота тромбозов, т.е. в популяции непривитых это явление все равно случается, и на него надо делать поправку, и когда мы ее сделаем это число еще упадет.
Дрозофила однозначно определяет более 20 запахов (Есть статьи, где их учили распознавать более 70 разных запахов, например www.pnas.org/content/104/13/5614). Фактическое число разных запахов, которое может быть закодировано, скорее всего близко к тысяче (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC311238/) К тому же может разными способами реагировать не только на вид запаха, но и на его интенсивность.
Кроме того, в грибовидное тело поступает еще немного визуальной информации, и еще нарушения в нем вызывают тонкие нарушения в моторной активности. Так что все сложнее, исходная посылка про 20 запахов не верна, а значит вероятно есть проблемы и с остальными рассуждениями.
Сильно ошибочно брать 10000 в день, это число выявленных и официально опубликованных, число реально заразившихся намного больше. Есть регионы, где избыточная смертность в 100 раз выше, чем официально умерло от коронавируса. Логика эпидемии такова, что так или иначе из тех у кого нет прививки заразится 85-90% всего населения, поэтому итоговую вероятность заразится надо брать за 85%, и тогда расчет уже иначе выглядит.
Вы же понимаете, что это аргумент из серии «черных лебедей не бывает, потому что я встречал много белых».
Возвращаясь к изначальной точке, откуда начался спор — я как раз выше и писал, что с помощью большой языковой модели усилия нужные для решения задачи становятся намного меньше и многие задачи, которые раньше было не практично решать, становятся доступными.
«Осознать» — философское понятие. Но мы можем сказать, что модель «понимает» фразу «мама мыла раму», если она может отличить ее от похожей, но бессмысленной фразы «рама мыла маму».
Типичным методом проверки этой возможности является сравнить вероятности, которые модель назначает разным фразам.
Мы можем видеть, что модель может сделать правильный выбор.
Бредогенераторы в 90-х были либо модели на правилах, которые писал человек, либо марковские цепи, которые создавали совсем плохой текст. С тех пор ситуация сильно изменилась. Языковая модель, помимо тривиального примера выше, может решать задачи вроде «Чемодан не пролезает в дверной проем, потому что он слишком большой. Что слишком большое?» или выбрать правильную фразу из «Озеро высохло теперь в нем нет воды» и «Озеро высохло, теперь в нем можно купаться». Я писал больше на тему знаний, которыми обладает языковая модель например тут.
Пора забыть о том, что было в 90-х, 30 лет это эпоха для ИИ, все очень сильно изменилось.
Ну, если считать, что есть только fastText, а трансформеры не нужны, то это может и научная фантастика, у нас это обычная работа, в рамках заданной предметной области ответы на вопросы по фактическому материалу это решенная задача для NLP, а противоречия это NLI, и опять для заданной области это отлично работает.
Скриншот это публичное демо с AllenNLP, даже не настроенное на задачу. (перевод: 1. «Рабочие должны всегда держать дверь открытой, для обеспечения быстрой эвакуации в случае пожара», 2. «Дверь всегда должна быть запертой, чтобы посторонние на заходили на территорию». Вывод модели: противоречие, 99.7%)
Такая проблема есть, конечно. В медицине это особенно существенно. Но существуют и интерпретируемые нейросетевые модели, и эта область развивается. Фактически, у банка может быть не нейросеть, а более простая модель, причины поведения которой можно понять. Но тот человек, который сидит на суппорте возможностями для этого не обладает.
С другой стороны, есть обычные программы, которые стали настолько сложными, что никто точно не знает, как и почему они работают. Да и люди не всегда могут объяснить свое решение. "Нутром чую" - популярное объяснение. Или встречается ситуация когда человек поступает неразумно, но для других притягивает какое-то логическое объяснение, которое не имеет отношение к реальной причине. То что вы описываете, это не столько проблема технологий, сколько того, что тем кто их использует в принципе наплевать на то, что кому-то "не повезло". Ну и опять в этом есть еще один аспект, мы все хотим и привыкли, что платежи и переводы проходят за минуту, а то и за секунду, а не за пять дней. Чтобы так работало, контроль операций просто должен быть автоматическим и достаточно надежным. Уберем все нейросети и "черные ящики", получим ситуацию, когда перевод идет неделю, как было раньше.
За 6 лет работы компании в чистом виде классификация предложений попадалась может быть 2-3 раза на примерно 600 проектов. На практике редко кому нужны классические задачи обработки языка. Людям нужно "сделать чат-бот, чтобы все понимал и отвечал на вопросы на основании текста сайта" или "достать из PDF файла с договором важные условия, определив в чем их суть", "разделить транскрипт видео на подразделы и написать к ним заголовки", "найти противоречия в инструкциях", "достать из описания товара параметры и на их основании написать новое описание" - т.е. продукт который решает их реальную задачу, в которой много исключений и мало данных.
Возможно классификатор у них действительно научился ассоциировать слова «политик» и «болтун», так как они часто встречаются вместе (ну и по цепочки политик — говорит, говорит похоже на болтать). Или просто на странные слова реагирует, если не знает о чем, то блокирует.
Ну вот вам задача номер 1, отличить в тексте научной статьи подпись к рисунку от остального текста. Нужно понять, что
Рисунок 1 Колонии E.Coli на чашках Петри — это подпись, а
Рисунок 1 показывает нам изображение колоний E.Coli — это упоминание рисунка в тексте.
обучающих примеров 10 штук. Какая будет точность у FastText?
Задача номер два. Нужно из команд вида:
Создать новый объект, называемый большой треугольник и поместить его в начало координат, увеличив размер в 3 раза — достать имя объекта, куда надо поместить, сколько сделать размер. Написать человек может что угодно и как угодно. Примеров для обучения 5-6 штук. С таким числом примеров эти задачи ничего не берет кроме ручного придумывания правил, что долго и плохо. А GPT-2XL их неплохо решает.
Генерация текстов это только одно из применений, как я писал есть генерация программного кода, дизайна, решение задач извлечения информации из текста.
В копирайтинге нейросети используются уже какое-то время, есть специальные сервисы вроде copy.ai, conversion.ai, aiwriter.ru, но смысл их не в том, чтобы делать работу за копирайтера, они предлагают варианты из которых человек выбирает нужный и соединяет все вместе. Таким образом, отвечает за инстинность контента все равно человек.
Пока сложно сказать. Мы пробуем ее применять в сервисе генерации текстов, но с тех пор как Яндекс сделал бесплатный вариант с кучей функций спрос на него уменьшился, поэтому времени и ресурсов на этот проект уже будет сложно найти.
Возможно, если получится довести до ума, дообучить на большом объеме и поправить узкие места в коде, напишем статью с детальным описанием подхода и выложим какой-то вариант для всех.
Так же как и имя, "пол" в плане стиля ответов будет зависеть от соотношения полов в данных на которых обучена сеть, от вопроса (если написать "знала ли ты об этом?" модель вероятнее всего выберет женскую роль для ответа), от контекста и от метода получения следующего слова (максимальная вероятность или выборка из распределения)
Про значимость имени согласен, но тут имя используется как частный случай для демонстрации того, что у модели нет собственной индивидуальности, потому что такая же ситуация возникает и по любому другому личному вопросу, ну вроде если спросить "любишь ли ты музыку?", то ответ будет исходить из того, как много людей в обучающем корпусе любит музыку, а не из того, что у модели сформировались реальные личные предпочтения. И точно также этот параметр можно будет менять контекстом.
После загрузки контейнера через указанный в репозитории скрипт pull и запуска его через run имеется папка workspace где в папке examples только набор стандартных примеров, а скриптов для запуска модели нет. Что я сделал неправильно?
Думаю смысл заключается в том, что надо сначала запустить контейнер а потом из него клонировать репозиторий и запускать модель, правильно? Хотелось бы инструкцию чуть подробнее, работа большая проделана вами, но последний шаг написания инструкции сильно увеличил бы ее ценность и доступность.
К сожалению, это не так. Простой пример - пластиковые пакеты. Людям они нравятся, удобнее купить пакет на кассе, чем ходить с сумкой. Бизнес их производит. Так же с одноразовой посудой и т.п. Но пользы для общества в целом это не приносит - мы уже имеем гигантские мусорные "острова" плавающего пластика. Мы все знаем, что люди мыслят не рационально и ставят краткосрочное удобство вперед долгосрочных проблем. Примеров подобных ситуаций тысячи.
Отсутствие другого проверенного способа никак не доказывает, что существующий способ хороший и на него следует молится. Если мы видим проблемы, то нам следует думать, как их устранять, а не говорить, что других способов нет
Просмотрев все его статьи, не нашел, где там доказано, что монополии не вознкают. Ну и аргумент не серъезный, что кто-то про что-то давно писал. Монополии это явление, которое изучается экономической наукой давно и есть известные проблемы с этим связанные. Цифровые монополии это не классические монополии, но они все равно доминируют на рынке и могут навязывать свои правила. Ну и чисто на бытовом уровне, писали уже и про то, что в личный кабинет сотовых операторов невозможно войти не согласившись на передачу своих данных "партнерам", про маркетплейсы, которые массово отказываются продавать купленные товары по указанной цене (что не законно, но выгодно), про поисковики, которые свои сервисы ставят вперед всех остальных, тех. поддержку, до которой не добраться и которая отвечает формальными отписками, ну и это все верхушка айсберга. То, что некоторые большие компании иногда загибаются, и им на смену приходят другие бегемоты, ситуацию в целом не меняет.
Многие маленькие компании на самом деле более эффективные, чем большие, но им не по силам тягаться с большими монстрами, монстр может быть неэффективен в плане организации работы, но в силу размера денег у него больше. Он может сделать зарплаты выше рынка в убыток себе на достаточно длительное время, переманить хороших специалистов и таким образом уничтожить потенциальных будущих конкурентов на корню. Или поставить ссылку на свой новый сервис на главную страницу свою и получить сто тысяч пользователей бесплатно, а мелкого конкурента за то же самое брать миллион денег. Честная конкуренция только в книжках существует.
Неправильно путать полезность для общества и готовность людей платить деньги. Люди часто готовы платить деньги за бесполезные вещи (например NFT со ссылкой на изображение ёжика, неэффективные БАДы и т.п.). И с другой стороны не готовы платить деньги за общественно полезные вещи (переработка отходов, другие экологическе проекты). Поэтому перемещение программистов в области с высокой марджинальностью нельзя автоматически считать равным их перемещению в полезные для общества проекты. Вполне возможно, что в результате будут уничтожены предприятия делающие полезные, но менее хайповые вещи.
Кроме того, надо учитывать, что программисты часто перемещаются в крупные компании, которые могут за счёт своего размера развивать и вовсе убыточные проекты (типа экосистемы Сбера, которая сейчас убыточна), но при этом эти компании могут платить программистам намного больше, чем маленькая фирма, которая убыточные проекты не потянет. В краткосрочной перспективе это радует нас высокими зарплатами, а в долгосрочной может привести к монополизации рынка, исчезновению маленьких компаний. А монополии уже могут диктовать пользователям невыгодные условия, предоставлять плохой сервис, завышать цены, заставлять подписываться на ненужные услуги и делать прочие плохие вещи, которые всем нам хорошо знакомы.
Картинка, которую вы тут назвали "смоделированная сфера, которая должна напоминать по свойствам пузырь Алькубьерре." на самом деле вообще не про это. Дело в том, что в статье Уайт с соавторами сначала приводят свой новый метод расчетов. Для валидации метода они сравнивают его результаты с известным решением задачи для случая плоскости и сферы. И именно этот случай показан на картинке, которая тут обозвана "сферой напоминающей пузырь Алькубьерре". Собственно про пузырь в статье уже идёт дальше.
Поэтому хочу сказать вот что. Я плохо понимаю данную область физики, но этот момент из статьи Уайта уловил. А вы берётесь критиковать Уайта, при этом в содержание его статьи изложено с серьезными ошибками. Я ожидал как-то увидеть реальный разбор в чем Уайт не прав. Да, он странный персонаж, и автор сомнительного изобретения, но это не даёт права критики опускаться на ещё более поверхностный научный уровень. К сожалению, в последнее время вижу на Хабре много популярных научных статей с явными ошибками такого рода.
В реальности для NLI модель обычно дообучают на примерах того, что нужно, для повышения точности, но смысл в целом не меняется.
Как я показал выше, с точки зрения правильной связки слов между собой, модель вполне «осознает» написанное, так как может решать задачи, требующие знания связей слов.
Кроме того, в грибовидное тело поступает еще немного визуальной информации, и еще нарушения в нем вызывают тонкие нарушения в моторной активности. Так что все сложнее, исходная посылка про 20 запахов не верна, а значит вероятно есть проблемы и с остальными рассуждениями.
К тому же умершие это верхушка айсберга. Есть отдаленные последствия для мозга, кодид снижает мыслительные способности и существенно увеличивает вероятность получить в будущем неврологический или психиатрический диагноз (Источники: www.medrxiv.org/content/10.1101/2020.10.20.20215863v1.full.pdf, https://www.thelancet.com/journals/lanpsy/article/PIIS2215-0366(21)00084-5/fulltext)
Возвращаясь к изначальной точке, откуда начался спор — я как раз выше и писал, что с помощью большой языковой модели усилия нужные для решения задачи становятся намного меньше и многие задачи, которые раньше было не практично решать, становятся доступными.
Типичным методом проверки этой возможности является сравнить вероятности, которые модель назначает разным фразам.
Мы можем видеть, что модель может сделать правильный выбор.
Бредогенераторы в 90-х были либо модели на правилах, которые писал человек, либо марковские цепи, которые создавали совсем плохой текст. С тех пор ситуация сильно изменилась. Языковая модель, помимо тривиального примера выше, может решать задачи вроде «Чемодан не пролезает в дверной проем, потому что он слишком большой. Что слишком большое?» или выбрать правильную фразу из «Озеро высохло теперь в нем нет воды» и «Озеро высохло, теперь в нем можно купаться». Я писал больше на тему знаний, которыми обладает языковая модель например тут.
Пора забыть о том, что было в 90-х, 30 лет это эпоха для ИИ, все очень сильно изменилось.
Скриншот это публичное демо с AllenNLP, даже не настроенное на задачу. (перевод: 1. «Рабочие должны всегда держать дверь открытой, для обеспечения быстрой эвакуации в случае пожара», 2. «Дверь всегда должна быть запертой, чтобы посторонние на заходили на территорию». Вывод модели: противоречие, 99.7%)
Такая проблема есть, конечно. В медицине это особенно существенно. Но существуют и интерпретируемые нейросетевые модели, и эта область развивается. Фактически, у банка может быть не нейросеть, а более простая модель, причины поведения которой можно понять. Но тот человек, который сидит на суппорте возможностями для этого не обладает.
С другой стороны, есть обычные программы, которые стали настолько сложными, что никто точно не знает, как и почему они работают. Да и люди не всегда могут объяснить свое решение. "Нутром чую" - популярное объяснение. Или встречается ситуация когда человек поступает неразумно, но для других притягивает какое-то логическое объяснение, которое не имеет отношение к реальной причине. То что вы описываете, это не столько проблема технологий, сколько того, что тем кто их использует в принципе наплевать на то, что кому-то "не повезло". Ну и опять в этом есть еще один аспект, мы все хотим и привыкли, что платежи и переводы проходят за минуту, а то и за секунду, а не за пять дней. Чтобы так работало, контроль операций просто должен быть автоматическим и достаточно надежным. Уберем все нейросети и "черные ящики", получим ситуацию, когда перевод идет неделю, как было раньше.
За 6 лет работы компании в чистом виде классификация предложений попадалась может быть 2-3 раза на примерно 600 проектов. На практике редко кому нужны классические задачи обработки языка. Людям нужно "сделать чат-бот, чтобы все понимал и отвечал на вопросы на основании текста сайта" или "достать из PDF файла с договором важные условия, определив в чем их суть", "разделить транскрипт видео на подразделы и написать к ним заголовки", "найти противоречия в инструкциях", "достать из описания товара параметры и на их основании написать новое описание" - т.е. продукт который решает их реальную задачу, в которой много исключений и мало данных.
Рисунок 1 Колонии E.Coli на чашках Петри — это подпись, а
Рисунок 1 показывает нам изображение колоний E.Coli — это упоминание рисунка в тексте.
обучающих примеров 10 штук. Какая будет точность у FastText?
Задача номер два. Нужно из команд вида:
Создать новый объект, называемый большой треугольник и поместить его в начало координат, увеличив размер в 3 раза — достать имя объекта, куда надо поместить, сколько сделать размер. Написать человек может что угодно и как угодно. Примеров для обучения 5-6 штук. С таким числом примеров эти задачи ничего не берет кроме ручного придумывания правил, что долго и плохо. А GPT-2XL их неплохо решает.
В копирайтинге нейросети используются уже какое-то время, есть специальные сервисы вроде copy.ai, conversion.ai, aiwriter.ru, но смысл их не в том, чтобы делать работу за копирайтера, они предлагают варианты из которых человек выбирает нужный и соединяет все вместе. Таким образом, отвечает за инстинность контента все равно человек.
Возможно, если получится довести до ума, дообучить на большом объеме и поправить узкие места в коде, напишем статью с детальным описанием подхода и выложим какой-то вариант для всех.