странное исследование... по графику когнитивных способностей по всем признакам уверенный спад, коме вокабулари, который больше зависит от выборки, чем от методики. На основе одного признака без доп. исследований взаимной корреляции нельзя делать такие выводы.
Спорная статья. Несколько замечаний. Во первых, следует разделять агрессию и агрессивность - это разные понятия и разная причина. Во вторых, если уж говорить о гендерной агрессивности, то можно указать, что у мужчин она максимизируется в к 18-20 , а затем плавно спадает, а вот у женщин, наоборот, ее подъем начинается после 40-45 лет этак на 10-15. Ну и не понятно, при чем тут нормальное распределение? Большинство наблюдаемых феноменов имеют степенной характер. Да и определение матриархата может быть разным: передача наследства по материнской линии, как у иудеев, это тоже матриархат в каком-то смысле.
Может я что-тоупустил, но из статьи не понятно, какой алгоритм и архитектуру построения модели вы используете. Что значит бертоподобная? Почему, скажем, не elmo или gpt-подобная?
Мне кажется, в данной задаче разумнее использовать генеративные модели (типа GPT), т.е. не классифицировать, как я понял, каждый токен на «с запятой» или «без запятой» (у вас же нет токена "," в словаре), а предсказывать на основе генерации последующего токена.
Модель присваивает каждому слову случайные вектора и далее на каждом шаге обучения, «изучая контекст», корректирует их значения.
Это жутко медленно. Можно использовать быстрый вариант: разбить w2v на классы (параметр при обучении), каждому слову присвоить класс (число — int), тогда пространство признаков сильно сокращается и сравнение (даже по косинусу) происходит быстро. А если разбивать на классы не встроенным в w2v алгоритмом (k-means), а написать свой, то можно получить пересекающиеся классы, что уже интереснее, и, ес-но, точнее работает.
Но помимо этого есть методы суммаризации, основанные на эмотивных характеристиках текста, что особенно важно в соц. медиа (да и в СМИ неплохо работает). Учитывается сила сентимента, агрессивность и пр. Получаются неплохие результаты.
А вот с бредогенераторами текста (даже на трансформерах) пока ничего толкового не видел…
Не очень понятно, зачем городить такой огород, если с лингвистическими задачами типа PoS-tagging, NER и пр. прекрасно справляются обычные графовые алгоритмы типа CRF?
дело в том, что регекспы охватывают большой диапазон вариантов, из которых для решения задачи, как правило, нужна лишь небольшая и конкретная часть. Поэтому самописные решения на низкоуровневых языках под конкретную задачу (например, токанизацию) работают на один-два порядков быстрее, чем регекспы.
я бы добавил сюда (и даже поставил на первое место) очень низкую скорость работы регекспов, — их разумно использовать только на этапе исследования, а в «боевом» коде регулярки лучше избегать.
под анализом текста понимается главным образом две совершенно практические задачи, связанные либо с извлечением какого-либо контекста, либо перевод текста с одного языка на другой.
Еще есть отдельная задача генерации текста, которая включает в себя анализ — всякие там боты и пр.
Является ли эмоция самостоятельным сигналом?
Я бы сказал больше: эмоции — это то, что служит основой для знаков. Или способствуют порождению знаков.
Вообще эмоциям уделяется неоправданно мало внимания. То что вы тут приводите — классическое семиотическое описание коммуникации. Теория, ес-но, не нова. Но, к сожалению, до сих пор полезна разве что для умозрительных построений, практически мало осуществимых. Поэтому, как мне кажется, нужна какая-то другая идея. Конечно, можно работать в рамках динамически меняющегося во времени денотата. То есть можно, скажем, построить Марковскую сеть всех знаков (связанный сложный граф) и для каких-то случаев это хорошо заработает. Но связи в языке не статичны, а находятся в постоянной конкуренции друг с другом. И эту динамику как раз и задают эмоции. Как это смоделировать в ИИ — пока не знаю. Да, и понятно, что это в равной степени касается как генерации, так и анализа текста.
Если у вас приоритет в скорости обработки, то нет смысла использовать нормализацию (даже больше: морфологию). Т.е. работать с плоским текстом. Нормализация почти не дает выигрыша. Ну а если качество — то да, лучше использовать. Иначе согласование и агрегацию одинаковых сущностей будет сделать сложно.
Тогда вам есть куда расти. Нужно снимать частиречную омонимию (система должна понимать, что «маша» это noun, а не verb) и проверять по словарю имен собственных для работы с регистром (потому, как, например, «Путина» в начале предложения может быть и имя (в род. или вин. падеже) и слово нарицательное (в именительном)) — и таких примеров много. Хорошо бы еще снимать омонимию по морфо признакам. Но это уже чуть сложнее.
Для текстов с русскими именами качество получается ~0.95
— сомневаюсь. Скажем, «Маша мыла Раму» — ничего не находит. Пока есть проблемы со именами собственными, совпадающие с нарицательными.
А зачем вам нормализация? Она повышает точность не более чем на 1%, а скорость съедает довольно существенно. Нормализация нужна на пост обработке: при согласовании, агрегации, кореференци.
Поток — это все, что генериться, например, за сутки: вся текстовая информация в интернете. Не важно это паблишеры или юзеры. Тем более, что в современных реалиях они не различимы: у юзера может быть многотысячная аудитория. Разница только в том, что одни открыты, а другие закрыты для скачивания без регистрации.
— примерно такой ежедневный поток (в словах) генерируемых только в русскоязычном секторе. В англоговорящем — на несколько порядков выше. У вас нет распознавания языка: putin практически во всех индо-европейских языках пишется одинаково. Поэтому ваша статистика только с официальных открытых сайтов, типа СМИ — средств массовой информации, причем разделенная не по языку, а только по алфавиту. Вы же не майните твитер, фейсбук, вконтакте и пр. — а соц.сети это до 95% новой информации. Я про это говорил.
странное исследование... по графику когнитивных способностей по всем признакам уверенный спад, коме вокабулари, который больше зависит от выборки, чем от методики. На основе одного признака без доп. исследований взаимной корреляции нельзя делать такие выводы.
Спорная статья. Несколько замечаний. Во первых, следует разделять агрессию и агрессивность - это разные понятия и разная причина. Во вторых, если уж говорить о гендерной агрессивности, то можно указать, что у мужчин она максимизируется в к 18-20 , а затем плавно спадает, а вот у женщин, наоборот, ее подъем начинается после 40-45 лет этак на 10-15. Ну и не понятно, при чем тут нормальное распределение? Большинство наблюдаемых феноменов имеют степенной характер. Да и определение матриархата может быть разным: передача наследства по материнской линии, как у иудеев, это тоже матриархат в каком-то смысле.
Да-да, переводчику следовало бы ознакомится с терминологией в предметной области :) Речь идет, конечно, о трансформерах .
А почему бы не прикрутить анафору. На таких объемах тормозить не должно, а выглядеть будет куда читабельнее.
Может я что-тоупустил, но из статьи не понятно, какой алгоритм и архитектуру построения модели вы используете. Что значит бертоподобная? Почему, скажем, не elmo или gpt-подобная?
Это жутко медленно. Можно использовать быстрый вариант: разбить w2v на классы (параметр при обучении), каждому слову присвоить класс (число — int), тогда пространство признаков сильно сокращается и сравнение (даже по косинусу) происходит быстро. А если разбивать на классы не встроенным в w2v алгоритмом (k-means), а написать свой, то можно получить пересекающиеся классы, что уже интереснее, и, ес-но, точнее работает.
Но помимо этого есть методы суммаризации, основанные на эмотивных характеристиках текста, что особенно важно в соц. медиа (да и в СМИ неплохо работает). Учитывается сила сентимента, агрессивность и пр. Получаются неплохие результаты.
А вот с бредогенераторами текста (даже на трансформерах) пока ничего толкового не видел…
— а не могли бы поподробнее, какие предсказания на дискриминационных моделях можно делать?
Еще есть отдельная задача генерации текста, которая включает в себя анализ — всякие там боты и пр.
Я бы сказал больше: эмоции — это то, что служит основой для знаков. Или способствуют порождению знаков.
Вообще эмоциям уделяется неоправданно мало внимания. То что вы тут приводите — классическое семиотическое описание коммуникации. Теория, ес-но, не нова. Но, к сожалению, до сих пор полезна разве что для умозрительных построений, практически мало осуществимых. Поэтому, как мне кажется, нужна какая-то другая идея. Конечно, можно работать в рамках динамически меняющегося во времени денотата. То есть можно, скажем, построить Марковскую сеть всех знаков (связанный сложный граф) и для каких-то случаев это хорошо заработает. Но связи в языке не статичны, а находятся в постоянной конкуренции друг с другом. И эту динамику как раз и задают эмоции. Как это смоделировать в ИИ — пока не знаю. Да, и понятно, что это в равной степени касается как генерации, так и анализа текста.
А зачем вам нормализация? Она повышает точность не более чем на 1%, а скорость съедает довольно существенно. Нормализация нужна на пост обработке: при согласовании, агрегации, кореференци.
— примерно такой ежедневный поток (в словах) генерируемых только в русскоязычном секторе. В англоговорящем — на несколько порядков выше. У вас нет распознавания языка: putin практически во всех индо-европейских языках пишется одинаково. Поэтому ваша статистика только с официальных открытых сайтов, типа СМИ — средств массовой информации, причем разделенная не по языку, а только по алфавиту. Вы же не майните твитер, фейсбук, вконтакте и пр. — а соц.сети это до 95% новой информации. Я про это говорил.