Средняя длина слова у разных авторов

[Devix]

А что, если усовершенствовать и сделать подобное для анализа постов/комментариев хабраюзеров?
Ввел имя, отметил галочкой посты или комментарии или всё вместе, и получил всё сразу или даже в виде графика по времени.

[CharnaD]

Я думаю все дело в волшебных пузырьках предлогах. Кто-то использует чаще, а кто-то реже.

[afiskon]

Поддерживаю, я бы добавил в скрипт стоп-слова или не считал слова длиной 1-2 символа. Думаю, результат изменится.

[SeLarin]

Зачем? Предлоги — тоже слова, не надо их дискриминировать!!!

[SeLarin]

В общем, у всех примерно одинаково в пределах статистической погрешности.

[Savvateev]

Моя жена сказала так: «Чем старше, тем короче»

[maar]

Интерестно было бы проанилизировать тектсы из разных областей, мне кажется средний размер слова будет меняться в зависимости от тематики, причем самый большой может оказаться у юридических текстов.

[Savvateev]

Арбитражный процессуальный кодекс Российской Федерации.
Всего слов: 51601
Средняя длина слова: 6.93

[lugansk]

>> cамый большой может оказаться у юридических текстов.

Скорее в справочниках по органической химии или фармакологии.

[stilet]

Стало интересно, и решил для сравнения проанализировать пару книг из современной бульварной литературы.
Дарья Донцова:
Дама с коготками — Всего слов: 148785, Средняя длина слова: 4.72
Дантисты тоже плачут — Всего слов: 140221, Средняя длина слова: 4.76
Эта горькая сладкая месть — Всего слов: 128249, Средняя длина слова: 4.84

Вероятно, существует зависимость между средней длиной слова и качеством текста.

[stilet]

Я немного другой смысл вкладывал в слово «качество». Укаждого автора свой словарный запас, у Пушкина, насколько я помню со школьной скамьи, около 22 тысяч слов, мы же используем гораздо меньше слов, и, в основном, используем более короткие слова.

[Savvateev]

Я вот о чем подумал. Вряд ли существует подобный критерий. Ни по средней длине слова, ни по словарному запасу. Вот например у Пушкина словарный запас выше чем у других писателей, но секрет его успеха вовсе не в этом. Большой словарный запас — это всего лишь инструмент и им еще надо уметь пользоваться. Можно быть ходячей энциклопедией, иметь огромный словарный запас, но не уметь связать двух слов.

[leonid-lapidus]

а я всё жду, когда наконец появится топик с «цепями Маркова» и нам предложат сгенерированный машиной текст, стилистически подобный авторскому :)

[Ulairi]

В 1984-ом уже была похожая)

[leonid-lapidus]

Да, но я это к тому, что такие программки в реальности существуют уже (сам писал), и, кстати, активно используются в различных областях. Теперь жду появления примера здесь, раз «тема» пошла :)

[alco]

Никаких полезных выводов из простых средних значений сделать не получится. Взгляните хотя бы на этот пример — habrahabr.ru/blogs/statistics/91128/#habracut

[graninas]

Вы бы посмотрели, какую аналитику произведений сделали люди для сайта Фантлаб…

В свое время и я занимался анализом текстов: распознавание авторства, статистика (частотная таблица слов, длин предложений, слов, букв и т.п.). Не считаю, что вы тут уж прямо супервещь создали.

[BearMef]

ма-аленький нюанс на будущее — сортировочку бы…