steveb Jul 19 2011 at 13:26

Анализ текстов SMS пользователей ЗАО «Мегафон»

2 min

3.4K

Data Mining*

+36

Comments 69

Stalker_RED Jul 19 2011 at 14:06

xxx: еще кто-нибудь диссертацию напишет на этих данных
yyy: Мде, лучше бы алгоритм генерации урлов поизучали, хоть какая-нибудь польза.
xxx: надеюсь хабр сольет этот пост

palamed Jul 19 2011 at 14:14

Диссертацию будут писать «внешние администраторы» Мегафона, у них сейчас много времени).

steveb Jul 19 2011 at 14:26

На наш взгляд, чем больше этой теме уделят внимания сейчас, тем меньше вероятность повторения в будущем.
С урлами разберемся, спасибо.

itinyakov Jul 19 2011 at 15:31

Ну а что плохого в диссертации по этим данным?) Мало, разве что…
Очень интересно читать тексты этих смс — мне-то такого не пишут, и сам не пишу.

sasha237 Jul 19 2011 at 14:37

Красиво

CLR Jul 19 2011 at 15:33

Забавно, наткнулся на СМС где дан адрес заначки какой-то, наверное наркотики :)

palamed Jul 19 2011 at 15:35

Интересно было бы почитать подобные исследования Госнаркоконтроля по более широкой выборке)

Goder Jul 19 2011 at 15:37

Заголовок — для диссертации, содержание — введение в курсовой работе 1-ого курса. :)

steveb Jul 19 2011 at 15:57

Мы работаем над этим, подключили филилогов, может получится курса до 3-го дотянуть)

dobriykot Jul 19 2011 at 15:44

Почитаешь некоторые сообщения, и так грустно становится. Сколько ненависти в людях.

itinyakov Jul 19 2011 at 15:52

«Люблю тебя я и скучаю
Других парней не замечаю.
Мне нужен только ты любимый —
С тобою буду я счастливой!!!»
Отлично же!)

dobriykot Jul 19 2011 at 15:55

Да, по тегу добра настроение поднимается)

hardex Jul 19 2011 at 15:45

чаще приходят, чем уходят

А как же закон сохранения пользователей?

steveb Jul 19 2011 at 16:00

Здесь получается надвиртуальная реальность — проекция фантазии виртуальных пользователей, ведь это их желания и мечты, а действительность все ставит на свои места в выдачу поисковика.

BupycNet Jul 19 2011 at 22:24

Население планеты растет, не забывайте.

s0lar Jul 19 2011 at 15:49

Видать не забыть этих СМС Яндексу!

isden Jul 19 2011 at 16:14

> Тексты не отличаются грамотностью, что становится нормой, редкие сообщения написаны без ошибок.

Пичалька =(

danfe Jul 20 2011 at 00:53

Вот, кстати, да, поразила эта вопиющая безграмотность некогда «самого читающего народа».

fanex Jul 20 2011 at 05:17

А вот если бы он был «самым пишущим»…

pomkaster Jul 19 2011 at 16:51

Простите, но как понять фразу: «Добро, радость и счастье побеждают зло и проблемы.»?

JoeyHere Jul 19 2011 at 19:08

А тут как с фразой «Добро побеждает зло», как подчеркнешь подлежащее и дополнение, так и будет)

steveb Jul 19 2011 at 16:56

Слова «Добро», «Радость» и «Счастье» имеют большее количество упоминаний, чем «Зло» и «Проблемы»

wolfus Jul 19 2011 at 19:19

А я это дело скачал в txt, заменил что надо на точку с запятой, сохранил в csv и читал потом в екзеле отсортированным по телефонным номерам :)

k0ldbl00d Jul 20 2011 at 04:01

Вы многого добились.

z123 Jul 19 2011 at 21:07

пиздецбля. вот это делать человеку нечего, кроме как тексты смскок анализировать да разноцветные диаграммки строить

virtu Jul 19 2011 at 21:44

Делать — 113, спать — 32. Не может быть!

taliban Jul 19 2011 at 23:01

делать детей и «че делаешь?» думаю входят в большую часть первой фразы =)

taliban Jul 19 2011 at 22:58

Мне интересно а каким образом эти смс попадают к вам? И как относятся отправители/получатели к этому?

sectus Jul 20 2011 at 00:11

А это разве не те самые СМС, которые яндексом проиндексировались?

steveb Jul 20 2011 at 04:52

да, это смс пользователей Мегафона, которые проиндексировал Яндекс. Они разошлись по рукам и лежат в открытом доступе вместе с номерами телефонов, мы скрыли номера, превратив их в анонимный набор текстов.

sectus Jul 20 2011 at 00:11

Почему нет голосования за СМС?

steveb Jul 20 2011 at 11:20

Сделали, ранжируется по количеству кликов на кнопки соц. сервисов

suzrik Jul 20 2011 at 00:36

самая популярная смс Мегафона: «Люблю писать смс каждый день» ;]

k0ldbl00d Jul 20 2011 at 04:04

В скором времени, я полагаю, появится пост «Выводим уплывшие SMS абонентов Мегафона на экран Vogue-плеера». Осуждаю вашу деятельность. Утекли SMS и ладно, зачем труп палочкой тыкать?

steveb Jul 20 2011 at 05:08

Спасибо за ваше мнение. Ситуация неоднозначная, согласен. Мы это делаем по следующим причинам:
1. Это интересный источник для исследования
2. Промо, мы это не скрываем
3. Чтобы историю не замяли по тихому, а сделали выводы, «утекли и ладно», мне кажется, не самая лучшая позиция.

И все-таки лучше, если сообщения будут расходиться по форумам без номеров, а не в полном виде как сейчас.

k0ldbl00d Jul 20 2011 at 05:12

Исследовательский интерес поддерживаю, но был бы я на месте одного из адресатов этих сообщений, вряд ли мне было бы приятно, что про них не дают «забыть».

steveb Jul 20 2011 at 05:26

Сложный вопрос, у нас тоже мнения разделились. Но если нет номера, чем это отличается от башорга? Если бы я был на месте адресата (а подобные случаи были), думаю, я бы постарался отнестись к этому с юмором, это работает лучше всего.

dasty Jul 20 2011 at 05:26

Столбик «действие» похож на дневной ToDo обычного работяги :)

steveb Jul 20 2011 at 05:33

Точно! «думать» в конце списка :)

KEA Jul 20 2011 at 05:54

У вас на сайте есть группировка «по авторам», хотя на самом деле это получатели.

steveb Jul 20 2011 at 06:33

спасибо, поправим

man_without_face Jul 20 2011 at 06:03

буквально пару дней прошло, а вы уже сайтец замутили и проанализировали и пост на хабр написали и даже картинку славную сделали. офигеть. круто, ребят!

steveb Jul 20 2011 at 06:23

спасибо! но пока все сильно сырое

man_without_face Jul 20 2011 at 06:26

да это не так важно. фишка в том, что большинство людей прочитало про эти sms, поигрались и забили. а вы бац бац и замутили ресурс. причём не просто ресурс, где тупо смс описания, но ещё и проделали различную работу. это прям рядует. :)

man_without_face Jul 20 2011 at 07:32

*радует

randall Jul 20 2011 at 06:35

Если сами сообщения веру в человечество убивали, тот этот пост возвращаёт её.

Inq Jul 20 2011 at 08:53

Было бы интересно, если бы у Вас велась такая статистика по смс, ежедневно отправляемым хотя бы одним оператором. Может, весь такой молодежный Мегафон пойдет молодежи навстречу и будет предоставлять выборку смс за сутки, без указаний номеров? Вырезая имена, цифры, информацию со спецномеров, таких как номер Сбербанка, например.

Да, я сам пользователь Мегафон. Пишу, в среднем, две смски в день.

Lobey Jul 20 2011 at 09:28

Честнее было бы назвать статью «Анализ алгоритмов выборки Яндекса на основе базы СМС Мегафона». Вы же больше Яндекс исследуете, чем Мегафон.

zizop Jul 20 2011 at 09:59

По-моему тут стат. анализ самих текстов, а не их ранжирования в выдаче.

Lobey Jul 20 2011 at 10:05

Тексты-то взяты из выдачи Яндекса. Выборка _очень_ нерепрезентативная. И подсчитывается частотность слов выбранных Яндексом, а не просто написанных в СМС.

steveb Jul 20 2011 at 10:28

В ограничениях мы написали, что репрезентативности здесь быть не может — в день Мегафон обрабатывает 40 млн. смс (132 тыс. с сайта), по их данным, а в базе почти за 10 дней — 862.

Тем не менее источник интересный в жанре современного приватного текста. Изучают же личную переписку Пушкина по имеющимся документам без точных цифр по генеральной совокупности источника.

Lobey Jul 20 2011 at 10:35

Репрезентативность — не означает большой процент от исходного количества, а показывает равномерность выборки. Выборка и с данным числом СМС могла бы быть репрезентативной. И большая часть СМС была бы «Да», «Нет», «Я занят» или «Перезвони мне. Вася/Коля/Петя». А данная выборка — самые интересные СМС с точки зрения поисковой машины Яндекса, т.е. составляя статистику по употреблению каких-то слов — вы составляете статистику по составлению выборки Яндексом.
А источник интереснейший, нет сомнений: о).

steveb Jul 20 2011 at 11:32

Согласен, про репрезентативность не то написал. Имел в виду, что ошибка выборки на таком объеме будет очень большая. А репрезентативность отсутствует из-за того, что не знаем методику выборки, все верно.
Еще фактор — форма отправки через интернет, коротких односложных сообщений там скорее всего нет или крайне мало.

steveb Jul 20 2011 at 10:33

Исследуется не Мегафон и не Яндекс, исследуются тексты данной группы пользователей. Как на основе этих данных понять алгоритм выдачи Яндекса, честно, не представляю, нужны тогда хотя бы смс, которые проиндексили, но не попали в выдачу.

Z0K Jul 20 2011 at 11:49

А почему только 832 сообщения? В свободном доступе до сих пор гуляет не менее 3000 же.

itinyakov Jul 20 2011 at 12:13

А можно поинтересоваться ссылочкой?

Z0K Jul 20 2011 at 20:31

Ответил товарищу ниже.

itinyakov Jul 21 2011 at 01:46

Спасибо!

steveb Jul 20 2011 at 13:24

У нас получилось 832 из 1000 после исключения сервисных сообщений, были бы признательны за дополнительную информацию.

Z0K Jul 20 2011 at 20:31

была таблица на googledocs, она ссылалась на rghost.ru/15005301

steveb Jul 21 2011 at 05:07

Спасибо! добавили

Z0K Jul 21 2011 at 07:22

=^_^=

KPEM Jul 20 2011 at 12:26

Заголовок заметки — Анализ текстов SMS пользователей ЗАО «Мегафон» — принципиально неверный. Эти сообщения могли быть отправлены кем угодно, например, абонентами Билайна, МТС, Скайлинка или вообще людьми, у которых нет сотового телефона. По этой причине они не могут называться SMS пользователей ЗАО «Мегафон». Иначе с таким же успехом, ночные сообщения а-ля «У меня проблемы, готовь бабки» и уведомления из СМС-банка можно назвать сообщениями абонентов ЗАО «Мегафон».

steveb Jul 20 2011 at 13:22

Не соглашусь, те, кто отправляли, пользовались сервисом Мегафона, мы не называем их абонентами. Полное название курсовой работы могло бы быть: «Анализ текстов SMS группы пользователей сервиса отправки сообщений ЗАО «Мегафон», опубликованных поисковым сервисом ООО «Яндекс» 18.07.2011 за период с 07.07.2011 по 18.07.2011».

KPEM Jul 20 2011 at 13:40

Пользователи ЗАО «Мегафон» — это как? Пользователи компании? Они ее пользовали? В какие места? В веб-формы? Вы прекрасно поняли в чем смысл ошибки, и в вышерасположенном комментарии выдали корректный вариант, но почему-то этого стесняетесь.

steveb Jul 20 2011 at 17:09

KPEM, вы прекрасно поняли смысл словосочетания, пусть и не сразу. Вы не знаете, что некоторые слова опускаются, чтобы не писать километры текста?

На всякий случай: «опускаются» не имеет никакого сексуального контекста.

KPEM Jul 20 2011 at 17:44

Какой вы, однако, упертый. Опустив слово, вы исказили смысл.

SartakovStudio Nov 15 2011 at 19:43

Вот бы иметь возможность видеть динамику всех этих объектов, эмоций и действий и расширить объем выборки на порядок.
Можно было бы отслеживать целые социальные тенденции.
Очень впечатляет.

dinar_007 Apr 29 2015 at 23:41

Давно хочу все своиномера телефонов перевести на мегафон. Билайн с МТС давно перестали удовлетворять…