Анализ дружеских связей VK с помощью Wolfram Mathematica

[Sild]

Для получения необходимых вам данных нет необходимости в создание приложения, токенах и авторизациях. Всё без проблем добывается GETом (CURLом)
api.vk.com/method/friends.get?user_id=2

А графы впечатляют. Красиво.

[Himura]

Для друзей в токенах действительно нет необходимости, но вот друзья друзей не будут работать vk.com/pages?oid=-1&p=friends.getMutual
Вообще сомнительная конечно производительность от этого, но так возможностей для расширения больше намного чем без авторизации

[Sild]

Что мешает собрать всех друзей, и запулить их по очереди тем же способом?
Да, производительность таким образом хромает. Но тут уже дело алгоритмов, как оптимизировать.

[Himura]

Можно так сделать, но логичнее через друзей друзей. Если бы эта функция не была тормознутой, прирост производительности был бы ощутимым, так как у меня есть друзья у которых больше тысячи друзей

[ev42]

А если в pipelining запросов пачку на друзей друзей? Он же держит http/1.1, хотя поддержку пайпа надо проверить(

[darkkosinus]

Спасибо большое, красиво! Теперь можно будет более подробо проверить теорию 5-ти рукопожатий.
А не могли бы вы куда-нибудь выложить mathematica sheet? Поиграться) (чтобы не перебивать)

[Sild]

Теория шести рукопожатий. Насколько я проверял (самопальное приложение) — и правда работает

[Himura]

Мне habrastorage сказал что только картинки понимает. ВК есть предыдущая версия, как домой доберусь (к вечеру), обновлю

[Gorky]

Так, а ссылка-то где? )

[Himura]

Вот.

[SiDChik]

почему бы не выложить готовый вариант в котором достаточно заменить входные данные?

[Himura]

Надеюсь, эта ссылка рабоатет

[Hoorsh]

Не могли бы вы подписать получившиеся у вас компоненты сильной связности? Ну, чтобы было понятно, как эти вершины связались в клубки. Например, одноклассники, однокурсники и т.д.

[Himura]

Вообще сообщества графа выделяются чисто математически последней строчкой. Но реально, в них можно узреть смысл и это невероятно круто. Для каждого смысл будет свой. Вот например мелкий апендикс слева — это народ, который со мной знаком по программе Кадры Будущего — прошлым летом я в Дубну ездил и кроме меня и моего друга их никто не знает. И Mathematica на раз их вычислила это круто!

[Karamax]

Такой проект был ещё года 2-3 назад.
www.yasiv.com/vk

[anvaka]

:) Спасибо что помните! Я очень надеюсь выложить в этом году обновленную версию с гораздо более продвинутым функционалом, и полностью в открытом коде (включая веб интерфейс)

[limitium]

Ого, а вы не ищете легких путей. www.yasiv.com/vk Может потому, что вконтакт «является основным средством общения».

[vcrank]

А не подскажете, почему этот сервис может показывать связь между 2 людьми, но эти люди друг о друге не знают?

[anvaka]

Очень любопытно! Либо вы наткнулись на баг, либо же эти люди таки знают друг друга. Можете дать ссылки на них?

[vcrank]

Таки они знают друг друга. Подружились буквально за час до того, как я воспользовался этим сервисом

[anvaka]

:) тесный мир

[Himura]

IE11 — не заработало. Белый фон, но на мышку реагирует и рандомных друзей показывает при перемещении. И связей у них меньше чем у меня
Эти люди, кстати, сурсов не выкладывали.
А не ищу я легких путей по жизни, а не потому что как люблю общаться через удобные социальные сети с умными людьми.

[ErhoSen]

Хабражитель anvaka выложил свою жс-реализацию ещё 2 года назад.

[anvaka]

Привет!

Я думаю у вас классная версия! Очень здорово видно кластеры когда ребра связываются воедино.

Сорцы я не выкладывал лишь потому что мне стыдно за них. Это чуть ли не первое мое веб приложение, и, право, смотреть их больно и не полезно.

А вот сам укладчик графов очень даже публично доступен под BSD 3: github.com/anvaka/VivaGraphJS и за него мне не стыдно :). Следующая итерация укладчика доступна тут github.com/anvaka/ngraph — очень надеюсь что тоже включу edge bundling со временем.

[Himura]

О, так они и правда не выложены =)
По-моиму у вас очень классно получилось, при том что все это без использования всемогущих функций Mathematica.

[anvaka]

Спасибо! У меня лишь веб интерфейс статикой хостится — за него стыдно :). Но если хочется — можно правой кнопкой и посмотреть исходники :). Правда, они очень страшные :)…

Зная oauth и vk api легко можно воспроизвести мою визуалзиацию :).

[isxam]

делал такую же штуку. По видео видно, что работает получение общих друзей очень медленно. Я использовал написанный на VKScript скрипт через метод execute, что позволило поднять скорость получения общих друзей в ~20 раз. Будете допиливать свою версию — подумайте над этим :)

[Seekeer]

Т.е. VKScript реально быстрей работает, чем обычные запросы, например при получении друзей тысячи друзей?

[isxam]

нет, дело в другом. у контакта есть ограничение в 3 запроса к апи в секунду, через метод execute вы в один запрос можете включить 20 вызовов апи, таким образом увеличив скорость на долгих задачах примерно в 20 раз

[Himura]

В коде нашлась ошибка в ходе тестирования на других людях! Кто найдет, тот няшка ))

[Himura]

Обновил блокнот, теперь он содержит примерный путь как можно избежать ошибки слишком длинного URL если друзей больше 400. На самом деле процесс можно автоматизировать, но влом. Правда если у вас больше 1000 друзей, придется, наверно, автоматизировать…

[Himura]

Обновления в конце основного поста