• Анализ статистики группы ВКонтакте через API с помощью Python: часть 1

    • Tutorial

    image


    Хабр, привет!


    В этой статье мы разберем довольно интересную и, на мой взгляд, востребованную тему — проведение простого анализ статистики группы Вконтакте через API с помощью Python. Свою статью я разделю на две части — в первой части анализ группы Вконтакте через Python, во второй напишу бота для Telegram, который будет делать анализ сам, по вводным данным.


    Итак, давайте начнем.


    В самом начале нам необходимо определиться с группой, которую будем анализировать, и целями, которые сразу определим. Я выбрал одну из популярных групп с большой, накопленной статистикой — vk.com/evil_incorparate.


    Цели поставим следующие:


    • Понять масштабы выборки (сколько записей на стене, сколько лайков максимально и минимально собирал пост в группе, среднее значение лайков и разделить эти все данные по годам);
    • Определить долю комментариев, репостов и лайков в общем количестве всех записей;
    • Найти соотношение количества записей на стене и количества лайков;
    • Определить зависимость времени и дня недели с количеством записей в группе;
    • Подвести итоги и сделать выводы по всем данным.

    Теперь мы поняли свои цели и приступаем собственно к анализу данных. После того, как мы выберем нужную нам дату из API (авторизируемся через oauth.vk.com, выбираем метод, как итог — прикрепляю свой файл с кодом), подождем когда загрузятся все данные и мы прочитаем содержимое файла.

    Читать дальше →
  • Технические отличия BI систем (Power BI, Qlik Sense, Tableau)

      Время необходимое на прочтение 11 минут

      Мы и Квадрат Гартнера 2019 BI :-)


      Целью данной статьи является сравнение трёх ведущих BI платформ, которые находятся в лидерах квадранта Gartner:
      — Power BI (Microsoft)
      — Tableau
      — Qlik

      image
      Рисунок 1. Gartner BI Magic Quadrant 2019

      Меня зовут Жданов Андрей, я руководитель отдела аналитики компании Аналитикс Групп. Мы строим наглядные отчёты по маркетингу, продажам, финансам, логистике, другими словами занимаемся бизнес аналитикой и визуализацией данных.

      Я со своими коллегами уже несколько лет работаем с различными BI платформами. Имеем весьма неплохой опыт проектов, что позволяет нам сравнивать платформы с точки зрения разработчиков, аналитиков, бизнес-пользователей и внедренцев BI систем.

      У нас будет отдельная статья по сравнению цен и визуальному оформлению этих BI систем, поэтому тут постараемся оценить эти системы именно с точки зрения аналитика и разработчика.

      Выделим несколько направлений для анализа и оценим по 3 бальной системе:
      — Порог вхождения и требования к аналитику;
      — Источники данных;
      — Очистка данных, ETL (Extract, Transform, Load)
      — Визуализации и разработка
      — Корпоративная среда — сервер, отчеты
      — Поддержка мобильных устройств
      — Embedded (встроенная) аналитика в сторонние приложения/сайты

      Читать дальше →
    • Iodide: интерактивный научный редактор от Mozilla

      • Перевод

      Изучение аттрактора Лоренца, а затем редактирование кода в Iodide

      В последние десять лет произошёл настоящий взрыв интереса к «научным вычислениям» и «науке о данных», то есть применению вычислительных методов для поиска ответов на вопросы, анализа данных в естественных и социальных науках. Мы видим расцвет специализированных ЯП, инструментов и методов, которые помогают учёным исследовать и понимать данные и концепции, а также сообщать о своих выводах.

      Но на сегодняшний день очень немногие научные инструменты используют полный коммуникационный потенциал современных браузеров. Результаты дата-майнинга не очень удобно просматривать в браузере. Поэтому сегодня Mozilla представляет Iodide — экспериментальный инструмент, который помогает учёным составлять красивые интерактивные документы с использованием веб-технологий, всё в рамках итеративного рабочего процесса, который многим знаком.
      Читать дальше →
    • Аналитика девушек с низкой социальной ответственностью (Заряжено Power BI, Qlik Sense, Tableau)

      Кто мы такие и какие были предпосылки проекта?


      Добрый день, меня зовут Лазарев Владимир, я руководитель BI-интегратора Аналитикс Групп. Мы делаем для бизнеса наглядные отчёты по маркетингу, продажам, финансам, логистике на базе ведущих аналитических платформ Qlik Sense, Power BI, Tableau.

      В BI платформах очень важна визуальная составляющая. Если вы посмотрели десятки демо-отчетов BI-систем и вам не нравится как выглядит та или иная платформа, то скорее всего вы ее не будете внедрять, даже если вас устраивает цена и технические характеристики. Исходя из этого рождается необходимость увидеть одни и те же данные в разных аналитических платформах, чтобы можно было сопоставить.

      И желательно, чтобы данные были интересными… :-)

      Откуда появилась идея сделать этот отчёт?


      Несколько лет назад Высшая школа экономики опубликовала статью о формировании цен на услуги девушек низкой социальной ответственности в Москве. Это были агрегированные данные анализа 1.800 анкет. Нам показались интересными данные, которые стоят за этими выводами социологов ВШЭ. И мы решили проработать эту тематику.
      Читать дальше →
    • arkit — архитектурные диаграммы для JavaScript, TypeScript и Flow

        arkit (швед. arkitektur)

        Дамы и господа, представляю вашему вниманию arkit — инструмент, который анализирует файлы вашего проекта и генерирует диаграмму зависимостей между ними и внешними модулями. Наверное, проще показать на примере самого arkit:

        архитектурная диаграмма
        Читать дальше →
      • Жёлтая морда

          Не стал добавлять к заголовку "Хабро-самоубийство", чтобы не доставать многоуважаемых админов, они этого не любят. Хотя понятно, что публикация дружно канет в минус.


          Хотя, в ней нет никакого холивара. Просто рассказан и показан подход к построению адаптивных интерфейсов. Я его использую с 2012 года примерно.


          Если думаете, что я тут за 1С проповедую, то зря. Этот подход и инструменты одинаково далеки как от вас, так и от 1С. Вы так делать никогда не будете, потому что вам не надо. Они так делать никогда не будут, потому что не умеют. Они честно хотели и хотят, но не умеют. Потому что 1Сники знают только три слова: "рынок", "продавать" и "монетизация". А у меня тут — для души.


          Считайте, что я рассказываю вам свой личный подход к построению интерфейсов корпоративных информационных систем. Просто на примере 1С. Сейчас мы создаём аналогичные, по своей сути, инструменты на metadata.js, с использованием recharts. Морда уже не жёлтая, но суть та же.

          Читать дальше →
        • Применение матрицы и диаграммы компетенций

            При росте команды тимлид и вышестоящее руководство начинают задумываться об оценке компетенций сотрудников. В рамках этой статьи я хочу рассказать о первых шагах по внедрению оценки сотрудников и какие бонусы вы можете получить.

            Читать дальше →
          • Портянки

              Программисты любят рисовать отчеты-портянки. Если нужен отчет по продажам – вывалят всю таблицу продаж, с контрагентами, номенклатурой, организациями, договорами, суммами и количествами.

              Все бы ничего, только с помощью такого отчета сложно управлять. Анализировать – можно, если есть куча свободного времени. А у кого есть куча свободного времени? У аналитика есть, например. Ладно, если он по должности аналитик. Есть ведь по призванию души аналитики. Должность у него, например, менеджер по продажам, но продавать он не хочет или не умеет, а вот в цифрах ковыряться – милое дело.

              У руководителя времени на ковыряние в отчете, увы, нет. По крайней мере, в рамках регулярного менеджмента. Ему нужна короткая, емкая информация, отвечающая на простой вопрос: как идут дела? Или по-другому: у нас все хорошо?

              Как на такой вопрос ответить с помощью портянки? Да никак. Портянка как бы говорит руководителю: ты хотел информацию? Ну вот она. ВСЯ! Давай, разбирайся, и ищи ответ на свой вопрос.
              Читать дальше →
            • Руководство пользователя Kibana. Визуализация. Часть 6

              • Перевод
              Пятая часть перевода официальной документации по визуализации данных в Kibana.

              Ссылка на оригинальный материал: Kibana User Guide [6.6] » Visualize

              Ссылка на 1 часть: Руководство пользователя Kibana. Визуализация. Часть 1
              Ссылка на 2 часть: Руководство пользователя Kibana. Визуализация. Часть 2
              Ссылка на 3 часть: Руководство пользователя Kibana. Визуализация. Часть 3
              Ссылка на 4 часть: Руководство пользователя Kibana. Визуализация. Часть 4
              Ссылка на 5 часть: Руководство пользователя Kibana. Визуализация. Часть 5

              Содержание:

              1. Vega Graphs

              2. Inspecting Visualizations
              Читать дальше →
            • Апдейт стереотипов: как эмоджи помогают воспроизводить сценарии невербального общения онлайн

                На первый взгляд, это довольно забавный парадокс: социальные сети создают асоциальные люди? По крайней мере, являющиеся антиподами стереотипному представлению о целевой аудитории их проектов: Джек Дорси не похож на тролля, Павел Дуров — на школьника, Марк Цукерберг — на человека. Моя выборка невелика и, возможно, окажется, в итоге, совсем нерепрезентативной, но это уже неважно, потому что связь между текстовым общением онлайн и гиками/интровертами глубже, чем просто сохранившаяся традиция со времён, когда голос было проще передать, заняв линию модема с обычного домашнего телефона, чем по интернету.

                Человеческая коммуникация с тех самых пор, как предки человека впервые выговорили что-то членораздельное, велась на двух языках: человеческом, в котором для обмена информацией используются слова (вербальная коммуникация), и куда более древнем, чем люди, языке тела, в котором информация передаётся поведением (невербальная).


                Сэр Патрик Стюарт как бы призывает этой картинкой не судить сразу по обложке

                Впрочем, не всегда они давались людям с одинаковым успехом: в каждом, наверное, классе были свои нёрды — дети, которым, обычно, хуже других давалось обычное общение, но лучше — учёба. И то, и другое, судя по всему — по одной причине: баланс понимания вербального и невербального языка был явно смещён в пользу первого — в результате, такие дети, смотря в книгу, видели в ней, на самом деле, буквы, слова и стоящий за ними смысл — тогда как добавление потока входящей невербальной информации, не помогал понять собеседника, а только затуманивал их смысл и требовал небольшой задержки на обработку всех сигналов на уровне сознания, зарабатывая репутацию тормознутых среди прочих детей, у которых невербальные сигналы обрабатывались моментально на подсознательном уровне.
                Читать дальше →

              Самое читаемое