В данной статье будет рассказано о некоторых методах библиотек Python, с помощью которых можно производить анализ данных, писать аналитические запросы к набору данных, визуализировать необходимую информацию в виде графиков и гистограмм.

Для примеров использования методов библиотек Python взят готовый датасет с информацией о пользователях онлайн-кинотеатра, о фильмах и их рейтинге. Будут использованы три библиотеки: Pandas, Numpy для аналитических запросов и Seaborn для визуализации.

1. Обработка данных

1.1 Импортирование файлов

Чтобы пользоваться инструментами библиотек, их необходимо импортировать, для этого используется команда import:

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

Для начала импортируем три дата сета с информацией о фильмах, их рейтинге, и пользователях стриминг-сервиса с помощью команды pd.read_csv и преобразуем их в DataFrame:

movies_data = pd.read_csv('Dataset_Movie.csv')
ratings = pd.read_csv('Rating.csv')
users = pd.read_csv('users.csv')

1.2 Проверка DataFrame на наличие пустых значений:

Будет полезно проверить DataFrame на наличие пустых значений для корректного вывода информации. Часто используется метод .isnull().sum().
Метод isnull() возвращает DataFrame той же формы, но с булевыми значениями True или False. Поскольку True интерпретируется как 1, а False как 0, сумма по столбцу будет равна количеству пропущенных значений в этом столбце.

print(ratings.isnull().sum())

output:

User_ID 0
Rating 0
Movie_ID 0

1.3 Заполнение пустых значений

Если бы в данных DataFrame присутствовали пустые значения, то преобразовать их можно было бы следующими способами:

ratings['Rating'] = ratings['Rating'].fillna(ratings['Rating'].mean())
users['Age'] = users['Age'].fillna(users['Age'].median())

Был применен метод .fillna(), который заполняет пустые значения в колонке 'Rating' значением в скобках. В данном случае пустые значения были заполнены средним значением в колонке 'Rating' с помощью метода .mean().
Для колонки 'Age' пустые значения были заполнены медианным значением при помощи метода .median()

1.4 Объединение таблиц

Иногда для удобства выполнения запросов или визуализации требуется объединить данные в один DataFrame.

Это можно сделать при помощи метода pd.merge(), затем вывеcти первые пять строк получившегося DataFrame при помощи метода .head(), если, например, требуется проверить корректность получившегося результата:

merged_df = pd.merge(movies_data, ratings, on = 'Movie_ID')
rating_user = pd.merge(users, merged_df, on = 'User_ID')
print(rating_user.head())

2. Аналитические запросы

2.1 Самый популярный жанр

Найти самый популярный жанр фильмов среди пользователей можно следующим способом:

rating_user = rating_user.assign(Genres=rating_user['Favorite_Genre'].str.split('|')).explode('Favorite_Genre')
most_popular_genre = rating_user['Favorite_Genre'].value_counts().idxmax()
print(f'Самый популярный жанр среди пользователей:\n{most_popular_genre}')

Cначала необходимо разделить информацию в колонке 'Favorite_Genre', так как может быть указан не один жанр. Затем с помощью метода .value_counts() производится подсчет количества каждого жанра, и выводится встречающийся чаще всего при помощи .idmax()

2.2 Самый любимый жанр для определенных возрастных групп

Допустим, нам требуется разделить всех пользователей по возрасту и понять, какие фильмы нравятся больше всего каждой возрастной группе:

rating_user['Age_Group'] = pd.cut(rating_user['Age'], 
bins = [18,30,45,60,90], 
labels= ['18-30', '30-45', '45-60', '60-90'])

Можно создать дополнительную колонку 'Age_Group', используя метод pd.cut(), чтобы отнести каждого пользователя к определенной возрастной группе. Указываются в виде списков границы каждой группы (bins) и наименования группы (labels).

Затем, применяя метод pd.pivot_table, создается сводная таблица: по оси абсцисс значения из колонки 'Favorite_Genre', по оси ординат - из 'Age_Group'. Далее в поле значений сводной таблицы находится средний рейтинг по каждому жанру в определенной возрастной группе с округлением до двух знаков после запятой.

popular_genre = pivot.idxmax(axis=0)
popular_genre_df = popular_genre.reset_index()
popular_genre_df.columns = ['Age_Group', 'Most_Popular_Genre']
print(f'Самый популярный жанр для каждой возрастной группы:\n{popular_genre_df}')

output:

Самый популярный жанр для каждой возрастной группы:
Age_Group Most_Popular_Genre
0 18-30 Action
1 30-45 Drama
2 45-60 Romance
3 60-90 Horror

Применив данные из сводной таблицы, был создан новый DataFrame popular_genre_df с колонками 'Age_Group' и 'Most_Popular_Genre'. Было найдено максимальное значение в каждой колонке сводной таблицы с помощью метода .idmax(axis = 0) (axis = 0 указывает, что поиск производится по столбцам).

2.3 Средний рейтинг фильмов за каждое десятилетие

Можно посмотреть, как люди оценивали фильмы за некоторые временные промежутки. Для начала создадим список из необходимых нам десятилетий:

bins1=[1960, 1970, 1980, 1990, 2000]

Аналогично созданию столбца 'Age_Group', создадим колонку 'Decade':

rating_user['Decade'] = pd.cut(
    rating_user['Year'],
    bins=bins1,
    right=False,
    labels=[f'{bins1[i]}' for i in range(len(bins1) - 1)])

Сгруппируем значения по столбцу 'Decade', значения возьмем как средний рейтинг:

avg_rating_by_year = round(rating_user.groupby('Decade', observed =
True)['Rating'].mean(),2)
print(f'Средний рейтинг фильмов за каждое десятилетие:\n{avg_rating_by_year}')

output:
Decade
1960 3.74
1970 3.76
1980 3.62
1990 3.61
Как итог: в семидесятые выпускались фильмы с самым высоким средним рейтингом.

2.4 Страна с наибольшим количеством пользователей

Также, с помощью библиотек python есть возможность найти страну, пользователей стриминга в которой, наибольшее количество.

country_most_users = rating_user['Country'].value_counts().idxmax()
print(f'Страна с наибольшим кол-вом пользователей:\n{country_most_users}')

output:
Страна с наибольшим кол-вом пользователей:
Germany
Методом value_counts().idmax() подсчитывается количество значений и затем выделяется наиболее часто встречающееся. Таким образом, Германия является страной с наибольшим количеством пользователей.

2.5 Самый популярный жанр в каждой стране

Посмотрим, фильмы какого жанра предпочитают пользователи в каждой стране:

top_genre_by_country = rating_user.groupby('Country')
['Favorite_Genre'].apply(lambda x: x.mode()[0])
print(f'Самый популярный жанр в каждой стране:\n
{top_genre_by_country}')

output:

Самый популярный жанр в каждой стране:
Country
Australia Romance
Brazil Romance
Canada Documentary
France Drama
Germany Drama
India Horror
Japan Documentary
Mexico Romance
UK Documentary
USA Romance
Name: Favorite_Genre, dtype: object

В данном случае используется лямбда-функция (lambda), которая берет значения в колонке 'Favorite_Genre' и находит самый частый элемент с помощью метода .mode(). Метод .mode() возвращает список всех значений, встречающихся чаще всего.
Так как нужен только один результат, мы берем первый элемент списка с помощью [0].

2.6 Отбор фильмов с рейтингом больше 4.5

top_movies = rating_user[rating_user['Rating'] > 4.5][['Movie_ID', 'Rating']]

В данном отборе была применена булевая индексация и маскировка: был создан DataFrame c булевыми значениями, где значение True обозначает выполнение условия ['Rating'] > 4.5.
После фильтрации оставлены колонки 'Movie_ID' и 'Rating' для наглядности.

2.7 Количество просмотренных часов для каждого типа подписки

watch_hours = rating_user.groupby('Subscription_Type', observed=True)
['Watch_Time_Hours'].sum()
print(f'Количество просмотренный часов для каждого типа подписки:\n{watch_hours}')

output:
Количество просмотренный часов для каждого типа подписки:
Subscription_Type
Basic 28594802.53
Premium 26518708.16
Standard 27210667.60
Name: Watch_Time_Hours, dtype: float64

Опять же, применяем метод .groupby() для группировки данных по колонке 'Subscription_Type', а для значений выносим сумму по часам просмотренного контента. Получается, что пользователи с видом подписки 'Basic' смотрят фильмы и сериалы больше остальных пользователей.

3. Визуализация

3.1 Гистограмма распределения возраста пользователей

sns.histplot(rating_user['Age'], bins = 10, kde = True, color='pink')
plt.title('Распределение возраста пользователей')
plt.show()

C помощью метода sns.hisplot() была построена гистограмма распределения возраста пользователей.

3.2 Кривая плотности рейтинга

Для наглядности можно визуализировать кривую плотности рейтинга:

sns.kdeplot(rating_user['Rating'], color='blue', fill=True)
plt.title('Кривая плотности рейтинга')
plt.show()

Следовательно, можно увидеть, что пользователи больше склонны ставить фильмам оценку '4'.

3.3 Распределение типов подписок по разным возрастным группам

Сгруппируем данные по возрастной группе и типу подписки:

subscription_counts = rating_user.groupby(['Age_Group',
'Subscription_Type'], observed=True).size().reset_index(name='Count')
print(subscription_counts)

output:
Age_Group Subscription_Type Count
0 18-30 Basic 8753
1 18-30 Premium 9662
2 18-30 Standard 8254
3 30-45 Basic 14185
4 30-45 Premium 11211
5 30-45 Standard 11167
6 45-60 Basic 11977
7 45-60 Premium 12598
8 45-60 Standard 12310
9 60-90 Basic 17929
10 60-90 Premium 14991
11 60-90 Standard 16373

Была произведена группировка по двум колонкам: 'Age_Group' и 'Subscription_Type'. Метод .size() подсчитывает количество записей в каждой группе. То есть, для каждой уникальной пары значений 'Age_Group' и 'Subscription_Type' будет определено число подписчиков. Метод .reset_index() преобразует результат группировки обратно в DataFrame. Параметр name='Count' присваивает имя новому столбцу, содержащему количество подписчиков для каждой комбинации 'Age_Group' и 'Subscription_Type'.

Построение гистограммы barplot:

sns.barplot(x='Age_Group', y='Count', hue='Subscription_Type',
data=subscription_counts, palette='viridis')
plt.title('Распределение типов подписок по возрастным группам')
plt.xlabel('Возрастная группа')
plt.ylabel('Количество подписок')
plt.legend(title='Тип подписки')
plt.show()

По оси абсцисс выводится возрастная группа, по оси ординат количество подписчиков. Из данной гистаграммы видно, что пользователи от 18 до 30 лет чаще выбирают подписку Premium, а пользователи более старшего возраста предпочитают подписку Basic.

По итогам всего вышесказанного можно понять, как с помощью языка python и его библиотек визуализировать информацию, получить необходимые данные, провести аналитику по различным критериям и категориям для различных нужд.

Инструменты Python для анализа данных на примере данных стриминг-сервиса