Heatmap на интерактивной карте с помощью folium

Возникла необходимость изобразить на интерактивной карте актуальное предложение вакансий в сфере Data Science с агрегацией по городам.

Действовать будем в 3 этапа:

1. Парсинг вакансий с hh API
2. Актуализация геолокаций каждой вакансии с точностью до населенного пункта
3. Построение heatmap по количеству вакансий и по средней предлагаемой зарплате с помощью folium

1. Парсинг вакансий с hh API

Воспользуемся официальным API hh.ru (документация).

Основные параметры, которые мы будем передавать через API:

def get_vacancies(skills, filename, pages=10):
    res = []
    for indx, skill in enumerate(skills):
        print(f'\ncollecting <{skill}> ({indx+1} of {len(skills)})')
        for page in range(pages):
            params = {
                'text': f'{skill}',
                'page': page,
                'per_page': 100,
                'only_with_salary': 'true',
            }
            req = requests.get('https://api.hh.ru/vacancies', params).json()
            if 'items' in req.keys():
                res.extend(req['items'])
            print('|', end='')

df = pd.DataFrame(res)
df.to_csv(filename, index=False)

Функция создает в текущей дериктории файл с указанным названием.
Полный листинг парсинга с очисткой данных здесь.

В нашем примере используем ключевые слова, характерные для выбранной сферы. Результат сохраним в файл 'data.csv'.

skill_list = ['machine AND learning', 'data AND science', 'NLP',
              'spark', 'hadoop', 'pandas', 'dask', 'deep AND learning', 'pytorch',
              'tensorflow', 'keras', 'ai AND developer', 'computer AND vision',
              'нейронные AND сети', 'big AND data']

get_vacancies(skill_list, 'data.csv')

В результате получаем такую таблицу:

Нам понадобятся колонки 'city' и 'salary_mean'.

2. Актуализация геолокаций каждой вакансии с точностью до населенного пункта

Хотя некоторые вакансии на hh.ru снабжены геометками, актуальность их сомнительна (на поверку некоторые города оказываются совсем не в положенном им месте, часть даже оказалась посреди Черного моря).

Для актуализации координат населенных пунктов, указанных в вакансиях, воспользуемся библиотекой geopy (документация).

from geopy.geocoders import Nominatim
geolocator = Nominatim(user_agent="geo")

def get_coords(city):
    geo = geolocator.geocode(city)
    if geo:
        return geo.longitude, geo.latitude
    else:
        return np.nan, np.nan

coords = pd.DataFrame(data=df['city'].unique(), columns=['city'])
coords['coords'] = (coords['city']
                        .apply(lambda x: get_coords(x)))

df = df.merge(coords, on='city')

df.head()

3. Построение heatmap по количеству вакансий и по средней предлагаемой зарплате с помощью folium

Документация на folium

import folium
from folium import plugins, branca

Для начала создаем объект класса Map для рисования карты. В него передаем для параметра: координаты локализации и степень приближения при загрузке карты.

mapObj = folium.Map(location=[57.23337810789467, 48.05744173358704], zoom_start=5)

Лайфхак. Для определения координат и степени приближения можно сделать так:

Создаем объект класса Map с параметрами по-умолчанию, сохраняем в формат html.

mapObj = folium.Map()
mapObj.save('output.html')

Открываем сохраненный файл 'output.html'. Перемещаемся в интересующее место на карте. Правая кнопка -> inspect -> Console. Вводим:

map_<какие-то буквы, цифры>.getCenter() — получаем координаты центра текущего вида.

map_<какие-то буквы, цифры>.getZoom() — получаем zoom текущего вида.

Мне было необходимо очертить границы регионов на карте. Для этого добавляем в нашу карту информацию из файла формата geojson. В параметр 'style_function' передаем словарь с характеристиками стиля изображения данных нашего geojson (цвет линий, их толщина, цвет заливки, прозрачность).

bordersStyle = {
    'color': 'red',
    'weight': 0.2,
    'fillColor': 'grey',
    'fillOpacity': 0.3
}

folium.GeoJson('russia.geojson',
               name='Russia',
              style_function=lambda x: bordersStyle).add_to(mapObj)

Создаем список координат и передаем его в класс HeatMap. Дабавляем HeatMap к нашему объекту карты.

heat_data = [[lat, lon] for lon, lat in df['coords']]
plugins.HeatMap(heat_data, radius=18, gradient={0.4: 'blue', 0.65: 'lime', 1: 'red'}).add_to(mapObj)

Легенду можно создать с помощью класса LinearColormap:

colormap = branca.colormap.LinearColormap(['blue', 'lime', 'red'], 
                                          vmin=1, 
                                          vmax=df['city'].value_counts()[0], 
                                          caption='Насыщение рынка по количеству вакансий')
colormap.add_to(mapObj)

Теперь карту можно сохранить в формат 'html'.

mapObj.save('output1.html')

Тоже самое проделаем для данных о средней зарплате. Единственное отличие — в список heat_data помимо координат передаем третий параметр weight (им будут вычисленные в разрезе населенных пунктов средние зарплаты)

salary_mean = (df
     .groupby('city')[['salary_mean']]
     .agg('mean')
)

salary_mean = coords.merge(salary_mean, on='city')

mapObj = folium.Map(location=[57.23337810789467, 48.05744173358704], zoom_start=5)

bordersStyle = {
    'color': 'red',
    'weight': 0.2,
    'fillColor': 'grey',
    'fillOpacity': 0.3
}

folium.GeoJson('russia.geojson',
               name='Russia',
              style_function=lambda x: bordersStyle).add_to(mapObj)

heat_data = []
for i in range(len(salary_mean)):
    heat_data.append([*reversed(salary_mean['coords'][i]), salary_mean['salary_mean'][i]])

plugins.HeatMap(heat_data, radius=18, gradient={0.4: 'blue', 0.65: 'lime', 1: 'red'}).add_to(mapObj)

colormap = branca.colormap.LinearColormap(['blue', 'lime', 'red'], 
                                          vmin=salary_mean['salary_mean'].min(), 
                                          vmax=salary_mean['salary_mean'].max(), 
                                          caption='Насыщение рынка по средней предлагаемой зарплате')
colormap.add_to(mapObj)

mapObj.save('output2.html')

Полный листинг примера в репозитории Github