Именно этот вопрос возник у нас в процессе игры в "Города" пока мы ехали из Екатеринбурга в Тюмень, а названия городов то и дело заканчивались на "К". В тот момент город Курган был назван уже 25 раз. И нас озарило... Спарсим данные с RuWiki и посмотрим сколько городов в России начинаются и заканчиваются на букву К!
Наш подробный пайплайн исследования названий городов России:
1) Сбор данных
Мы решили спарсить данные с названиями городов и датой их первого упоминания с RuWiki.
Пример кода для парсинга данных с сайтов (Спасибо эре вайб кодинга)):
import requests from bs4 import BeautifulSoup import csv url = "https://ru.ruwiki.ru/wiki/Список_городов_России" resp = requests.get(url) resp.raise_for_status() soup = BeautifulSoup(resp.text, "html.parser") # находим основную таблицу списка городов table = soup.find("table") rows = table.find_all("tr") results = [] for row in rows[1:]: # пропускаем заголовок cols = row.find_all(["td","th"]) if len(cols) >= 7: # номер, герб, город, регион, округ, население, основание city = cols[2].get_text(strip=True) #берем 2 колонку first_mention = cols[6].get_text(strip=True) results.append((city, first_mention)) # сохраняем в CSV with open("cities_first_mention.csv", "w", newline="", encoding="utf-8") as f: writer = csv.writer(f) writer.writerow(["Город", "Основание/Первое упоминание"]) writer.writerows(results) print(f"Записано {len(results)} строк.")
2) Нормализация данных
Данные с RuWiki не всегда однородные: в названиях могут быть пробелы, а даты находиться в форматах «1147» и «XII век». С помощью регулярок названия городов приведены к единому виду - убрали лишние пробелы, а также преобразовали века в годы: например, XII век → 1100.
import re def extract_year(text): # Проверяем, что входное значение — строка, иначе возвращаем None if not isinstance(text, str): return None text = text.lower() # приводим текст к нижнему регистру для упрощения поиска # ищем обычный год в формате 1000–1999 или 500–999 year_match = re.search(r'\b(1[0-9]{3}|[5-9][0-9]{2})\b', text) if year_match: return int(year_match.group()) # если нашли год — возвращаем его как число # ищем века, записанные римскими цифрами century_match = re.search(r'([ivxlcdm]+)\s*век', text) if century_match: roman = century_match.group(1).upper() # получаем римское число и переводим в верхний регистр roman_map = { 'I':1,'V':5,'X':10,'L':50,'C':100,'D':500,'M':1000 } # Конвертация римских цифр в арабское число value = 0 prev = 0 for c in roman[::-1]: # идём с конца строки if roman_map[c] < prev: # если меньшая цифра перед большей — вычитаем value -= roman_map[c] else: # иначе прибавляем value += roman_map[c] prev = roman_map[c] return (value - 1) * 100 # переводим век в начало века (например, XII в 1100) # Если ни обычный год, ни век не найдены — возвращаем None return None
3) Диахронический анализ (временная динамика)
Помимо того, что мы достали годы, хотелось сгруппировать даты по различным историческим периодам, чтобы в дальнейшем анализировать уже более мелкие группы.
Всё это получилось реализовать с помощью простых if, elif, else:
def period_historical(year): if year is None: return None elif year < 1300: # VIII–XIII век return "Киевская Русь / Древнерусское государство" elif year < 1700: # XIV–XVI век return "Московский период" elif year < 1917: # XVII–1916 return "Период Российской империи" elif year < 1991: # 1917–1990 return "Советский период" else: # после 1991 return "Постсоветский период"
С помощью pandas загружается CSV с названиями городов и годом их основания. Функция period_historical присваивает каждому городу исторический период: Киевская Русь, Московский период, Российская империя, Советский и Постсоветский. С помощью value_counts() и упорядочивания категорий по хронологии. И, конечно, визуализация:3 matplotlib строит столбчатую диаграмму, где видно количество городов, основанных в каждом периоде.
matplotlib, где видно количество городов, основанных в каждом периоде. 4) Алфавитный анализ
Скрипт считает, сколько городов начинается с каждой буквы алфавита, и строит столбчатую диаграмму распределения по буквам.
import matplotlib.pyplot as plt # Получаем первую букву каждого города df["first_letter"] = ( df["Город"] # берем название города .str.strip() # убираем пробелы по краям .str.upper() # приводим букву к верхнему регистру .str[0] # берём только первую букву ) # Считаем количество городов на каждую букву и сортируем по алфавиту letter_counts = ( df["first_letter"] .value_counts() # подсчёт уникальных букв .sort_index() # сортировка по алфавиту ) # Строим столбчатую диаграмму plt.figure() letter_counts.plot(kind="bar") # гистограмма plt.xlabel("Первая буква названия города") # подпись оси X plt.ylabel("Количество городов") # подпись оси Y plt.title("Распределение названий городов России по начальной букве") # заголовок plt.xticks(rotation=0) # подписи букв горизонтально plt.tight_layout() # подгонка графика plt.show() # отображение графика
Подобная операция была выполнена для определения количества городов, заканчивающихся на какую-либо из букв алфавита.
И снова буква К в победителях) Городов, начинающихся на К: 175 Городов, заканчивающихся на К: 404 (не Error)).
5) Интересные закономерности:
Большинство городов основано в период Российской империи;
Буква «К» доминирует в названиях городов России, причем не только в начале слов, но и в конце;
Городов, начинающихся на Й - 1!!! Городов, заканчивающихся на Й, заметно больше - 80! Так что можно выигрывать за счет этого)));
Города-дубликаты! Найдено 27 близняшек))
Самые короткие названия (2-3 буквы): Уфа, Ом, Як. Длинные названия состоят из 15–20 букв, например Северодвинск, Новокузнецк, Новосибирск.
