Именно этот вопрос возник у нас в процессе игры в "Города" пока мы ехали из Екатеринбурга в Тюмень, а названия городов то и дело заканчивались на "К". В тот момент город Курган был назван уже 25 раз. И нас озарило... Спарсим данные с RuWiki и посмотрим сколько городов в России начинаются и заканчиваются на букву К!
Наш подробный пайплайн исследования названий городов России:
1) Сбор данных
Мы решили спарсить данные с названиями городов и датой их первого упоминания с RuWiki.
Пример кода для парсинга данных с сайтов (Спасибо эре вайб кодинга)):
import requests
from bs4 import BeautifulSoup
import csv
url = "https://ru.ruwiki.ru/wiki/Список_городов_России"
resp = requests.get(url)
resp.raise_for_status()
soup = BeautifulSoup(resp.text, "html.parser")
# находим основную таблицу списка городов
table = soup.find("table")
rows = table.find_all("tr")
results = []
for row in rows[1:]: # пропускаем заголовок
cols = row.find_all(["td","th"])
if len(cols) >= 7:
# номер, герб, город, регион, округ, население, основание
city = cols[2].get_text(strip=True) #берем 2 колонку
first_mention = cols[6].get_text(strip=True)
results.append((city, first_mention))
# сохраняем в CSV
with open("cities_first_mention.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
writer.writerow(["Город", "Основание/Первое упоминание"])
writer.writerows(results)
print(f"Записано {len(results)} строк.")2) Нормализация данных
Данные с RuWiki не всегда однородные: в названиях могут быть пробелы, а даты находиться в форматах «1147» и «XII век». С помощью регулярок названия городов приведены к единому виду - убрали лишние пробелы, а также преобразовали века в годы: например, XII век → 1100.
import re
def extract_year(text):
# Проверяем, что входное значение — строка, иначе возвращаем None
if not isinstance(text, str):
return None
text = text.lower() # приводим текст к нижнему регистру для упрощения поиска
# ищем обычный год в формате 1000–1999 или 500–999
year_match = re.search(r'\b(1[0-9]{3}|[5-9][0-9]{2})\b', text)
if year_match:
return int(year_match.group()) # если нашли год — возвращаем его как число
# ищем века, записанные римскими цифрами
century_match = re.search(r'([ivxlcdm]+)\s*век', text)
if century_match:
roman = century_match.group(1).upper() # получаем римское число и переводим в верхний регистр
roman_map = {
'I':1,'V':5,'X':10,'L':50,'C':100,'D':500,'M':1000
}
# Конвертация римских цифр в арабское число
value = 0
prev = 0
for c in roman[::-1]: # идём с конца строки
if roman_map[c] < prev: # если меньшая цифра перед большей — вычитаем
value -= roman_map[c]
else: # иначе прибавляем
value += roman_map[c]
prev = roman_map[c]
return (value - 1) * 100 # переводим век в начало века (например, XII в 1100)
# Если ни обычный год, ни век не найдены — возвращаем None
return None
3) Диахронический анализ (временная динамика)
Помимо того, что мы достали годы, хотелось сгруппировать даты по различным историческим периодам, чтобы в дальнейшем анализировать уже более мелкие группы.
Всё это получилось реализовать с помощью простых if, elif, else:
def period_historical(year):
if year is None:
return None
elif year < 1300: # VIII–XIII век
return "Киевская Русь / Древнерусское государство"
elif year < 1700: # XIV–XVI век
return "Московский период"
elif year < 1917: # XVII–1916
return "Период Российской империи"
elif year < 1991: # 1917–1990
return "Советский период"
else: # после 1991
return "Постсоветский период"С помощью pandas загружается CSV с названиями городов и годом их основания. Функция period_historical присваивает каждому городу исторический период: Киевская Русь, Московский период, Российская империя, Советский и Постсоветский. С помощью value_counts() и упорядочивания категорий по хронологии. И, конечно, визуализация:3 matplotlib строит столбчатую диаграмму, где видно количество городов, основанных в каждом периоде.
matplotlib, где видно количество городов, основанных в каждом периоде. 4) Алфавитный анализ
Скрипт считает, сколько городов начинается с каждой буквы алфавита, и строит столбчатую диаграмму распределения по буквам.
import matplotlib.pyplot as plt
# Получаем первую букву каждого города
df["first_letter"] = (
df["Город"] # берем название города
.str.strip() # убираем пробелы по краям
.str.upper() # приводим букву к верхнему регистру
.str[0] # берём только первую букву
)
# Считаем количество городов на каждую букву и сортируем по алфавиту
letter_counts = (
df["first_letter"]
.value_counts() # подсчёт уникальных букв
.sort_index() # сортировка по алфавиту
)
# Строим столбчатую диаграмму
plt.figure()
letter_counts.plot(kind="bar") # гистограмма
plt.xlabel("Первая буква названия города") # подпись оси X
plt.ylabel("Количество городов") # подпись оси Y
plt.title("Распределение названий городов России по начальной букве") # заголовок
plt.xticks(rotation=0) # подписи букв горизонтально
plt.tight_layout() # подгонка графика
plt.show() # отображение графика
Подобная операция была выполнена для определения количества городов, заканчивающихся на какую-либо из букв алфавита.
И снова буква К в победителях) Городов, начинающихся на К: 175 Городов, заканчивающихся на К: 404 (не Error)).
5) Интересные закономерности:
Большинство городов основано в период Российской империи;
Буква «К» доминирует в названиях городов России, причем не только в начале слов, но и в конце;
Городов, начинающихся на Й - 1!!! Городов, заканчивающихся на Й, заметно больше - 80! Так что можно выигрывать за счет этого)));
Города-дубликаты! Найдено 27 близняшек))
Самые короткие названия (2-3 буквы): Уфа, Ом, Як. Длинные названия состоят из 15–20 букв, например Северодвинск, Новокузнецк, Новосибирск.
