Приятно когда живешь там где у тебя вход в метро в 15 минутах ходьбы и с комфортом жизни неплохо. Но кушать хочется всегда, а на рабочей неделе уж совсем нет времени и желания ехать в супермаркет чтобы сварить гречневую кашу и взять что-нибудь на завтрак. Магазины шаговой доступности есть везде, но мне хотелось бы чтобы это было что-нибудь более привычное, типа Пятёрочки, Дикси, Магнита, Перекрёстка, Магнолии, Атак или Ленты.
Жизнь по этому фактору в Серебряном бору( это один из победителей в категории удаленности от неблагоприятных факторов) отпадает сразу - там и до метро не близко! Найдем более удобные места для ежедневной жизни и похода в продуктовый магазин.
Это как в дилеме что первее: курица или яйцо, так же сетевой продуктовый/жилой район. Компании владельцы торговых сетей тратят деньги на геоанализ где им лучше расположить продуктовый магазин. Так что в каком-то виде мы переиспользуем их аналитику и найдем где живут мои соседи. Если же нужна другая группа соседей, то нужно поискать окрестности Азбуки Вкуса и бывшего Елисеевского.
Про то как выбрать правильное место для открытия магазина и что нужно для этого учесть написал в этой публикации.
Для анализа буду как обычно использовать геоданные OSM, и вот для выбора сетевых магазинов без "черной магии" мне не удастся обойтись, потому что в исходных данных полно опечаток, разных написаний и разношёрстности в обозначениях. После получаса экспериментов мне удалось подобрать нужное заклинание:
create temporary table supermarket_entrance as select id, centre, tags from geometry_global_view where (tags@>'shop=>supermarket' or tags@>'shop=>convenience') and (tags->'brand' in ('Пятёрочка','ВкусВилл','Дикси','Магнит', 'Перекрёсток','Магнолия','Перекресток', 'Лента','Eurospar','Ашан','Супер Лента', 'Атак','СуперЛента','О’КЕЙ','Spar', 'Перекресток Экспресс','SPAR', 'METRO Cash & Carry','EuroSPAR','АТАК', 'Ашан Сити','Мини Лента','EUROSPAR', 'МиниЛента','METRO','Auchan','супер Лента') or tags@>'brand:wikipedia=>ru:Auchan');
Подробнее про подготовку данных к анализу можете почитать в прошлой статье. Чтобы исключить из геоанализа мавзолей на Красной площади и Кремлевские башни добавлю фильтр:not(b.tags?'tomb') and not(b.tags?'man_made') и найду жилые здания у интересующих магазинов:
explain create table living_building_near as select m.id supermarket_entrance_id,st_x(m.centre) supermarket_entrance_x,st_y(m.centre) supermarket_entrance_y, array_agg((b.id,b.type,st_x(b.centre),st_y(b.centre))::building_info) buildings from supermarket_entrance m inner join geometry_global_view b on b.tags?'building' and not(b.tags?'amenity') and not(b.tags?'shop') and not(b.tags?'tomb') and not(b.tags?'man_made') and b.tags->'building' not in --в перечисленных ниже зданиях не живут на постоянной основе ('service','garages','industrial','retail','office','roof','commercial','garage','kiosk','warehouse','church', 'parking','public','shed','hangar','train_station','guardhouse','transportation','terrace','greenhouse','bridge', 'government','chapel','gazebo','civic','ruins','supermarket','sports_centre','semidetached_house','toilets', 'sports_hall','clinic','farm_auxiliary','stable','grandstand','bunker','gatehouse','store','temple','ventilation_kiosk', 'carport','cowshed','barracks','shop','cabin','barn','cathedral','wall','townhouse','manufacture','shelter', 'fire_station','stadium','stands','sport_hall','theatre','storage_tank','checkpoint','houseboat','abandoned','dovecote', 'mosque','museum','military','container','observatory','lift','tent','factory','sport','mall','riding_hall','depot', 'prison','gate','triumphal_arch','water_works','public_building','pavilion','bank','institute','works','collapsed', 'car_repair','crossing_box','fuel','tree_house','presbytery','yesq','farm','outbuilding','police','porch','sauna', 'monastery','cinema','tower','boathouse','library','transformer_tower','heat_exchange_station','ice_rink','entrance','construction','transformer' ) and ST_DWithin(b.geom::geography,m.centre::geography,500) group by 1,2,3; -- create table living_building_near as select m.id supermarket_entrance_id,st_x(m.centre) supermarket_entrance_x,st_y(m.centre) supermarket_entrance_y,array_agg((b.id,b.type,st_x(b.centre),st_y(b.centre))::building_info) buildings from supermarket_entrance m inner join geometry_global_view b on b.tags?'_lb' and ST_DWithin(b.geom::geography,m.centre::geography,500) group by 1,2,3;
Посчитаю пешеходные расстояния от магазина до домов в радиусе 500м. Чтобы учесть случаи когда дом расположен через реку или автостраду без подземного перехода, не включать его в расчет расстояния.
GraphHopper 8 как движок расчета расстояний и Java код для него.
create table supermarket_distance( entrance_id bigint, building_id bigint, building_type table_reference, distance smallint, primary key(entrance_id,building_id,building_type) );
Основная проблема с расчетом расстояний - это время вычислений, в случае если сервис взаимодействует с программой как REST через TCP добавляется round trip пакетов к времени обработки каждого запроса, поэтому буду использовать Graphhopper как библиотеку внутри процесса без вызовов по HTTP:
package com.github.isuhorukov.routing; import com.graphhopper.GHRequest; import com.graphhopper.GHResponse; import com.graphhopper.GraphHopper; import com.graphhopper.ResponsePath; import com.graphhopper.config.CHProfile; import com.graphhopper.config.Profile; import org.postgresql.jdbc.PgArray; import org.postgresql.util.PGobject; import java.sql.*; import java.util.ArrayList; import java.util.Arrays; import java.util.List; import java.util.stream.Collectors; public class Routing { public static final int MAX_DISTANCE = 500; public static void main(String[] args) throws Exception { GraphHopper hopper = getGraphHopper(); try (Connection connection = DriverManager.getConnection( System.getenv("jdbc_url"), System.getenv("user"), System.getenv("password"))) { connection.setAutoCommit(false); try { var distances = calculateDistances(connection, hopper); saveDistance(connection, distances); } catch (SQLException e) { connection.rollback(); throw e; } } } private static GraphHopper getGraphHopper() { var hopper = new GraphHopper(); hopper.setOSMFile(System.getenv("osm_file")); hopper.setGraphHopperLocation("route"); hopper.getCHPreparationHandler().setCHProfiles(new CHProfile("foot")); hopper.setProfiles(new Profile("foot").setVehicle("foot")); hopper.importOrLoad(); return hopper; } private static List<Distance> calculateDistances(Connection connection, GraphHopper hopper) throws SQLException { List<Distance> distances = new ArrayList<>(); try (Statement supermarketQuery = connection.createStatement()){ int step=0; try (ResultSet livingBuilding = supermarketQuery.executeQuery("select * from living_building_near")){ while (livingBuilding.next()){ long supermarketEntranceId = livingBuilding.getLong("supermarket_entrance_id"); double supermarketEntranceX = livingBuilding.getDouble("supermarket_entrance_x"); double supermarketEntranceY = livingBuilding.getDouble("supermarket_entrance_y"); PgArray buildingsArray = (PgArray) livingBuilding.getArray("buildings"); List<Building> buildings = mapBuildings(buildingsArray); System.out.println(step++); distances.addAll(buildings.stream().map(building -> { short distance = calculateDistances(hopper, building, supermarketEntranceY, supermarketEntranceX); return new Distance(supermarketEntranceId,building.buildingId, building.buildingType, distance); }).collect(Collectors.toList())); } } } return distances; } private static void saveDistance(Connection connection, List<Distance> distances) throws SQLException { try (PreparedStatement insert = connection.prepareStatement( "insert into supermarket_distance(entrance_id,building_id,building_type,distance) " + "values (?,?,?::table_reference,?)")){ distances.forEach(distance -> { if(distance.distance> MAX_DISTANCE) return; try { insert.setLong(1, distance.supermarketEntranceId); insert.setLong(2, distance.buildingId); insert.setString(3, distance.buildingType); insert.setShort(4, distance.distance); insert.addBatch(); } catch (SQLException e) { throw new RuntimeException(e); } }); insert.executeBatch(); connection.commit(); } } private static List<Building> mapBuildings(PgArray buildingsArray) throws SQLException { return getPgObjects(buildingsArray).stream().map(pGobject -> { String value = pGobject.getValue(); if(value==null || value.length()<=2){ throw new IllegalArgumentException(); } String[] parts = value.substring(1, value.length() - 1).split(","); long buildingId = Long.parseLong(parts[0]); String buildingType = parts[1]; double buildingX = Double.parseDouble(parts[2]); double buildingY = Double.parseDouble(parts[3]); return new Building(buildingId, buildingType, buildingX, buildingY); }).collect(Collectors.toList()); } private static List<PGobject> getPgObjects(PgArray buildingsArray) throws SQLException { Object[] array = (Object[]) buildingsArray.getArray(); buildingsArray.free(); return Arrays.stream(array).map(object -> (PGobject) object).collect(Collectors.toList()); } private static short calculateDistances(GraphHopper hopper, Building building, double supermarketEntranceY, double supermarketEntranceX) { GHRequest request = new GHRequest(supermarketEntranceY, supermarketEntranceX, building.buildingY, building.buildingX); request.setProfile("foot"); GHResponse route = hopper.route(request); if(route.hasErrors()){ return Short.MAX_VALUE; } ResponsePath bestRoute = route.getBest(); return (short) Math.round(bestRoute.getDistance()); } private static class Building{ long buildingId; String buildingType; double buildingX; double buildingY; public Building(long buildingId, String buildingType, double buildingX, double buildingY) { this.buildingId = buildingId; this.buildingType = buildingType; this.buildingX = buildingX; this.buildingY = buildingY; } } private static class Distance{ long supermarketEntranceId; long buildingId; String buildingType; short distance; public Distance(long supermarketEntranceId, long buildingId, String buildingType, short distance) { this.supermarketEntranceId = supermarketEntranceId; this.buildingId = buildingId; this.buildingType = buildingType; this.distance = distance; } } }
Выгружаю результат анализа в GeoJSON файл и отправляю его на GitHub:
\copy (select json_build_object('type', 'FeatureCollection','features', json_agg(json_build_object('type', 'Feature','geometry', st_AsGeoJSON(centre)::json))) from (select distinct centre from supermarket_distance s inner join geometry_global_view b on b.id=s.building_id and b.type=s.building_type) buildings ) to '~/moscow_supermarket_footpath.json';
Интересные находки
Подъезды в жилых домах в Москве часто не размечены на OpenStreetMap.
Можно было бы увеличить точность вычисления пешеходной дистанции к магазину, но сначала нужно разметить подъезды в исходных данных. И уже внес свою посильную помощь в геоданные Москвы по подъездам в жилых домах. Пообщался c местным сообществом мэпперов на эту тему и умные люди подсказали сайт, где желающие могут найти дома в которых не указаны подъезды и разметить их в OpenStreetMap.
В Москве для зданий иногда не хватает информации о его типе. Как заметили в коментариях к карте само здание магазина может быть учтено как жилое. В этом случае правильным решением будет изменить тип здания на building=retail и пересчитать карту. Я могу найти все такие здания и сформировать список, чтобы люди живущие в этом районе перепроверили и если здание действительно только с коммерческими объектами/магазином, обновили данные в OSM.
Исходные данные OpenStreetMap доступны каждому и по лицензии являются свободными. Не надо быть data science специалистом чтобы посчитать расстояния от магазинов до домов.
Результат геоаналитики
Готовую карту жилых домов Москвы в 500м от сетевых продуктовых магазинов вы можете посмотреть по ссылке на GitHub Gist. Где точки на карте обозначают центры жилых зданий в шаговой доступности от магазинов.
Используйте на здоровье, если вам при выборе места жительства хочется учесть и тоже нужно зайти вечером в ближайший сетевой продуктовый магазин у дома.
Случайная популярность или как работает пресса
А теперь пару слов как работают журналисты или кто-то заказал очернение этой публикации про работу с открытыми гео данными или это резюме от ChatGPT.
Помните мем: Ученые научились лечить рак?
В этом случае все произошло так же. Лента ру опубликовала статью про то что удобное не удобно. Интересно случайно или в этом есть цель обесценить мой труд? Оставлю скриншот:
И самое интересное ссылка ведет сразу на Github, избегая описания на Хабре... Сравните оригинал и новость!)
