А если взять количество фото на квадрат, фото которые выкладывают туристы, и узнать самые посещаемые и красивые места/районы. Например с panoramio, правда этот сервис не работает сейчас, но фотки с него показываются в google earth, а значит можно выдрать json меток с координатами.
Спасибо за популяризацию Питона. Сам собираю данные какие мне надо таким образом. Любые JSON, XML, CSV… буквально на днях выкачал 26тыс координат населенных пунктов определенных областей, н.п. существовавших в 19 веке, а ныне не существующих. Под свою карту, более удобную. Ес-но не коммерческую. Ибо кто вводил координаты, проделали конечно титаническую работу, но совсем не правильно отображают метки на карте. Не знают что такое кластеризаторы на карте, что при показе более 1-3тыс меток браузер жутко подвисает. Так что Web Scraping живет! ))
Автор молодец, сам много лет подобное изобретаю везде где работаю.
тут бы сделал так: залил прайсы в базу которую больше всего знаю, например MSSQL. Почти у всех прайсов сейчас есть внутренний код товара в этой организации, а то и два кода… Привязывайся к любому. Получается надо один раз свести все товары, сделать перекрестную таблицу. «Свести товары» — это самое сложное, тут надо как автор, через регулярные выражения и т.п. А далее по кодам работать ежедневно прайсы обновлять. Выделять новые строки, или исчезнувшие позиции. Ну если кто нибудь поменяет коды — по последнему разобранному прайсы от этой организации по наименованиям вычистить новые коды.
Ну и выбрать позиции уже составит не 30 минут, а ровно столько, сколько потребуется времени распознать позиции в заявке. Критерии выборки от количества и т.п. устанавливаем (например сверла от 100шт берем в Фирма1, а от 10000шт в Фирма2). В эту же секунду всё будет в лучшем виде!
Т.е. гугля бы в помощь не привлекал, сервер БД самый верный помощник. Высвободившихся людей вы посадил на периодическую выверку соответствия. Это не сложно, когда удобная отображалка.
А в Ардуино GSM модуле наверняка легко IMEI свой подставить? На досуге покопаюсь, прикупил давненько, лежит без дела. Если возможно, то ещё и название модели телефона бы подставить!
Отлично, ещё cookie надо стирать да localStorage чистить, а то сейчас веб программисты ух! Все им любопытно и хочется узнать, даже когда выходишь из учётки.
frdocheck.obrnadzor.gov.ru даже взаимодействует не через HTTPS. То что я запрашиваю передаётся «открытым текстом» )) Сложно чтоли сертификат приделать.
Тогда надо и сюда заходить через анонимайзер, и зарегиться тут накануне написания статьи тут, иначе начнут серьёзно искать, могут вычислить по старым сообщениям, логам с этого сервера… ))
А если взять количество фото на квадрат, фото которые выкладывают туристы, и узнать самые посещаемые и красивые места/районы. Например с panoramio, правда этот сервис не работает сейчас, но фотки с него показываются в google earth, а значит можно выдрать json меток с координатами.
Спасибо за статью. Отмечусь как R4NAF. 73!
тут бы сделал так: залил прайсы в базу которую больше всего знаю, например MSSQL. Почти у всех прайсов сейчас есть внутренний код товара в этой организации, а то и два кода… Привязывайся к любому. Получается надо один раз свести все товары, сделать перекрестную таблицу. «Свести товары» — это самое сложное, тут надо как автор, через регулярные выражения и т.п. А далее по кодам работать ежедневно прайсы обновлять. Выделять новые строки, или исчезнувшие позиции. Ну если кто нибудь поменяет коды — по последнему разобранному прайсы от этой организации по наименованиям вычистить новые коды.
Ну и выбрать позиции уже составит не 30 минут, а ровно столько, сколько потребуется времени распознать позиции в заявке. Критерии выборки от количества и т.п. устанавливаем (например сверла от 100шт берем в Фирма1, а от 10000шт в Фирма2). В эту же секунду всё будет в лучшем виде!
Т.е. гугля бы в помощь не привлекал, сервер БД самый верный помощник. Высвободившихся людей вы посадил на периодическую выверку соответствия. Это не сложно, когда удобная отображалка.
Спасибо за статью!