Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 6
Осталось 108 необработанных значений. Их добиваем вручную, иногда обращаясь за помощью в Google.Разве это не «RUS» в неправильной раскладке?
… 'КГЫ': 'KGZ', ...
Спасибо за труд.
Почему в таблице замен datahub.io записи NaN соответствует Taiwan?
Ну вы, ребят, даете. Там же все данные открыты по API, обращаетесь и получаете красивый json, который, конечно может поменяться в любой момент, но скорее всего более стабильный к изменениям чем html, который вы большую часть статьи парсите ;). И еще подсказка, в результатах есть поле ProfileUrl, которое является указанием на профайл спортсмена и там уже приведенный пол, имя и так далее. Не везде, но в абсолютном большинстве случаев — это уберегло бы вас от нормализации на своей стороне. Потому что она понятное дело тоже делается, просто в протоколах гонок я оставляю оригинальные названия, но для определения профайла, конечно, тоже вожусь с транслитерацией и тем, что Наталья и Наталия — это разные имена, но на английском будут одинаковыми, ну и там еще оч. много разного ;)
Спасибо. Теперь буду знать. На самом деле когда я начинал, я толком не представлял, что хочу получить в итоге. Все это было больше упражнение, и скраппинг и парсинг — важная его часть. К тому же, я точно не думал, что потребуется ТАК много препроцессинга. На профайл не обратил внимания — и правда, было бы полезно. Но с другой стороны, если рассматривать мой пост применительно к другому кейсу, там никаких пройфайлов скорее всего не будет, и описанные приемы обработки могут пригодиться. Насчет API, было бы здорово, если бы эта информация была на сайте; а если еще с примерами, так вообще замечательно. Ведь данные действительно ценные.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Большой туториал по обработке спортивных данных на python