czorny 12 мая 2013 в 14:07

Быстрый перевод больших списков на примере регионов мира

2 мин

6.2K

PHP*Программирование*

Туториал

-4

Комментарии 32

sas1024 12 мая 2013 в 14:12

Мне кажется, что использование CURL смогло бы значительно ускорить работу скрипта.

czorny 12 мая 2013 в 14:22

Может, быть. Но с курлом больше возни, да и стоит он не у всех. Хотя есть хостинги, у которых и file_get_contents() забанена :-)

-2

danielnewman 12 мая 2013 в 14:27

Во первых, разрешите пожать вам руку, вы — маньяк. ))
«В мире существует 2 667 417 городов и 257 стран», говорит кто-то в интернете. А что такое «4000+ зон»?
www.phpinfo.su/articles/additionally/baza_stran_i_gorodov_mira.html
classifiers.ru/clas/info/1
habrahabr.ru/post/146597/ (там же ссылка на сравнение скорости алгоритмов поиска)

Поползайте по хабру habrahabr.ru/search/?q=geoip

czorny 12 мая 2013 в 14:31

Это все очень здорово, НО! Задача не в том, чтобы добавить на сайт гигасписок, а обработать существующий с минимальными потерями. Не переделывать структуру базы, не создавать новую, а сохранить все, что есть. Например, у опенкарта страны в одном месте, зоны — в другом. У тех и у других есть свои идентификаторы. И те, и другие могут по идентификаторам использоваться различными расширениями. Так вот вышеописанное решение позволяет всю эту хрупкую структуру сохранить.

danielnewman 12 мая 2013 в 15:03

Я ж не спорю. Речь о том, что есть где взять много ± валидных данных кроме вики, или собрать временную таблицу пересекающихся данных и посчитать расходящиеся значения (вам же удобней будет).
Нет, если вы исключительно про парсинг данных с вики рассказывали — не имею возражений, но для решения вашей реальной задачи — можно посмотреть ссылки с уже готовыми словарями ключ→значение.

czorny 12 мая 2013 в 16:50

Ну да, мысль сделать совсем полный список стран, регионов и городов у меня всегда в голове вертится, а на том же РНР Info есть решение. Я б вообще самим разработчикам опенкарта подкинул мысль вшить всю базу в движок, но они не станут заморачиваться однозначно.

Hello1 12 мая 2013 в 15:52

Скрипт просто запрашивает Википедию, подставляя в ссылку английское название, парсит страницу

Используйте API

czorny 12 мая 2013 в 16:44

О, спасибо. Буду знать на будущее. Как-то я периодически забываю, что сейчас везде есть апи :-)

sfghelios 12 мая 2013 в 16:03

Спасибо, как раз пригодилось (перевод на несколько распростарненных языков географических названий, названий футбольных команд и другой информации). Процент переводенных понятий оставляет желать лучшего (около 60%), но намного лучше и быстрее, чем руками ))). Очень вовремя ваш пост…

czorny 12 мая 2013 в 16:45

У меня 70% получилось — где-то 1000 названий осталось без перевода, но это уже в основном всякие острова Святой Жопы или типа того. Банально нет русских страниц. У вас та же причина, я думаю.

valdaiko 12 мая 2013 в 18:55

Не знаток php и mysql. Появилось два вопроса.
1) Зачем второй update?
2) Зачем делать инъекцию? Такая склейка строк, как минимум, упадет на каком-нибудь Кот-д’Ивуаре, а как максимум дропнет базу.

czorny 12 мая 2013 в 19:05

1. Мне нужен был. У меня по-разному записываются в базу данные. Если не нужно, то убрать можно, конечно.
2. Ничего не упало ни на одной стране, а со всякими дефисами там было полно у одной только Кореи.

valdaiko 12 мая 2013 в 19:14

Проблема не в дефисе, а в апострофе. Вроде как строка закроется. В mysql нет параметров?

czorny 12 мая 2013 в 19:15

Тьфу, опечатался — с апострофами. Их там было и по одному, и по 2 на название. В общем, в строке могло быть 1-4 апострофов.

czorny 12 мая 2013 в 19:23

В крайнем случае, в РНР есть функции для экранирования спецсимволов. Совсем несложно добавить одну функцию, если что-то не так пойдет.

valdaiko 12 мая 2013 в 19:17

UPDATE zone SET name = '".$row['name']."'

где по-другому?

czorny 12 мая 2013 в 19:19

А это что?

name = '".$row['name']."::".urldecode(str_replace("_", " ", $matches[1]))."'

valdaiko 12 мая 2013 в 19:27

второй update что делает по-другому? заменяет имя самого на себя? Пишите, что не нашлось ~30%. То есть производительность можно увеличить на 30%. Странный код.

czorny 12 мая 2013 в 19:42

Если вы не знаток РНР, то какой смысл спорить и тем более рассуждать о странностях?

В первом случае английское название записывается ВМЕСТЕ с русским через разделитель "::", во втором — БЕЗ. По коду это видно четко.

И причем тут не нашлось 30% и пропорциональное увеличение производительности? Не нашлось, потому что не совпали названия или нет русской страницы. Чтобы это узнать, нужно сделать запрос. Производительность кода — это вообще иное.

valdaiko 12 мая 2013 в 19:50

изначально названия были на английском? в первом случае вы обновляете на английское:: русское, во втором на английское?

czorny 12 мая 2013 в 19:51

Именно. Дальше у меня уже парсер стоит, который по разделителю пилит и выводит, как нужно.

valdaiko 12 мая 2013 в 19:51

зачем обновлять английское название на английское название?

czorny 12 мая 2013 в 19:53

Обновляется не английское название, а запись в поле. Английское название остается то же.

valdaiko 12 мая 2013 в 19:54

последний вопрос. В каком поле?

czorny 12 мая 2013 в 19:55

В поле таблицы соответственно.

valdaiko 12 мая 2013 в 19:55

а как оно называется?

czorny 12 мая 2013 в 19:57

В моем случае — name, но можно писать туда, куда нужно — хоть в файл.

valdaiko 12 мая 2013 в 19:59

Пришли к тому с чего и начинали UPDATE zone SET name = name

czorny 12 мая 2013 в 20:01

И?

valdaiko 12 мая 2013 в 20:03

без комментариев

czorny 12 мая 2013 в 20:53

Действительно. Удивительно, что вы еще к строчке $db = mysql_connect('localhost', 'username', 'password'); не придрались — по ней же в базу не зайти! О ужас!

MaksimMukharev 12 мая 2013 в 23:29

Возможно пригодится еще www.geonames.org в этой задаче.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Показать лучшие за всё время

Быстрый перевод больших списков на примере регионов мира

Комментарии 32

Публикации

Истории