В помощь вебмастеру: Linux bash скрипт для перевода сайта на новую кодировку

[quard]

ух ты, спасибо!

[khim]

Хорошо бы предупредить людей, которые всё это будут творить что
1. В базе данных могут случиться всякие .gif и .jpg (аватары, скажем), которые после конвертировани из windows-1251 в utf-8 сломаются (впрочем это редкость)
2. Почти 100% гарантия того, что где-нибудь в PHP-коде есть неявное предположение: 1 символ == 2 байт, так что сайт нужно после конвертации долго тестировать (не забудьте редко используемые части типа регистрации на сайте и высылки письма с паролем!)

[denuka]

1. Спасибо, пердупредим :)
2. Насчет тестирования очень верно - неприятные моменты все-равно будут - гарантированно. Тестить обязательно!

[tipok]

Не стоит забывать что код php нужно будет перепроверять!
Функции работы с строками должны быть заменены на их multibyte-аналоги.
Например strlen - покажет неверное кол-во символов строки, содержащей UTF-8,
а mb_strlen - посчитает верно.

[nini]

Мне ненадо, но спасибо за труды все равно, вдруг понадобится.

[rojer]

0) скрипт будет работать на FreeBSD (популярная в наших краях платформа виртуального хостинга), если заменить find $DDIR -regextype posix-extended на find -E $DDIR. правда в gnu find -E не поддерживается. можно ввести проверку $(uname). также "#!/bin/sh" на самом деле не поддерживает ${f:XX}, это "#!/bin/bash".
1) в регекс EXT не лишним будет внести точку перед расширениями файлов, т.е. EXT='.*\.(htm[l]?|php[3]?|js|css)$'
2) комментарий "# Change META Content-Type" не соответствует тому, что делает perl -pi -e "s#$FCS#$TCS#g", а именно - заменяет все подстроки $FCS на $TCS. конечно, обычно единственным таким местом будет META, но... натравите ваш скрипт на, скажем, эту статью и вы поймёте о чём я :)
в общем, нужен боле правильный регекс. ну и \Q$FCS\E.

3) почему бы конвертацию META не делать в том же цикле, что и iconv?

[denuka]

Спасибо за поправки, учел.
Еще знающие люди посоветовали:

" 4m@t!c комментирует...

Достаточно одного запроса "SET NAMES utf-8", которая в том числе изменит CHARSET
Не обязательно конвертировать дампы iconv. мжно сделать это с помощью ALTER TABLE tbl_name CONVERT TO CHARACTER SET charset_name;
"

[khim]

Замечание про ALTER TABLE - правильное и неправильное одновременно. Оно блокирует базу всё равно, а backup'а у вас не остаётся. Хотя всё зависит от конкретной ситуации, конечно...

[denuka]

поэтому в статье есть ремарка: "...сделать это на тестируемой БД"

[azimut]

А что делает ключ -a в команде cp?
В cp на FreeBSD такого ключа нет, насколько я нагуглил сейчас - в linux тоже..

[denuka]

-a, --archive

[denuka]

-regextype posix-extended пришлось выкинуть совсем и сделать через grep (для большей совместимости с ранними версиями), в связи с чем сам скрипт существенно изменился.
Не могли бы Вы подсказать будет ли он теперь работать в FreeBSD?

[DorBer]

А кодировку отдачи можно и в .htaccess задать:
AddDefaultCharset UTF-8

[denuka]

Да, то-же вариант, но если есть доступ к конфигурации лучше это сделать там. Т.к. плодить .htaccess, который будет "выдергиваться" при каждом запросе, помоему не очень хорошо.

[DorBer]

Просто не всегда есть доступ к конфигу. Особенно на дешевом хостинге. А еще бывают случаи, когда необходиом назначить кодировку «локально», для одной папочки :) Вот буквально вчера родилась такая необходимость. И другого варианта на серваке клиента предусмотреть было невозможно :)

[bappoy]

> iconv: недопустимая входная последовательность в позиции 1663
у iconv есть специальная опция "-c" для пропуска подобных символов

[denuka]

man iconv
Хм-м, что-то на Fedora 7 я невижу такой опции :(

[bappoy]

у меня тоже Fedora 7:
$ rpm -qf `which iconv`
glibc-common-2.6-3
$ iconv -V
iconv (GNU libc) 2.6
$ iconv --help
...
Output control:
-c omit invalid characters from output

а в мане iconv как раз неполно описан

[denuka]

Спасибо, опция действительно работает

[MTonly]

Всё же, насколько я помню, в оригинале «Лучше день потерять, потом за 5 минут долететь». ;-)

[denuka]

Значит я уже забывать стал :(

[nfx]

а сайт уже функционирует на мастдае или ето только тестовая его версия?

[nfx]

а для ms windows есть какой-нибуть софт для перекодировки между cp-1251 & utf-8? желательно туда и обратно. может кто-то встречалса из таким... просто заказчик настоятельно хочет, чтоб его сайт в cp1251 виводилса... а я начал делать на unicode...