Ситауция 2. Раньше обрабатывали 100500 записей в единицу времени, теперь в 1000 раз больше, поэтому памяти и не хватило. Очевидно, что нужно сходить и купить больше памяти.
Не бывает так, что ВНЕЗАПНО стало обрабатываться в 1000 раз больше — добавились клиенты, события и или что-то ещё, о чём было бы неплохо подумать заранее.
Недавно настроили связку rsyslog+mysql+LogAnalyzer, вроде бы всё работает, но пункт №1, указанный у вас, уже бесит. Пока завели около 10ка хостов. Судя по вашему опыту нас ждёт и пункт №2.
Вы по какому-то мануалу настраивали связку rsyslog+logstash+elasticsearch+kibana или по наитию? Думаю тоже попробовать сразу хорошее, чтобы не ходить по граблям.
Спасибо, очень нужная информация. Многое из написанного было понятно ранее, но передать информацию своими словами кому-либо другому не получалось. Теперь я знаю, как донести информацию, описать процесс и указать причины.
З.Ы. Про оглавление согласен, что хорошо бы его вначале, а может и вначале и в конце.
Спасибо
я жутко извиняюсь, уже думал, что все заработало, но python споткнулся на вот этом через 15 минут работы. Подозреваю, что это из-за русских символов в URL. Не подскажете как вылечить?
такое
img-fotki.yandex.ru/get/5/83739833.10/0_7c488_b5c8c887_XL.jpg... downloaded successfully. ru.wikipedia.org/wiki/Протокол_AAA...
Traceback (most recent call last):
File «habrafav.py», line 60, in main(username, output_filename)
File «habrafav.py», line 51, in main
result = render(articles, nickname=username)
File "/home/t_q_l/1/rendering.py", line 22, in render
binary = make_binary(articles) # this modifies articles so it should be before make_body
File "/home/t_q_l/1/rendering.py", line 65, in make_binary
images = process_images(article['content'], images)
File "/home/t_q_l/1/images.py", line 38, in process_images
ident = make_id_from_url(src)
File "/home/t_q_l/1/images.py", line 5, in make_id_from_url
return 'i_' + make_filename(url)
File "/home/t_q_l/1/common.py", line 12, in make_filename
url_hash = hashlib.sha1(url).hexdigest()[:hash_length]
UnicodeEncodeError: 'ascii' codec can't encode characters in position 29-36: ordinal not in range(128)
Не бывает так, что ВНЕЗАПНО стало обрабатываться в 1000 раз больше — добавились клиенты, события и или что-то ещё, о чём было бы неплохо подумать заранее.
Вы по какому-то мануалу настраивали связку rsyslog+logstash+elasticsearch+kibana или по наитию? Думаю тоже попробовать сразу хорошее, чтобы не ходить по граблям.
Acronis Backup & Recovery 11.5
Yandex Browser
З.Ы. Про оглавление согласен, что хорошо бы его вначале, а может и вначале и в конце.
Спасибо
Downloading images for article #136056…
img-fotki.yandex.ru/get/4211/ait-it.4/0_4aa4c_8670f218_XL.jpg... downloaded successfully.
4.bp.blogspot.com/_hT2QZmxmzPk/TBUeleE3hZI/AAAAAAAAATc/Mynxmvoouek/s1600/2960s.jpg... downloaded successfully.
img-fotki.yandex.ru/get/4527/83739833.10/0_7c4d9_deb18dce_XL.jpg... downloaded successfully.
www.scienceprog.com/wp-content/uploads/2007i/USB_to_COM/usb_rs232_adapter.jpg... downloaded successfully.
www.codeproject.com/KB/dotnet/WMICodeCreator_Demo/usb-serial-adapter.jpg... downloaded successfully.
tibbo.ru/storage/ds/large/tmbc-ds100-large.jpg... downloaded successfully.
img-fotki.yandex.ru/get/4526/83739833.f/0_7c481_16c83eff_XL.jpg... downloaded successfully.
img-fotki.yandex.ru/get/3/83739833.10/0_7c4a6_b8cd01b3_XL.jpg... downloaded successfully.
img-fotki.yandex.ru/get/3008/83739833.10/0_7c4aa_e740e023_XL.jpg... downloaded successfully.
img-fotki.yandex.ru/get/4/83739833.10/0_7c4a8_b45c05a0_XL.jpg... downloaded successfully.
img-fotki.yandex.ru/get/4424/83739833.10/0_7c4a9_139a7ae4_XL.jpg... downloaded successfully.
img-fotki.yandex.ru/get/4424/83739833.f/0_7c483_e700580b_XL.jpg... downloaded successfully.
img-fotki.yandex.ru/get/4526/83739833.10/0_7c4ab_6b97ba01_XL.jpg... downloaded successfully.
img-fotki.yandex.ru/get/4527/83739833.10/0_7c4ac_fd46c5a0_XL.jpg... downloaded successfully.
img-fotki.yandex.ru/get/3008/83739833.f/0_7c486_3447b950_XL.jpg... downloaded successfully.
img-fotki.yandex.ru/get/4425/83739833.f/0_7c487_85990f14_XL.jpg... downloaded successfully.
img-fotki.yandex.ru/get/5/83739833.10/0_7c488_b5c8c887_XL.jpg... downloaded successfully.
ru.wikipedia.org/wiki/Протокол_AAA...
Traceback (most recent call last):
ru.wikipedia.org/wiki/Протокол_AAA...
Traceback (most recent call last):
File «habrafav.py», line 60, in main(username, output_filename)
File «habrafav.py», line 51, in main
result = render(articles, nickname=username)
File "/home/t_q_l/1/rendering.py", line 22, in render
binary = make_binary(articles) # this modifies articles so it should be before make_body
File "/home/t_q_l/1/rendering.py", line 65, in make_binary
images = process_images(article['content'], images)
File "/home/t_q_l/1/images.py", line 38, in process_images
ident = make_id_from_url(src)
File "/home/t_q_l/1/images.py", line 5, in make_id_from_url
return 'i_' + make_filename(url)
File "/home/t_q_l/1/common.py", line 12, in make_filename
url_hash = hashlib.sha1(url).hexdigest()[:hash_length]
UnicodeEncodeError: 'ascii' codec can't encode characters in position 29-36: ordinal not in range(128)