Просто пишу правокационные комментарии к правокационному топику. Ни больше не меньше. Вообще я своими мыслями поделился, если за резким тоном вы их не заметили (и стали обсуждать мои личные качества), то почему вы удивляетесь дурацким комментариям к вашей статье? Я понимаю, что вы их и ожидали увидеть. Только зачем вам это? Это равносильно тому, что зайти в стадо овец и сказать: ну тупыыыые и самодовольно усмехнуться :)
> Тут что-то через край демократии.
Согласен. Считаю, что качество обсуждений на хабре существенно страдает от того, что вы, я и другие люди могут тупо бычить и оскорблять других людей прямо или завуалированно.
О, молодцы :) Если честно, фласк по уровню удобства дотягивает до джанги? Я не говорю про неебическую мощь алхимии, фантастическую скорость жинжи и прочих локальностей, а про качество связки этих компонент. У джинги, я считаю, её велосипедные компонтенты связаны между собой просто шикарно. Я пробовал год назад юзать фласк для маленькой проекта, он показался мне некомфортным. Например, не понял, как там интернационализацию сделать «как в джанге», чтобы шаблоны и код автоматом парсились и получался po-файл. Ну и конечно, админка. Это просто гениальная вещь в джанге (в плане юзабилити фреймворка, в плане маркетинга), да код говно там, но как оухенно нарисовать модели и получить готовый интерфейс для работы с данными. Во фласке есть что-то подобное? Я слышал был какой-то проект для алхимии, который позволял автоматически интерфейсы рисовать для веба.
Я в понятие топик включаю комменты. Значит, ты частично согласен с тем, что топик говно в моей системе определений. Комменты — это дети. А ты их родитель, так сказать. То что комментарии дурацкие, в первую очередь твоя заслуга :) Топик пропитан твоими эмоциями, вместо того, чтобы писать между строк, что джанго говно, лучше бы (для более продуктивного обсуждения) указал больше реальных примеров совмещения джанго орм и алхимии, случаи и байки из жизни, анекдоты, в общем, что-либо позитивное.
Говнотопик получился. Автор признался, что специально написал пост в правокационном стиле, а затем требует соблюдения этикета. И рыбку съесть и на… сесть? Так не бывает :) Люди чувствуют такие моменты.
from feedparser import parse
import shelve
import os
db = shelve.open(os.path.expanduser('~/.habra-notifier.cache'), 'c')
for entry in parse('http://habrahabr.ru/rss').entries:
link = entry.link.encode('utf-8')
if not link in db:
db[link] = 1
os.system('notify-send "%s"' % entry.title.encode('utf-8'))
Я ничего подобного не писал, умерьте пыл своей фантазии. Ещё раз повторюсь, мне кажется неправильным, что сайт не находится в топе по релевантным запросам. Можно спустить 20 тысяч на рекламу в СМИ, которая пройдёт и все забудут, а можно посидеть и бесплатно грамотно оптимизировать внутренний контент и структуру сайта и начать получать ежедневный дополнительный приток посетителей. Ну а потом пойти и спустить 20 тысяч на рекламу в СМИ.
Странно, что из 70 тысяч вы на SEO не потратились.
Вбиваю в яндекс «заречный доска объявлений» — не вижу вас вообще на первой странице. С запросом «объявления в заречном» та же ситуация. Возможно, для посетителей из региона Заречный выдача выглядит по другому.
600k запросов это 6 запросов в секунду или например 6 тредов параллельных по 1 запросу в секунду. Не вижу ничего необычного. Потянет или нет, зависит от вашего железа и настроек ОС. Вам есть смысл переходить на grab только если вам больше нравится его API, скорости он вряд ли вам прибавит. Чем больше одновременных соединений вам нужно, тем больше следует думать о том, чтобы перейти на асинхронную модель работы с сетью. Я лично с асинхронной нагрузкой практически не работал т.к. не было задач таких, поэтому в граби и отсутсвует интерфейс к multicurl.
Я написал впечатления, полученные эмпирическим путём. Я сам писал такую чушь, а потом мне в руки попадала такая чушь и это чуши очень много в интернетах каждый день пишется. Вообще, я считаю, что любой программист в первые годы становления себя как профессионала пишет преимущественно чушь. На php взращивается гораздо больше программеров, чем на питоне, отсюда и количество чуши на нём больше. А ещё я выражаю следующую мысль: лёгкость написания веб-интерфейса на php порой оказывает отрицательное воздействие на качество некоторых программ, в частности, парсеров и граберов, которые по природе своей процессы фоновые. Когда их пытаются оформить как часть веб-интерфейса, то получаются различного рода неприятности.
Grab и requests разные библиотеки для разных целей. Библиотека requests относится к первому и второму пунктам в вышеприведённом списке и частично к третьему пункту.
Очень просто. Я реально устал от причуд PHP и стал искать язык, куда бы свалить. Был выбор между ruby и python. А Perl я уже знал до этого и он мне не нравился. Я почитал про ruby и увидел в нём всякие фишки, напоминающие perl, меня это не сильно обрадовало и так я выбрал python. Его фича с выделением блока табулированием — я в неё влюбился сразу — это гениально :) Так что выбор был эмоциональным. По поводу рынка я никогда не парился. Python-программисты нужны, например, часто вакансию публикуются о django-вакансиях. В общем веб-кодинг востребован. Человек с реальными знаниями нигде не пропадёт. Даже в таких компаниях как яндекс, рамблер, mail.ru есть вакансии для python-разработчиков.
Немного разные акценты у библиотек — скрапи — это реально паук такой, бегает по сети, тянет в тыщу потоков информацию. А grab — это скорее швейцарский нож, вы его берёте и начинает вдумчиво колупать сайт. Асинхронной многопоточности в grab нет, всё что вы можете — это создать несколько tread-объектов и в каждом работать с grab. Но лучше только скачивать, у меня были проблемы с использованием lxml-модуля в нескольких потоках. Т.е. скачиваем в несколько потоков, парсим HTML в одном потоке. В curl есть некий multicurl, дающий эту самую асинхронность, но за несколько лет у меня так и не возникло острой надобности разобраться с ним. Это у меня в планах.
> Тут что-то через край демократии.
Согласен. Считаю, что качество обсуждений на хабре существенно страдает от того, что вы, я и другие люди могут тупо бычить и оскорблять других людей прямо или завуалированно.
from feedparser import parse import shelve import os db = shelve.open(os.path.expanduser('~/.habra-notifier.cache'), 'c') for entry in parse('http://habrahabr.ru/rss').entries: link = entry.link.encode('utf-8') if not link in db: db[link] = 1 os.system('notify-send "%s"' % entry.title.encode('utf-8'))Вбиваю в яндекс «заречный доска объявлений» — не вижу вас вообще на первой странице. С запросом «объявления в заречном» та же ситуация. Возможно, для посетителей из региона Заречный выдача выглядит по другому.