А коли будет глобальная тендеция этим протестантским форком всё так же будет пользоваться кучка энтузиастов — борцов за какую-то идею, а большинство будет пользоваться тем, что официально является расовым и идейно верным. Я думаю, если надо будет выбирать между прагматизмом и протестантизмом, IT-общественность (а вернее даже сказать рынок и бизнес) выберет первое. Все эти гейские и прочие толерантные штучки не внезапно же насаждают, их насаждают годами, десятилетиями и они постепенно становятся легитимными в глазах большей части общества.
Которым будет пользователься жалкая кучка энтузиастов. Мне, например, глубоко фиолетово, как там решили в документации обозвать master-slave конфигурацию — буду и дальше пользоваться основной веткой Django.
А я рад за odesk, за то что они бабло рубят :) По-хорошему завидую, что они такой крутой сервис сделали, где любой парень из тьмутаракани может хорошие деньги получать. Мне лично не жалко 10% т.к. всё-таки я рассматриваю это как трату работодалетелей. За elance тоже рад, но там мало работал, как-то привык уже к интерфейсу одеска.
> oDesk смело забирает 10%. По сути, два полноценных рабочих для в месяц. Уж лучше платные ограничения.
Он их с работодателя забирает. Вы рисуете в профиле нунжый рейт, а роботодатель платит +10%. Я по крайней мере никогда не считал, что одеск что-то там забирает лично у меня. Например, вы работаете с рейтом $20/hour. Считаете, что одеск что-то там забирает. Ну ок, сделайте себе рейт $22/hour :) Не думаю, что это сильным образом повлияет на вашу возможность находить нове заказы.
> pep8.ru — отличный но почему-то приостановивший свое развитие ресурс.
Я в этом году там всё починил и добавил кучу видео по питону (pep8.ru/video), но пока руки не доходят форум до ума довести, поэтому не хочу на хабре пиариться. Ну а агрегатор русскоязычных блогов, как работал, так и работает :)
Вообще не имею никакого отношения к нейропанку ни как фан, ни как музыкант, но прослушал почти все выпуски с тамрекодрс т.к. просто интересно было слышать.
Количество страниц влияет самым прямым образом. Спарсить сайт на 50к страниц и на 500к это разные задачи, и тем более на несколько миллионов страниц и больше.
Чем больше страниц, тем:
* дольше длится парсинг
* находится больше специальных случаев, которые вы не предусмотрели
* больше шансов схватить какой-нибудь бан
* нужно больше cpu/IOPS/ram чтобы обрабатывать и хранить данные
* в случае ошибки, которые случаются часто, повторно обрабатывать большее количество страниц
Выберите узкий профиль по которму вы специлизируетесь, работайте в этом направлении, не ограничивайте себя только фриланс-сайтами. Ищите заказчиков и на других площадках. Сделайте себе сайт с описанием ваших услуг. Постепенно заказчики начнут к вам сами обращаться. Если хватататься за всё подряд, толку не будет.
Сложный парсинг — парсинг любого сайта с большим количеством страниц, либо объектов с большим количеством свойств, либо сайта со сложной структурой. Например, кинопоиск, амазон или те сайты, что вы озвучили.
По парсингу со временем у меня сложились правила по которым я отсеиваю заказы:
* я не пишу код на заказ, работаю только по проектам, где на выходе статические данные типа CSV, XML, дамп базы т.е. люди, которые хотят запустить код на своём сервере — это не мои клиенты
* я не предоставляю услуги по импрту данных куда бы то ни было, если человеку надо спарсенные данные запихать в магазин, вордпресс, DLE или ещё куда — это не мой клиент
Эти два пункта позволяют сильно сэкономить время и нервы. Ну и ещё я не тусуюсь на сайты типа фрилансим, заказчики сами обращаются, а я уже выбираю, с кем мне интересно работать.
> To be consistent shouldn't you change the name of the master branch?
> lol, seriously? What about 'Worker Thread'? :)
:)
Он их с работодателя забирает. Вы рисуете в профиле нунжый рейт, а роботодатель платит +10%. Я по крайней мере никогда не считал, что одеск что-то там забирает лично у меня. Например, вы работаете с рейтом $20/hour. Считаете, что одеск что-то там забирает. Ну ок, сделайте себе рейт $22/hour :) Не думаю, что это сильным образом повлияет на вашу возможность находить нове заказы.
Интересные проекты, инструменты, библиотеки
* ru
** тыщь
** пыщь
* en
** пам
** парам
Эдвин Лефевр «Воспоминания биржевого спекулянта»
Я читал, очень интересно.
Я в этом году там всё починил и добавил кучу видео по питону (pep8.ru/video), но пока руки не доходят форум до ума довести, поэтому не хочу на хабре пиариться. Ну а агрегатор русскоязычных блогов, как работал, так и работает :)
Чем больше страниц, тем:
* дольше длится парсинг
* находится больше специальных случаев, которые вы не предусмотрели
* больше шансов схватить какой-нибудь бан
* нужно больше cpu/IOPS/ram чтобы обрабатывать и хранить данные
* в случае ошибки, которые случаются часто, повторно обрабатывать большее количество страниц
По парсингу со временем у меня сложились правила по которым я отсеиваю заказы:
* я не пишу код на заказ, работаю только по проектам, где на выходе статические данные типа CSV, XML, дамп базы т.е. люди, которые хотят запустить код на своём сервере — это не мои клиенты
* я не предоставляю услуги по импрту данных куда бы то ни было, если человеку надо спарсенные данные запихать в магазин, вордпресс, DLE или ещё куда — это не мой клиент
Эти два пункта позволяют сильно сэкономить время и нервы. Ну и ещё я не тусуюсь на сайты типа фрилансим, заказчики сами обращаются, а я уже выбираю, с кем мне интересно работать.