а че если мне 300К за перекладывание байтов из базы во фронт платят, можно и дальше новый фреймворк ковырять и ныть на хабре»
Все так любят употреблять это выражение, как будто это что-то простое. Ученые вообще вон какие-то загогулинки на доске и в тетрадки рисуют, то ли дело грузчик, вот он тяжести таскает, да? Нужно знать тысячу нюансов: правильная ли тут архитектура, не заблокирую ли я тут транзакциями что-нибудь? А если вон тот сервис отвалится, то продолжит ли мой работать? А какое у меня будет количество запросов, может сделать шардирование? А будут ли у меня аналитические данные, может предусмотреть партиционирование? И всё это ради банального CRUD
Если у кандидата 80%, а у Тихановской 10%, то кто тогда выходит? Вот эти 10% сплотились и поставили на уши всю страну, что даже в США услышали? Если вы так считаете, то это и есть самая настоящая конспирология.
А кто решает, что считается «растрачиванием» жизни, а что нет? Вот вы сейчас пишите комментарий на хабре, вы тоже «растрачиваете» свою жизнь вместо того, чтобы картошку копать? Опять же общество может любить смотреть стримы этого игрока, или болеть за него на каких-то соревнованиях, почему для общества это не считается позитивным, а управление дроном — да?
С peewee-async жить можно, но есть баги, например транзакции не работает для вложенных корутин(уже не помню подробности, могу что-то перепутать) и вот на такой я натыкался github.com/05bit/peewee-async/issues/127
Что вы имеете в виду под тяжелыми сценариями на сайте? Какое отношение они имеют к нагрузке на сайт, они выполняются на стороне клиента. Важно лишь только то, сколько ваш хромиум сделает запросов к бекенду сайта во время выполнения этих сценариев.
Насчет ресурсов, поделюсь опытом, сделать миллион запросов в час, используя только голые http-запросы и одно ядро процессора i5 — не проблема. А сколько ресурсов потребуется headless-браузеру, чтобы организовать такое количество запросов? А учитывая, что там тяжелые сценарии, которые будут кушать вашу память и цпу на 1 запрос, а вам надо миллион?
Вы уходите в какую-то крайность, знаете, например спортсмены специально употребляют сахар для поднятия инсулина для более продуктивной работы в спортзале, они конечно не торты едят, а овсяное печенье но тем не менее. Еще вот вам пища для размышлений, мёд и фруктоза во фруктах(особенно, бананы, груша, сухофрукты) — это тот же самый сахар. Мне кажется проблема в том, что вы не можете отказаться от «сладкого», обвиняя в этом сахар. Чтобы проверить эту гипотезу попробуйте разрешить себе есть чистый сахар(даже белый зефир можете), но не «сладкое», в любом, но всё-таки разумном количестве и посмотрите на результаты. И вообще, в диетологии всё немного сложнее, чем не есть сахар(или хлеб или мясо или еще что-нибудь) и будешь худым и здоровым. Могу вам порекомендовать посмотреть ролики Ярослава Брина на ютубе, он очень хорошо всю эту механику объясняет.
Во-первых, опыт был, во-вторых с такой логикой можно очень много чего наркотиком объявить — воздух, воду, жир, белки, углеводы, хлеб, мясо, крупы и т.п.
У сахара есть весь букет признаков для того чтобы считаться наркотиком. А это значит, что "просто перестать есть сладкое" так же легко, как "просто перестать употреблять героин" — т.е. вообще не просто!
Не первый раз слышу этот миф, что сахар это наркотик. Вы часто едите сахар в чистом виде? Прям вот берете из банки ложкой и едите потому что у вас ломка? А "сладкое" != сахар, как правило это сахар с жиром и кучей добавок, которые сводят с ума наши вкусовые рецепторы. "Сладкое" нам так нравится потому что энергетически плотный кусок пищи, то есть съел 100г сникерс — по энергии тоже самое, что полноценный обед из 300-400г гарнира и мяса.
На мой взгляд, потому что такие вещи требуют очень много ресурсов и создать ощутимую нагрузку на сайт с помощью них не получится. Поэтому смысла от них защищаться нет, толко лишнее время и деньги
Ну вот смотрите, у них этого сайта есть выбор: либо эти 24 миллиона прилетают через стандартный web — то есть мало того, что выполнятся те же самые запросы, но сверх того ещё и фронтенд работает, оборачивая результаты в HTML, который на другом конце будет выкинут нафиг — либо 24 миллиона запросов прилетает через API (то есть с минимальной обработкой). Что Вы выбираете?
В моем случае уже было API.
А на самом деле можно пойти ещё дальше. Что целью «эффективных менеджеров»? Уж никак не нагружение Ваших серверов (они ведь тем самым и свои нагружают — парсингом улова) — им просто нужны свежие данные. Так дайте им то, что они хотят: просто добавьте в API поле «дать мне только то, что изменилось после такого-то таймстемпа» — и всё, передаются только диффы, миллионы резко испаряются. Кроме того, эффективным менеджерами можно доступ к этому API за, скажем, сотку баксов в месяц продавать — это явно выгоднее, чем им платить эту же сумму производителям средств обхода защиты от скрейпинга.
Ну там может резко возрасти количество желающих эти данные скачать или те, кто не захочет платить за апи 100 баксов, а будет парсить по бесплатному апи. Но в целом, мысль интересная, спасибо.
Знаете, бывает по-разному, например я, работал на одной галере(по-моему не особо известной) и там прилетел заказ парсить перелеты с сайта перелетов соответственно. Всех этих направлений было много, плюс «эффективные менеджеры» решили(ввиду того, что там была цепочка в несколько звеньев перепродажи этих данных), что парсить нужно каждый час свежие данные. В итоге получилось около миллиона запросов в час, пусть и по API. С учетом того, что у сайта была посещаемость около 3 миллионов в день, представьте, что им еще сверху прилетает 24 миллиона запросов в день. Я думаю «расслабиться и получать удовольствие» тут не получится.
Если вы полагаетесь только на статистику типа: у очень многих людей в возрасте плохое зрение, следовательно причина плохого зрения — возраст, то боюсь тут никаким аналитическим мышлением не пахнет. Тем более по ссылке ниже сказано, что причины амортизации зрительного аппарата еще исследуются.
Вы можете создать plugin для для pytest — fixture в которой будет код вашего flask-приложения. Правда погуглив нашел, что что-то подобное уже есть github.com/csernazs/pytest-httpserver
Ну тогда, во-первых, лучше поднять свой сервис на хостинге, а не зависеть от httpme.tk который вы можете вырубить когда захотите или он может тупо лечь, если все начнут им пользоваться.
А что, если нужно проверить именно «не у себя» и именно через интернет?
Поясните, пожалуйста, чем сервис локальный будет отличаться от сервиса в интернете? Что вы хотите проверить?
Лучше просто стартовать ваш сервер локально при каждом прогоне тестов и делать запросы к нему, завязываться же на какой-то внешний сервис я бы никому не посоветовал, т.к. сегодня он есть, а завтра все тесты упали, а также нужно, чтобы у окружения в котором вы гоняете тесты должен быть доступ к интернету, а это не всегда может быть.
Все так любят употреблять это выражение, как будто это что-то простое. Ученые вообще вон какие-то загогулинки на доске и в тетрадки рисуют, то ли дело грузчик, вот он тяжести таскает, да? Нужно знать тысячу нюансов: правильная ли тут архитектура, не заблокирую ли я тут транзакциями что-нибудь? А если вон тот сервис отвалится, то продолжит ли мой работать? А какое у меня будет количество запросов, может сделать шардирование? А будут ли у меня аналитические данные, может предусмотреть партиционирование? И всё это ради банального CRUD
Насчет ресурсов, поделюсь опытом, сделать миллион запросов в час, используя только голые http-запросы и одно ядро процессора i5 — не проблема. А сколько ресурсов потребуется headless-браузеру, чтобы организовать такое количество запросов? А учитывая, что там тяжелые сценарии, которые будут кушать вашу память и цпу на 1 запрос, а вам надо миллион?
Не первый раз слышу этот миф, что сахар это наркотик. Вы часто едите сахар в чистом виде? Прям вот берете из банки ложкой и едите потому что у вас ломка? А "сладкое" != сахар, как правило это сахар с жиром и кучей добавок, которые сводят с ума наши вкусовые рецепторы. "Сладкое" нам так нравится потому что энергетически плотный кусок пищи, то есть съел 100г сникерс — по энергии тоже самое, что полноценный обед из 300-400г гарнира и мяса.
На мой взгляд, потому что такие вещи требуют очень много ресурсов и создать ощутимую нагрузку на сайт с помощью них не получится. Поэтому смысла от них защищаться нет, толко лишнее время и деньги
В моем случае уже было API.
Ну там может резко возрасти количество желающих эти данные скачать или те, кто не захочет платить за апи 100 баксов, а будет парсить по бесплатному апи. Но в целом, мысль интересная, спасибо.
Поясните, пожалуйста, чем сервис локальный будет отличаться от сервиса в интернете? Что вы хотите проверить?