Как стать автором
Обновить

Сливаем отчетность американской Cyber League с помощью базовых утилит Linux

Время на прочтение11 мин
Количество просмотров5.6K
Всего голосов 29: ↑27 и ↓2+32
Комментарии7

Комментарии 7

Создадим цикл от 0 до 20 с шагом в 10. Таким образом получим три значения: 0, 10 и 20, которые подставим в парсер поисковика. Цикл будет выглядеть следующим образом:

В curl есть поддержка url подстановки числового диапазон, цикл не к чему

curl "https://www.google.com/search?q=site:cyberskyline.com/report/&start=[0-20:10]"

Нет, ваш запрос curl написан некорректно. Ошибка в "[0-20:10]" — это невалидный способ указания диапазона в URL. Google не поддерживает такую запись в параметрах запроса.

Если вам нужно получить несколько страниц с результатами поиска Google, используйте цикл в Bash, который будет изменять параметр start с шагом 10 (так как Google отображает по 10 результатов на страницу):

for i in {0..20..10}; do
 curl "https://www.google.com/search?q=site:cyberskyline.com/report/&start=$i"
done

Этот код выполнит три запроса с start=0, start=10 и start=20. Если нужно больше страниц, просто увеличьте диапазон.

Если у вас есть дополнительные вопросы, спрашивайте! 🚀

Запрос корректный. Вы видимо даже по ссылке не ходили, зато чуть ли не новую статью накатали в ответ.

Нет, ваш запрос curl написан некорректно. Ошибка в "[0-20:10]" — это невалидный способ указания диапазона в URL. Google не поддерживает такую запись в параметрах запроса.

а причем тут поддержка гуглом параметры и про какую ошибку вы говорите? затестить не судьба?

curl -sL -w "%{url_effective}\n" "https://www.google.com/search?q=site:cyberskyline.com/report/&start=[0-20:10]"  -o /dev/null

https://www.google.com/search?q=site:cyberskyline.com/report/&start=0
https://www.google.com/search?q=site:cyberskyline.com/report/&start=10
https://www.google.com/search?q=site:cyberskyline.com/report/&start=20

магия?

Imgur
Imgur

Похоже на правду - gpt тык

Если у вас есть дополнительные вопросы, спрашивайте! 🚀

стандартный конец ответа gpt, тем более сейчас в ответах gpt 4o приноровился эмодзи с ракетой добавлять 😑

Оффтоп: Корпораты (я про ChatGPT) одного понять не могут: они форсить культуру в одно рыло не могут. Как бы они стилистично и униформно не пытались пользоваться культурой (эмодзи), то выйдет через одно место (=cringe).

Мне-то уже JS сообщество не нравилось, со странным веянием на их любовь к вставлению эмодзи на каждой строке. А тут это еще и маркер неоспоримый, который типа дружеский тон задавать должен? Короче, reject modernity, embrace tradition :)

Зарегистрируйтесь на Хабре, чтобы оставить комментарий