Иногда бывает нужно набрать картинок по определённой тематике, чтобы иметь возможность выбрать из существующего набора нужную и т.д. Текущие поисковики дают такую возможность, но надо открывать браузер, переходить по страницам, работать мышкой и, вообщем, заниматься этим. Хотелось бы иметь консольную утилиту «запустил и забыл» для набора нужных картинок. Рассматривается Bing API, начало работы на Python и их связка для поиска изображений.Введение
Это моя первая более-менее большая программа на Python'е, который я стал изучать недавно (кстати, огромное спасибо kossmak за его переводы статей). Примеры использования в конце статьи.
ТЗ
Консольная программа, принимающая на вход поисковую строку и требуемое количество картинок. На выходе — поддиректория в текущей с результатами поиска.
Почему Bing
Некоторое время назад нужно было протестировать асинхронный загрузчик под ActionScript. Для нагрузки был выбран Google, однако, в результате оказалось, что Google выдаёт не больше 64 результатов по запросам через API. Этого (на тот момент) хватило, но осадок остался. После поисков было найдено: Yahoo (с комментариями, что многие выдаваемые им данные устарели) и Bing (который на своей странице обещает до 1000 результатов). Был выбран Bing, т.к., помимо самого запроса, позволяет накладывать на него фильтры (см. ниже)
Bing
Разработка под Bing начинается со страницы Bing Developer Center. Там необходимо получить APP_ID для подписывания каждого запроса, регистрация минутная. Я не очень разбирался с накладываемыми ограничениями (может быть их просто нет) так что публикую вместе с примерами свой тестовый APP_ID (если намерены использовать, то рекомендую завести и вбить свой APP_ID в код).
Bing API
API существует для VB/C#/C++/F#/JS, но в данном примере используется конечный http request. Описание API для поиска изображений здесь
Итак, минимальный запрос для поиска картинок и ответа в формате JSON выглядит так:
api.search.live.net/json.aspx?appid=APP_ID&sources=image&query=SEARCH_QUERY
Пример запроса (поиск по слову apple):
http://api.search.live.net/json.aspx?appid=4EFC2F2CA1F9547B3C048B40C33A6A4FEF1FAF3B&sources=image&query=apple
Python
Тут всё просто и кросс-платформерно. Сам питон (версии 2.6.x) ставится отсюда. В качестве среды разработки мне очень понравился PyDev. Ставим Eclipse(если ещё нет) и из под него ставим PyDev
Алгоритм
Не буду комментировать поблочно, в коде много комментариев, к тому же он не так велик, чтобы не поместить его одним блоком. Коротко:
- В главном цикла отсылается запрос на Bing API и увеличивается параметр image.offset пока либо не наберётся требуемое количество изображений, либо Bing API не выдаст, что мол результаты кончились.
- Каждый запрос запрашивает по 8 картинок (остановился на таком размере, 4 слишком мало, для 16 иногда долго ждать ответа, максимум 50).
- Для каждой найденной картинки извлекается URL, и заводится нитка, которая скачивает картинку в память и сохраняет на диск. Здесь столкнулся с проблемой — картинки очень часто называются одинаково. Так что функция сохранения «блокирует» остальные нити, и добавляет к имени файла "_" спереди, пока не окажется что такого файла ещё нет. Далее сохранение и раблокировка.
Код
# import used libraries
import urllib, json, sys, os, threading
def load_url(url, filename, filesystem_lock):
try:
# open connection to URL
socket = urllib.urlopen(url)
# read data
data = socket.read()
# close connection
socket.close()
# on all exceptions
except:
print "error loading", url
# if no exceptions
else:
# save loaded data
save_to_file(data, filename, filesystem_lock)
def save_to_file(data, filename, filesystem_lock):
# wait for file system and block it
filesystem_lock.acquire()
try:
# while already have file with this name
while os.path.isfile(filename):
# append '_' to the beginning of file name
filename = os.path.dirname(filename) + "/_" + os.path.basename(filename)
# open for binary writing
with open(filename, 'wb') as f:
# and save data
f.write(data)
f.close()
print filename
except:
print "error saving", filename
# release file system
filesystem_lock.release()
def main():
# Bing search URL
SERVICE_URL = "http://api.search.live.net/json.aspx"
# request parameters dictionary (will append to SERVICE_URL)
params = {}
params["appid"] = "4EFC2F2CA1F9547B3C048B40C33A6A4FEF1FAF3B"
params["sources"] = "image"
params["image.count"] = 8
params["image.offset"] = 00
# try to read command line parameters
try:
params["query"] = sys.argv[1]
images_count = int(sys.argv[2])
if len(sys.argv) > 3:
params["image.filters"] = sys.argv[3]
# if have less than 2 parameters (IndexError) or
# if second parameter cannot be cast to int (ValueError)
except (IndexError, ValueError):
# print usage string
print "Bing image search tool"
print "Usage: bing.py search_str images_count [filters]"
# end exit
return 1
# make directory at current path
dir_name = "./" + params["query"] + "/"
if not os.path.isdir(dir_name):
os.mkdir(dir_name)
# list to store loading threads
loaders = []
# file system lock object
filesystem_lock = threading.Lock()
try:
# loop for images count
while(params["image.offset"] < images_count):
# combine URL string, open it and parse with JSON
response = json.load(urllib.urlopen(SERVICE_URL + "?%s" % urllib.urlencode(params)))
# extract image section
images_section = response["SearchResponse"]["Image"]
# if current search offset greater or equal to returned total files
if "Total" not in images_section or params["image.offset"] >= images_section["Total"]:
# then break search loop
break
# extract image results section
results = images_section["Results"]
# loop for results
for result in results:
# extract image URL
image_url = result["MediaUrl"]
# create new loading thread
loader = threading.Thread(\
target = load_url,\
args=(\
image_url,\
dir_name + os.path.basename(str(image_url)),\
filesystem_lock))
# start loading thread
loader.start()
# and add it to loaders list
loaders.append(loader)
# advance search offset
params["image.offset"] += 1
# break if no more images needed
if params["image.offset"] >= images_count:
break;
# on all exceptions
except:
print "error occured"
return 1
# wait for all loading threads to complete
for loader in loaders:
loader.join()
# all done
print "done"
return 0;
if __name__ == '__main__':
status = main()
sys.exit(status)
Примеры запросов
Для уточнения запроса можно использовать фильтры Bing API, разделённые пробелом.
bing.py apple 1000— найти 1000 картинок по запросу «apple».bing.py "obama" 16 "size:large style:graphics face:face"— найти 16 портретов Обамы, большого размера в стиле иллюстрации.bing.py "warhammer wallpaper" 16 "size:width:1280 size:height:1024"— найти 16 обоев по теме «warhammer», размерами 1280x1024
Создание single-exe под win32
Для этого понадобится py2exe, установить можно отсюда. Далее, в папке с программой создаётся файл setup.py со следующим содержимым (программа в файле bing.py):
from distutils.core import setup
import py2exe, sys, os
sys.argv.append('py2exe')
setup(
console=['bing.py'],
options = {'py2exe': {'bundle_files': 1}},
zipfile = None,
)
И запускается на выполнение командой «python setup.py». В результате выполнения в папке ./dist оказывается «скомпилированная» программа (файл w9xpopen.exe можно стереть)
Далее её можно пожать UPX'ом (с 5182Kb ужалось до 4061Кb)
Что хотелось бы улучшить
- Запросы на русском
- Общий индикатор прогресса по всем файлам
- Прогресс загрузки по каждого файла
- Использование time-out при попытке загрузки изображения (он по-умолчанию вроде бы минутный)
- Нормальная обработка ошибок
P.S.
Странный хабра-глюк.
<code><font color="#666666">0</font></code>Не выводит ничего.
Также ссылки вида
<code>http://api.google.com</code>Выводятся без http://
P.P.S.
Скомпированный exe под Win32 тут.