Последние 10 лет я играл в такие игры, как TownsMen 6, Clash of the Clans, SimCity и мою любимую OpenTTD (с открытым исходным кодом!).
Попробовав City Island 5, я был раздражен от того, что предметы не накапливались, пока я находился вне игры. У меня может быть самый лучший бизнес, стратегия и т.д., но я должен быть в игре, чтобы обеспечить сбор денег/ключей/золота с течением времени. Например, если моя пекарня зарабатывает 100 евро в минуту, я заработаю 100 евро только после того, как выйду из игры и вернусь через 24 часа.
Это стало особенно утомительным, когда я пытался накопить €5 000 000, необходимых для покупки острова, показанного ниже. Это займет у меня примерно две недели игры, если я не буду тратить деньги - оно того не стоит!
Создание скрипта Python для сбора ценностей для меня
Это проблема, которую можно решить с помощью машинного обучения.
a. Захват фреймов игры
Мне нужен был способ захвата фреймов игры в реальном времени.
Проще всего сделать снимок экрана в игре и передать его на следующие шаги сценария.
Для создания скриншота я использую библиотеку Python MSS. Это простая библиотека, которая позволяет захватить экран и сохранить его в файл. Мы также можем использовать библиотеку для выбора монитора и получения его свойств, таких как ширина и высота.
Мы будем использовать OpenCv (cv2) для части сценария, связанной с компьютерным зрением. Это библиотека, которая позволяет нам выполнять задачи обработки изображений и компьютерного зрения. Здесь мы используем метод cv2.imread() для загрузки изображения из указанного файла.
import cv2
import mss
sct = mss.mss()
default_monitor = sct.monitors[1]
def click_template_image(monitor=default_monitor):
# Screenshot
game_screenshot_path = "sct_{width}x{height}.png".format(**monitor)
sct_img = sct.grab((0, 0, monitor["width"], monitor["height"]))
mss.tools.to_png(sct_img.rgb, sct_img.size, output=game_screenshot_path)
game_screenshot = cv2.imread(game_screenshot_path, 1)b. Распознаем ресурсы на скриншоте
Нам нужен способ обнаружить ресурсы игры и затем вернуть их координаты.
Алгоритмы OpenCv TemplateMatching идеально подходят для этого.
Они используются для поиска и определения местоположения шаблонного изображения (например, ценного предмета) в большом изображении (например, в фиде игры). OpenCV просто накладывает изображение шаблона на входное изображение (как в 2D-свертке) и сравнивает шаблон и участок входного изображения под изображением шаблона. В OpenCV реализовано несколько методов сравнения. (Более подробную информацию вы можете найти в документации). Мы используем его в методе: cv2.matchTemplate(... ).
Для достижения этой цели мне понадобились изображения шаблонов. Я сделал скриншоты вручную, а затем обрезал кеш, звезду и ключ:
В приведенном ниже примере кода мы распознаем кеш.
import cv2
import mss
import numpy as np
sct = mss.mss()
default_monitor = sct.monitors[1]
def click_template_image(monitor=default_monitor):
# 1. Screenshot
game_screenshot_path = "sct_{width}x{height}.png".format(**monitor)
sct_img = sct.grab((0, 0, monitor["width"], monitor["height"]))
mss.tools.to_png(sct_img.rgb, sct_img.size, output=game_screenshot_path)
game_screenshot = cv2.imread(game_screenshot_path, 1)
# 2. Find a way to identify the valuables in the screenshot
template_image = cv2.imread("images/cash.png", 1)
search_result = cv2.matchTemplate(game_screenshot, template_image, cv2.TM_CCOEFF_NORMED)
y_coords, x_coords = np.where(search_result >= threshold)
for idx in range(len(x_coords)):
x, y = x_coords[idx], y_coords[idx]
c. Собираем ресурсы кликом
Получив координаты элемента, мы должны кликнуть по нему.
Функция pyautogui.click(x,y) работает для этого замечательно. Она щелкает по экрану по координатам x,y. Подробнее о ней можно узнать здесь.
Примечание:
Мы выбираем координаты, которые соответствуют определенному порогу доверия. Показатель уверенности - это число от 0 до 1, которое представляет собой вероятность того, что результат модели верен и удовлетворит запрос пользователя. Например, мы можем отобрать координаты, уровень доверия к которым составляет 0,7 или выше. Именно для этого мы и используем пороговую переменную. Алгоритм matchTemplate() дает нам несколько точек на карте, которые соответствуют нашему запросу. Затем я решил отфильтровать точки, которые находятся ниже порога: y_coords, x_coords = np.where(search_result >= threshold).
После нескольких проб я понял, что многократное нажатие на карту за один запуск алгоритма приводит к ошибкам и неточностям. Например, прежде чем щелкнуть на движущемся автомобиле, он мог немного сдвинуться с места. Я решил поэкспериментировать с количеством щелчков при каждом вызове функции click_template_image() с помощью переменной number_of_clicks и остановился на одном щелчке за шаг.
Я обнаружил, что щелчок по центру изображения работает лучше, чем щелчок по левому верхнему краю, то есть по координатам, которые нам дала наша функция подбора шаблона. Мы можем использовать высоту и ширину изображения шаблона для вычисления координат центра: x_c = int((x + x + w) // 2) & y_c = int((y + y + h) // 2)
import cv2
import mss
import numpy as np
import pyautogui
pyautogui.FAILSAFE = False
sct = mss.mss()
default_monitor = sct.monitors[1]
def click_template_image(monitor=default_monitor, number_of_clicks=1, threshold=0.7):
# 1. Screenshot
game_screenshot_path = "sct_{width}x{height}.png".format(**monitor)
sct_img = sct.grab((0, 0, monitor["width"], monitor["height"]))
mss.tools.to_png(sct_img.rgb, sct_img.size, output=game_screenshot_path)
game_screenshot = cv2.imread(game_screenshot_path, 1)
# 2. Find a way to identify the valuables in the screenshot
template_image = cv2.imread("images/cash.png", 1)
search_result = cv2.matchTemplate(game_screenshot, template_image, cv2.TM_CCOEFF_NORMED)
y_coords, x_coords = np.where(search_result >= threshold)
# get the width and height of the template image
w, h = template_image.shape[1], template_image.shape[0]
for idx in range(number_of_clicks):
if idx + 1 > len(x_coords):
continue
x, y = x_coords[idx], y_coords[idx]
# 3. Collect the valuables by clicking on them
# get centres
x_c = int((x + x + w) // 2)
y_c = int((y + y + h) // 2)
pyautogui.click(x=x_c, y=y_c)d. Закрываем всплывающие окна
Наши нажатия выше могут привести к появлению всплывающих окон, когда мы получаем награду, повышаем уровень и т.д.
Нам нужно закрыть окно, прежде чем снова попытаться собрать ценности. Мы используем ту же логику, что и при поиске и нажатии на ценные вещи.
Для этого мне понадобились шаблонные изображения для кнопок закрытия всплывающих окон, чтобы их можно было нажать. Я сделал скриншоты вручную, а затем обрезал различные кнопки закрытия:
Для закрытия я использовал тот же код, что выше.
Результаты после запуска на ночь
Я начал игру с €316,415 в кармане.
На следующее утро у меня было €6,463,870.
И я смог купить тот остров, что я хотел
В заключение
Вообще-то это называется использовать читы, но так ли это плохо в данном случае?
Полный код автора доступен по ссылке.
Еще больше примеров использования ML в современных сервисах можно посмотреть в моем телеграм канале. Я пишу про ML, стартапы и релокацию в UK для IT специалистов.
