Хотел об этом написать, но по ощущениям статья получилось бы слишком здоровой, поэтому отложил. Кстати, для ML неплохо было бы иметь датасет с разметкой эпичных моментов. Как думаешь, как его можно собрать?
Это можно делать с помощью OpenDota API https://docs.opendota.com/#tag/replays. Апишка возвращает JSON, из которого можно конструировать ссылки для скачивания реплеев
Первая мысль. В DreamStudio появилась возможность загружать фотографии
Можно взять свою фотку и автоматически сгенерировать для нее текстовый промпт https://colab.research.google.com/github/pharmapsychotic/clip-interrogator/blob/main/clip_interrogator.ipynb
Затем подать эту фотографию + промпт и добавить denoised или что-нибудь типо того
Поэкспериментировать, возможно выйдет что-то дельное
Вторая мысль. В функцию generate_latents можно передать свой latent тензор.
Прогоняете фотографию через VAE
Вставляете результат generate_latents
Скорее всего придется поиграться с настройками и разными версиями scheduler, который предполагает нормальное распределение шума, но может и так сойдет
Третья мысль. Можно взять сетку, заточенную конкретно под эту задачу. Например https://arxiv.org/pdf/2104.10546.pdf
https://pytorch.org/tutorials/beginner/former_torchies/parallelism_tutorial.html
https://youtu.be/ZkWs89H7baA
https://arxiv.org/pdf/1909.08053.pdf
https://youtu.be/iAR8LkkMMIM
Сколько в среднем времени генерируются 4 картинки по запросу?
Спасибо за наводку, завелось
Да, мне доводилось работать с GSI — хорошая штука. Кстати, для Overlay можно использовать Overwolf, там из коробки поддерживается эта фича
Хотел об этом написать, но по ощущениям статья получилось бы слишком здоровой, поэтому отложил. Кстати, для ML неплохо было бы иметь датасет с разметкой эпичных моментов. Как думаешь, как его можно собрать?
Это можно делать с помощью OpenDota API https://docs.opendota.com/#tag/replays. Апишка возвращает JSON, из которого можно конструировать ссылки для скачивания реплеев
f'http://replay{cluster}.valve.net/570/{match_id}_{replay_salt}.dem.bz2'Там же есть возможность вытащить список match_id по турниру
Да, было бы классно! Но я пока не придумал, как автоматически запускать клиент игры и записывать видео по демке