Как я обучал LoRA на стиле South Park для Flux: сбор кадров через MPV, особенности FluxGym и эксперименты с рангами

[VPryadchenko]

Я мб пропустил: а датасет вы не стали публиковать?

[timonin]

Нет, не вижу в этом смысла, дата сет можно собрать буквально "за пару серий" вечерком =)

[VPryadchenko]

Это ровно то, что меня останавливало от того, чтобы обучить стиль южного парка XD

[vsradkevich]

Классная статья получилась, читал с удовольствием! Спасибо автору за работу.

[TimsTims]

Ждём датасет симпсонов и футурамы!

[KMiNT21]

В MPV может и веселее было, но быстрее было ffmpeg запустить с ключиком, чтобы, например, каждый 30-й кадр сохранило. А потом выбрать понравившиеся. :) 150 - вполне норм, чтоб руками.

А я для Wan 2.1 LoRa ролики "разбирал" на кадры. И вот когда их тысячи, тут уже руками не вариант. Как минимум смазанные кажды (там где излишнее было движение) кое-как можно проредить программно (cv2 Laplacian). Я так итеративно прогонял, контролируя процент отсева.

Дальше еще можно отсеять слишком похожие кадры. Я себе представлял как бы такую кластеризацию. Но LLM-ка предложила перцептивный хэш для сравнения соседних кадров. Интересный вариант, но не дошли руки протестировать, так как устроило и без этого. Но хочется вернуться к этому вопросу позже. Ведь для лор хорошо бы отбирать максимально отличающиеся кадры.

[timonin]

Сделать кадры через каждые х секунд, было первой идеей, но я отказался от неё, потому что на просмотр и поиск удачных кадров уйдет слишком много времени. Потому решил, что проще мне самому отбирать на входе, чем чистить на выходе =)

[KMiNT21]

Есть еще другой вариант, кстати, который для некоторых случаев подойдет. Можно программно нарезать на клипы (вроде бы, нейронку видел, заточенную на это дело), а затем уже или вручную, или программно с каждой сцены выбрать лучший кадр. Тогда можно добиться максимальной вариативности в датасете.