Шесть часов на один рендер: как я собрал нативную студию Ideogram 4 на Swift и MLX

[Urichi]

Как эксперимент - интересно. А рабочей студией можно будет назвать, когда начнет работать на уровне аналогов по скорости. Примерно х10 нужно.

[abgitdev]

На этапе эксперимента это просто запуск модели, когда получил изображение и все. Сейчас это уже рабочее нативное приложение: с интерфейсом, режимами рендера, управлением памятью, Regions, LoRA-адаптерами, Character Sheet, Photo to Image и библиотекой готовых результатов.

На базовом M4 скорость памяти 120 ГБ/с. Например у процессоров M Ultra около 800 ГБ/с, поэтому я ожидаю ускорение в несколько раз, ориентировочно в 6–8 раз. Это пока расчётная оценка, а не замер: точную кратность можно будет назвать только после теста на Ultra. Но медленный рендер на базовом M4 не превращает готовое приложение обратно в экспериментальный прототип.

[Urichi]

если я правильно понял, главная проблема - выгрузка и загрузка двух частей модели с диска на каждом шаге. поэтому не ширина шины памяти виной, а своп на ссд.
96 гб, коненчо, ситуацию исправят

[abgitdev]

Не совсем понял про 96 ГБ. Два трансформера суммарно весят около 17 ГБ, а текущий пик процесса 18–19 ГБ. На 32 ГБ resident-режим может оказаться впритык из-за буферов, но сначала нужно отдельно замерить время загрузки и самого forward. Пока нельзя утверждать, что главный тормоз — SSD.