Разработчики Apple оптимизировали Stable Diffusion для работы с проприетарным фреймворком Core ML. Теперь нейросеть можно использовать с максимальной производительностью на устройствах на базе процессоров Apple Silicon и под управлением iPadOS 16 и macOS Ventura.
В блоге компании рассказали, что за время существования Stable Diffusion сообщество успело выпустить большое количество дополнительных инструментов, языковых наборов, плагинов, приложений и портов. Также команда исследований в области машинного обучения Apple подчеркнула, что лучше всего разворачивать Stable Diffusion на локальных устройствах. Так можно быть уверенным в приватности сгенерированных результатов и сэкономить на аренде сервера.
Для обеспечения максимальной производительности при генерации изображений с помощью Stable Diffusion разработчики оптимизировали нейросеть для работы на Apple Neural Engine. Команде пришлось переработать 4 связанные нейросети с 1,275 млрд параметрами. В итоге удалось выпустить в общий доступ Python-пакет для преобразования Stable Diffusion из PyTorch в проприетарный фреймворк Core ML.
В открытом GitHub репозитории можно найти сам код и инструкции по установке и работе с ним. Теперь разработчики смогут использовать технологию для создания приложений под Apple Silicon, получая максимальную производительность. Также разработчики Apple опубликовали пример приложения на Swift с использованием Stable Diffusion.
