В этом материале я бы хотел поделиться с начинающими AI-художниками информацией, которая сразу отвечает на все вопросы, и помогает начать использовать StableDiffusion в качестве генеративного инструмента.

Я бы очень сильно хотел чтобы такой материал попался мне, когда я только начинал познавать возможности SD. Тут я попытался кратко и концентрированно описать все те знания и инструменты, которые имеют большое практическое значение при работе c SD.

Так же в конце будет изложен mindset, который необходимо иметь чтобы научиться пользоваться SD. Я буквально попытаюсь научить вас думать как AI художник.

Поэтому без лишних слов, начинаем.

Если вы не провели последние два года на ферме в Сибири, вы, вероятно, слышали о Stable Diffusion или пробовали генерировать изображения с помощью моделей, вроде Dall-e или Midjourney. Они становятся все лучше каждый день, и по качеству уже сравнимы с людьми, а во многих аспектах даже лучше (например, им не нужно платить).

Исследования в области создания видео уже идут полным ходом во многих лабораториях и компаниях, так что это лишь вопрос времени, когда генеративные модели сместят людей с очередного столпа на котором держится наше общества — порно. Я не вижу чтобы кто то поднимал тревогу об огромном количестве людей, которые потеряют работу из-за этого. Я не такой бессердечный, поэтому, прежде чем наступил этот печальный момент, я решил принять меры и создать базовое руководство, которое даже работник индустрии для взрослых сможет понять и использовать, чтобы оставаться в игре. Давайте посмотрим, что к чему.

Друзья, всем привет, в прошлой статье Fooocus v2 — бесплатный Midjourney у вас на компьютере, вы познакомились с рисующей нейросетью которая вполне способна заменить Midjourney, узнали как её установить, как пользоваться, за что отвечают все настройки и как работают режимы, как писать запросы, чтобы нейросеть вас понимала.

Из этой части вы узнаете как с помощью нейросети Fooocus можно дорисовать любое изображение выйдя за его границы, изменить любую деталь на изображении, узнаете как добавить на свою генерацию текст, наложить свое лицо или как создать изображение по вашему референсу. Сегодня я расскажу про раздел Input Image.

Внутри много картинок и гифок.

Друзья, всем привет! Сегодня я хочу рассказать вам про самую простую и доступную для понимания нейросеть, которая создает изображения по вашему текстовому описанию. Она называется Fooocus и основана на знаменитой Stable Diffusion XL. Это идеальное решение в качестве вашей первой нейросети, и необходимый инструмент для любого дизайнера или контент мейкера.

Внутри много тяжелых изображений.

Как известно, данные - это новая почва в мире AI. И товарищи-исследователи из MIT CSAIL нашли оригинальный способ вырастить на этой плодородной земле нечто большее, чем просто пиксели. В своем новом исследовании, они использовали синтетические изображения для обучения моделей машинного зрения и значительно превзошли результаты традиционных подходов с "реальными" картинками. Такое обучение оказалось более эффективным и свободным от предубеждений машинного обучения.

В основе описываемого подхода лежит система StableRep. Это не просто очередной софт для генерации синтетических картинок. StableRep использует самые популярные в последнее время модели вроде Stable Diffusion, которые создают изображения на основе текста.

Приглашаем узнать больше об этом проекте!

Разработчики открытой модели машинного обучения Stable Diffusion представили Stable Video Diffusion — решение для генерации коротких видео. Организация обновила GitHub-репозиторий и опубликовала материалы исследования.

Stability AI, создатель модели преобразования текста в изображение Stable Diffusion, теперь предлагает услугу подписки, которая стандартизирует способы использования её ИИ в коммерческих целях.

Всем привет!

Я к вам с неожиданной новостью: «Intel инвестировала 50 миллионов долларов в Stability AI — разработчика нейросети Stable Diffusion».

Раунд финансирования закрылся в октябре, новостей про это практически нет, хотя есть что обсудить  ведь это сулит нам интересные перспективы. 

Я, как известный интернет эксперт в области ВСЕГО 🧐, просто обязан высказать своё личное мнение и рассказать, к чему нас это может привести.

Согласно данным исследования компании Everypixel Group, с начала 2022 года различные популярные ИИ-системы (Midjourney, Stable Diffusion, DALLE-2 и Adobe Firefly) создали по запросам пользователей столько же изображений, сколько живые фотографы сняли за 150 лет.

Stability AI представила версию DreamStudio с открытым исходным кодом. Это интерфейс для модели генератора изображений Stable Diffusion. 

Stability AI объявила о выпуске Stable Diffusion XL 1.0, «самой продвинутой» модели преобразования текста в изображение. Она обеспечивает «более яркие» и «точные» цвета и лучшую контрастность, тени и освещение по сравнению со своим предшественником.

Инженер Бьёрн Карманн (Bjørn Karmann) из Амстердама представил промт-камеру Paragraphica без объектива и привычных механизмов для фотооборудования. Вместо всего этого устройство генерирует изображение на основе данных о местоположении.

1. Системные требования. Пожалуй, самый важный пункт, без которого нет смысла продолжать работу. Стейбл — локальный, и ему необходимо очень много видеопамяти. У меня карта на 8 гигов, и при обработке больших изображений требуется работать с малыми областями или уменьшать эти самые изображения примерно до 1000 пикселей по длинной стороне (а то и до 512), и это невероятный мизер, если речь идёт о качественной пикче. Скорее всего, в комментариях будут писать о том, как именно можно апскейлить через сам Стейбл, делать там текстуру и качество. Но их же можно изначально не терять, правда?
   
   Файрфлай обращается к облаку, не нагружает видеопамять и позволяет спокойно работать с фотками размером 6000х4000 пикселей. Единственный минус в данном случае — при отсутствии подключения к сети Адобовская нейронка работать не будет.
   
   

В прошлом месяце я занялся придумыванием способа создания собственных спрайтов цивилизаций для наших с друзьями игр в Age of Empires II.

В этой статье рассказывается о процессе создания гибкого генератора изображений на основе промтов. Для начинающих я посоветую Alpaca, а тем, кто умеет кодить — Stable Diffusion Web UI и Python.

Выражаю особую благодарность сообществам моддеров AoEII OpenAge, SLX Studio и Age of Kings Heaven.

В статье расскажу о новой функции Stable Diffusion, которая позволяет генерировать изображения в любом стиле без прописывая промта. Речь пойдет про IP-адаптер — это новая модель ControlNet, которая преобразует референсное изображение в материал для генерации. В отличие от похожих функций в Midjourney и Stable Diffusion, этот алгоритм работает невероятно точно. Он снимает стиль с заданной картинки и смешивает его с другим изображением, промтом или картой глубины. С его помощью можно создавать стилизованные портреты, пейзажи и композиции, подбирая их внешний вид простым переключением картинки-референса.

Задача персонализации text-to-image модели состоит в донастройке предобученной нейронной сети так, чтобы она могла генерировать изображения заданного объекта в выбранных сценах. Несмотря на то, что подходы к решению этой задачи существуют, для их применения в высоконагруженных системах необходимо решить ряд проблем: большое время дообучения, высокие требования к видеопамяти, неспособность точно захватывать детали целевого объекта и др.

Меня зовут Сергей Михайлин. Я разработчик группы машинного обучения в ОК. В данной статье дан обзор современных подходов к персонализации text-to-image моделей на базе открытой архитектуры Stable Diffision. Мы приводим технические подробности каждого подхода и анализируем его применимость в реальных высоконагруженных системах. На основании собственных экспериментов по персонализации text-to-image моделей мы выделяем список возникающих при решении этой задачи проблем и перспективных способов их решения.