Скрестив 3 различных нейросети - провел небольшой эксперимент по поводу движения информации внутри цепочки нейрогенераторов.
Привет!
А что если взять 3 разные нейросети и проверить, насколько они "поймут" друг друга в режиме игры "Глухой телефон"?
Беспокойная голова нашла себе новое беспокойство, и я приступил.
План работ эксперимента. Тут надо вчитаться:
Даем задачу «текстовой» Нейросети-1 придумать Промт-1 на определенную тему.
Полученный Промт-1 отдаем "картиночной" Нейросети-2 (генерация изображений по промту, соответственно) – получаем Изображение-1.
Полученное Изображение-1 загружаем уже в Нейросеть-3, которая распознает содержимое данной картинки, и возвращает текстовый Промт-2.
И вот тут самое главное и интересное! Полученный Промт-2 отдаем опять в Нейросеть-2, генерируя Изображение-2.
Цель эксперимента: проверить, насколько Изображение-1 совпадет по своему содержимому с Изображением-2? Насколько задача человека в п.1 будет верно, без искажений, реализована в виде Изображения-2, пройдя цепочку нейрогенераторов?
Использованные инструменты\сервисы:
Нейросеть-1: чат-бот на "движке" ChatGPT-4 OpenAI, сервис МашаGPT – https://mashagpt.ru , мне удобно из РФ – без VPN и иностранных симок, оплата с любой ру-карты, пользую последние 2 месяца.
Нейросеть-2: легендарная и фотореалистичная нейросетка Midjorney – https://www.midjourney.com, через традиционный бот в Дискорде (заюзал акк знакомого).
Нейросеть-3: "реверсивная" картиночная нейросеть - распознает содержимое картинки и возвращает текстовый промт. Бесплатная, найдена в Сети по рекомендациям: Clip Interrogator-2: https://huggingface.co/spaces/fffiloni/CLIP-Interrogator-2
Начинаем! Будет 3 попытки.
Попытка №1
Задание для GPT-4. Классика офисной жизни:
Забираем промт, вводим в Midjorney. Получаем 4 картинки:
Выбираю, вырезаю одну картинку:
отдаю в следующую нейросеть для распознания содержимого изображения:
Забираем полученный промт, отдаем задачу с этим промтом опять в Midjorney:
Ну что ж... Вот вообще неплохо! Да, поменялся ракурс. Да, от устройства на столе в стиле "Макбук" ничего не осталось. Где-то восход, а где-то и закат. Но ведь смысл содержимого остался! Офис и мебель, окно, вид на город. Достаточно четко. "4 с минусом", итоговая субъективная оценка.
Поехали дальше. Попытка №2
Даю задание GPT-4 – придумай-ка что-то нечто про природу. И пусть будет гриб:
Промт – отдаем в MJ, получаем 4 картинки (хм, а где шампиньон?)) ):
Выбираю 3-ю по счету, где четко 1 гриб:
Распознаем обратно в текст, что там нам сгенерил MJ?
И отдаем полученный промт обратно в MJ:
Нуууу... Опять почти в десятку! Да, гриб поменял цвет, на исходном изображении цвет гриба другой (зеленые оттенки), а на конечном – в основном коричневая палитра цветов у грибов.
Но смысл изображения не поменялся – лес, грибок, солнышко. Размытый задний фон, кстати – тоже на месте. А так как всё по смыслу сохранилось, то это отлично, твердая "4+"!
Попытка №3
А тут я задумался – первые 2 задания были эдакие материальные, про предметы, окружающую обстановку и т.п. А если задать ещё и эмоции, или что-то про чувства? Это ведь бездушные нейросети не поймут «между собой», в цепочке генераций потеряют интент, запутаются же?! Поехали!
GPT-4 – давай-ка про любовь! )
Midjorney – достойно генерит "то, что нужно".
Выбираю изображение №1, тут все органично, как по мне:
Распознавалка картинки что-то там пишет – распознала, забираю промт:
И тут я подумал – "Всё! Сейчас в ответной генерации будет что угодно, но не влюбленные у моря-океана – а будет 2 столба, два пловца, и т.п.". Про чувства и любовь вообще не рассчитывал что-то увидеть, и...! Ничоси!
Сохранено и соблюдено – практически всё! Картинка №4 – вообще попадание "в десятку!". Да, чуть крупнее передний план стал. Ребята местами поменялись, но это всё достаточно незначимые детали.
Неспокойное море. Парень и девушка. Платье развивается на ветру. Чувства? Есть! И они те же – они про любовь!
И даже палитра колористики осталась практически без изменений! Как так!?! Легкий шок...
Коротко говоря, на этом результате генерации я так опешил, что первые секунд 5 лицо моё было примерно вот таким:
Итого. Эмоции долой, делаем выводы.
А глобальный вывод один, и он достаточно простой – генеративные нейросети, работающие, по сути, на разных технологиях и имеющие разный функционал – все-таки достаточно четко и детально могут передавать между собой информацию. Даже зацикливая исходную информацию – на выходе контекст мы не особо-то и потеряли. Практически не потеряли. И это круто!
Эпилог
Эксперимент вышел слегка спонтанный, всё произошло внезапно – от мысли и идеи, до получения результатов.
Появилось понимание некоторых моментов – нейросети "понятливые", они достаточно могут легко взаимодействовать между собой, а еще точнее – нейросети достаточно легко объединять в более сложные по функционалу, скажем так, «сообщества». И уже на таких, гибридных продуктах – можно производить многие вещи, что так или иначе будет контентом и информацией, само собой.
Если смотреть на всю цепочку движения информации, то начинается, на минутку, всё с человека, который просит придумать промт для генерации изображения. И этот "мысленный" контент, пройдя даже такой замысловатый нейропуть, дает отличный, валидный и релевантный конечный результат.
Элементарно, тоже быстромысль – для веб-маркетинга или некоего SEO можно отбирать топовый контент (некие статьи, тексты с изображениями), и отдавать в работу такой связке нейросетей, чтобы произвести подобный контент же – по сути интересный и полезный, раз он топовый. И тут фишка не в том, что контент такой можно сгенерировать в новом виде (это же не новость - сгенерировать можно), а фишка в том, что все эти процессы можно сильно автоматизировать.
И так далее. Идей много.
Надеюсь, было хоть сколько-то познавательно, ибо для меня сий эксперимент действительно был интересен, с достаточно неожиданными (если не сказать изумительными) результатами.
Выслушаю любые мысли и предложения, конструктивные, по поводу всего этого. Пишу тут впервые, тапками и нейросетями прошу сильно не кидаться :-)
Успехов!