Поймал себя на мысли за чтением книги, что с появлением мощных моделей для вайбкодинга, я практически перестал общаться с пользователем, а постоянно создаю новые продукты и функционал. А это ведь путь в никуда.

Я перестал собирать обратную связь, даже от самого себя. Например, я уже давно не пользуюсь Wunjo (GitHub репозиторий) и как следствие этого не выходит новый функционал или улучшение старого. Все дошло до того, что программа просто не успевает за тем, что происходит ежедневно. Новые возможности, более мощные модели, итд.

Себя я понимаю в этом. Меня не устраивает долгий процесс генерации, старые модели, и невозможность создать готовый контент для продакшена в одном месте. И я стал адаптироваться под свои новые запросы, так как Wunjo под них, в моем мнении, уже устарел.

Я долгое время разрабатывал Wunjo v3 (по 1-2 часа в день), и добился интересных результатов.

У меня получилось сделать полноценный видеоредактор, с точечными настройками как в CapCut на С++ и встроенными нейронными сетями, при этом программа сама себя может программировать под запросы пользователей (не надо быть разработчиком) и мощности его компьютера.

Например, я знаю о проблеме, что в новых версиях CUDA 12.x, библиотеки Wunjo не работает. И теперь программа сама решает такие конфликты.

А ещё устаревание кода, новые репозитории из GitHub или сервисы с API, такие как RunwayML, Luma, каждый день появляется что-то ещё. Теперь программа, самостоятельно внедряет в себя новый функционал. Самостоятельно, в плане пользователь должен попросить об этом в чате программы и предоставить информацию с ссылками, после этого программа себя “навайбкодит”.

Ещё, что неожиданно, но это возврат MacOS с полноценной поддержкой нейронных сетей.

Однако перед тем, как программа выйдет в свет и даже в бета тестирование, правильно будет узнать пользователей Wunjo или тех, кто читает этот пост и сталкивался с программой ранее. А оно вам надо?

Буду рад вашим комментариям ниже или в Телеграм.

Исследовал интернет и наткнулся на GitHub Unwrapped. Он на основе активности в GitHub создаёт видео, где можно увидеть часто используемые языки, часы спонтанной работы, звёзды и всё остальное. Достаточно ввести только имя профиля, чтобы получить видео. Код открыт.

Сделано с использованием Remotion — тоже с открытым кодом, которая позволяет автоматизировать создание видео на React в веб. Документация хорошая, но надо разбираться. Увидел это и решил, что круто, надо поделиться!

P.S. Моя активность в этом ролике, если кому-то будет интересно.

Русские разработчики могут делать не хуже американских! Согласны с этим?

Да, это оффтопик — я пиарюсь и рассказываю о своём проекте. Присоединяйтесь на GitHub Discussion!

Привет, читатель! Хочу поделиться обзором новой версии open-source проекта Wunjo, который почти готов к выпуску, осталось лишь устранить мелкие недочеты. Основной функционал v1 приложения: замена лиц, анимация губ, рестайлинг видео, удаление объектов и текста, синтез речи, клонирование голоса. Проект создан для автоматизации процесса создания контента. Например, я его использую для создания образовательных видео. Кейсы применения в видео ниже. Но есть и исследовательская идея с объединением как можно большего числа нейронных сетей вместе, их уже насчитывается 40, но и это не предел. Если вам интересно, как появился проект, то это здесь можно почитать.

В приложении доступно API для интеграции с вашим собственным кодом. В новом видео я показываю обновленный интерфейс и новые возможности.

Чтобы узнать больше, ознакомьтесь с журналом изменений в README на GitHub. Версия v1 уже доступна на сайте, пока мы ждем версию v2.

Новая глобальная идея Wunjo – упростить процесс перехода от клиентского приложения к серверному, делая его доступным даже для пользователей без специальных знаний и на слабых компьютерах. Создается временная ссылка, позволяющая вам и вашим друзьям получить доступ к приложению с любого устройства, если вы используете его в режиме сервера. Свое серверное приложение в кармане - звучит круто!

Поддержите проект звездой на GitHub – осталось немного до 1000! И следите за новостями в Telegram. Ваша поддержка ускорит выпуск новой версии. И до скорой встречи в v2!

Недавно экспериментировал с ботами на основе ChatGPT, сравнивал качество с YandexGPT. Вдохновленный этим опытом, я добавил ботов на свой канал для эксперимента, на сколько это вообще будет полезно и нужно людям, один бот с дерзким характером и понимающий документацию моего проекта с открытым исходным кодом Wunjo AI (сылочка на GitHub и на скачать), который позволяет создавать дипфейки, улучшать видео и обрабатывать звук. Добавил в него информацию о нейронных сетях из своих видеороликов, он может рассказать как работают нейронные сети в Wunjo и как работать с функционалом.

Второго бота я создал без режима дерзости, он использует данные из подкастов о стартапах и других темах, чтобы быть информативным и полезным источником.

Поиграться с ботами, написать пожелания и идеи, что можно ещё загрузить в ботов и стоит ли улучшать данные для ботов, вы можете по ссылке ниже под постом, указав бота.

А ещё можно предложить идеи для расширения функционала Wunjo AI, подробнее в этом посте.

Привет, Хабр! Соскучился по тебе. В двух словах в посте про дипфейки, клонирование речи, генерацию видео, удаление текста, объектов и получение их без фона. В общем, рассказываю о своем проекте с открытым исходным кодом Wunjo AI для тех, кто не встречал его ранее, и спрашиваю, как сделать опыт текущих пользователей ещё лучше. Вот ссылки на GitHub и установщики.

Что может Wunjo AI?

• Приложение ставится локально на ПК, у вас нет ограничений на время создания контента и содержание. И всё это с открытым исходным кодом, и бесплатно, приложение ведь использует мощности вашего компьютера, а не сервера.

• Когда запустил приложение, там был доступен только синтез речи [статья].

• Потом добавил дипфейк лица одним кликом, губ, клонирование речи и удаление объектов из видео [статья]. И за все время у меня на Хабре эта статья остаётся с большим количеством просмотров. Что создает ощущение, что с каждым новым функционалом я двигаю Wunjo не в то направление.

• Далее изменение объектов и видео с помощью текстового запроса [статья].

• И клонирование голоса из песен, улучшение изменения видео текстом, и удаление текста из видео одним кликом [статья].

Так вот, дорогой человек, который это читает. Какой бы вы хотели видеть новый функционал? Какая у вас есть проблема, которую я могу решить приложением или новыми фичами?

Напишите комментарий в телеграмм, либо на Хабр, как вам удобнее, и возможно, следующим обновлением я решу то, что беспокоит именно вас.

И видео про функционал.

Давно не общались! Размышляю над новым контентом для Хабра и YouTube и хотел бы спросить помощи у вас. Примите участие в голосовании, чтобы понять, что вас действительно заинтересует.

Вот несколько идей для полноценных видеороликов на YouTube и статей на Хабре:

1. Обучение различных моделей в различных проектах. Вопрос важен для меня, так как часто приходится тратить много времени на изучение документации или, что ещё дольше, на разбор кода. Создание видеороликов поможет как мне, так и будущим поколениям разобраться в процессе обучения моделей на различных проектах.

2. Доработка PiCrawler. Сегодня я выложил новый проект на GitHub в честь достижения 10 000 подписчиков в блоге о том, как работают нейронные сети и технологии в стартапах. Проект представляет собой голосового помощника, который может воспроизводить «Нейронное радио», читать новости или работать с ChatGPT. Можно добавить дополнительные команды на жесты и фразы. Как насчёт видео о том, как я собираю PiCrawler, дополняю его необходимыми модулями и портирую на Pi5, а также переношу сам код на Pi5.

3. Создание цифрового персонажа в социальной сети, созданного искусственным интеллектом, похожего на персонажа из мультсериала или живого человека. Этот персонаж сможет взаимодействовать с вами, а вы сможете влиять на его развитие. Попутно создавая видеоролики о том, как это делается в приложении с открытым исходным кодом Wunjo AI и других проектах.

В общем, я не знаю, что вас интересует. Помогите!

Я такого не говорил (с) Джейсон Стэйтем

Очереденой эксперимент. Мы привыкли, что в песнях на русском, и не только, делают вставки на английском языке. И я решил перевернуть всё с ног на голову и сделать вставки с английским акцентом из русских цитат Стэйтема (или почти) в английские треки. В общем, это эксперимент имитации акцента на русском языке подходом, который я сейчас использую для генерации музыки, и вы можете послушать результат. Получилось драйвово и забавно, главное вслушаться, чтобы не пропустить.

Музыку я пишу по фану, чтобы получить от неё удовольствие и вызвать улыбку. Если захотите услышать больше или вам интересны эксперименты, вы можете найти её на моем канале и бесплатном сервисе, код которого открыт на моем GitHub. Я специально создал этот сервис для имитации радио с подкастами и прочими приятностями, такими как игра-кликер, различные эксперименты и так далее. Подробности можно найти в этой статье о свободной музыке и том, как я создаю такие видео с использованием нейронных сетей в рамках этого эксперимента.

Если вам понравилось и вы хотите трек под свои цитаты, оставьте комментарий под видео.

P.S. И раз это Хаб «Я пиарюсь», прошу вас поддержать звездой Wunjo AI на GitHub. Проект бесплатный, с открытым исходным кодом, имеет в себе десятки нейронных сетей, чтобы люди могли свободно создавать контент без технических знаний. Осталось совсем чуть-чуть до выхода на новый уровень. Всем спасибо.

Как будто вчера я писал пост о том, что сделал музыкальный клип с помощью нейронных сетей для генерации видео. Однако, это не единственный способ использования нейронных сетей в монтаже видео.

Я хотел бы рассказать вам о своем приложении с открытым исходным кодом, которое устанавливается на компьютер одним кликом. Оно создано для того, чтобы улучшить жизнь людей, делая процесс создания контента проще и эффективнее. Приложение позволяет проводить видеомонтаж, автоматически удалять текст и объекты из видео, заменять лица на видео фотографиями, синхронизировать речь с движениями губ, а также улучшать качество лица и рисованного видео. Есть также модуль изменения видео: при помощи текста и Stable Diffusion вы описываете, как вы хотели бы изменить видео, а нейронные сети сами воплощают ваши пожелания. Кроме того, приложение предлагает синтез речи и клонирование голоса, но это уже другая история...

P.S. По ссылкам вы найдете статьи, в которых я объясняю, как это сделано, и также видео. Если вам понравилась музыка, вы найдете ее больше на канале. А если вы хотите узнать, о том, что готовится в Wunjo AI v2, тогда для вас блог, где я рассказываю а процессе создания.

Недавно я писал статью о Нейронном радио и музыкальных треках, созданных нейронными сетями. Обязательно прочтите, чтобы оценить качество. Музыка в разных жанрах - от Heavy Metal до музыки 80-х, но их объединяет то, что тексты песен на английском. Теперь я задумался, а что если попробовать написать песню на русском и сделать для неё клип с помощью нейронных сетей? Оцените, что получилось...

В статье, я писал о том, как работаю с видео, таким образом я и создавал этот клип. Мне понадобилось для этого, 4 часа работы. Начиная от написания песни, заканчивая вот этими словами.

Релиз Wunjo AI 1.5.5. Что нового?

• Добавлено клонирование голоса на русский язык.

• Оптимизация анимации лица, сокрытие не нужных элементов, исправление ошибок работы с gif.

• Улучшено отображение логов в консоли.

• Индикатор занимаемого места на диске для результатов синтеза речи и дипфейков.

Дата выхода: 23.09.23.

Видео всех возможностей проекта с открытым исходным кодом для создания дипфейков, синтеза и клонирования речи.