Комментарии 37
Спасибо. Если вам нравится, вы можете поддержать проект. Например рассказав о нём или предложить свои идеи для обновления 1.6. В документации я добавил страницу об этом.
Имхо не хватает докер-образа какого-нибудь
Почему не достаточно установщика? Для Windows .msi, для Ubuntu .deb., для MacOS сразу app. После установки в самом проекте уже будет питон и все необходимые библиотеки. Имхо для простого пользователя докер сложно (да вообще лучше и для не простого без доп шагов), простой пользователь хочет нажать по кнопке, и чтобы все установилось само. К сожалению, вот приходится отдельно ffmpeg ставить))
Кажется можно попробовать снова, после 1.2 и 1.3 неразбериха с путями закончилась?
Да. Баги для винды с путями, ошибки в скачивании NLTK были исправлены. Комфортнее пользоваться версией 1.5, так как там видно статус, что скачивается, сколько скачалось, куда, какой процент генерации и есть ли ошибки + появилось документация (в том числе там есть информация, как ручным способом скачать модели, если винда не скачивает) и видео по установке
В окне со ссылкой на скачивание написано: "Если у вас есть фаервол, он может заблокировать автоматическую загрузку моделей, вы можете скачать их самостоятельно из репозитория." - но не даётся никакой ссылки и/или пояснений, где/как скачать их самостоятельно из репозитория.
Привет. В документации написано как скачать github.com/wladradchenko/wunjo.wladradchenko.ru/wiki и видео как установить на Windows https://youtu.be/2qIpJYhOL2U?feature=shared
Однако в новой версии 1.5 не должно быть проблем со скачиванием, они были в предыдущей версии.
А откуда у вас эта ссылка? В файле .wunjo/voice/voice.json https://wladradchenko.ru/static/wunjo.wladradchenko.ru/tacotron2/checkpoint_man
Раньше была такая ссылка, но с появлением клонирования, эта директория стала вызывать путаницы, и теперь называется tacotron2. Возможно из документации, поправил, спасибо
А эта ссылка у меня от надёжного источника из вот этой вот статьи: https://github.com/wladradchenko/wunjo.wladradchenko.ru/wiki/Как-вручную-установить-модель-преобразования-текста-в-речь
Upd: вижу, поправили, спасибо.
Выглядит итерессно, решил попробовать, но на macOS 13.5.1(intel) не запустился (ffmpeg установил). Вышла ошибка что файл поврежден давай перемещай в корзину. Может сходу знаете в чем проблема? И еще вопрос на виртуалке заработает? Решил попробовать на Ubuntu.
Привет. На виртуалке заработает, например билд для винды я делаю на виртуалке, там этот билд и тестирую. Напишите в github.com/wladradchenko/wunjo.wladradchenko.ru/issues, попробуем решить, что с ним. Вы также можете попробовать установить проект из GitHub.
Возможно такая ошибка, что сделан просто билд, а не установщик. Однако на данный момент из-за блокировки регистрации из России на Apple, у меня не получится сделать установщик. Если кто-то сможет собрать, то я прикреплю ссылки на этого человека и его установщик на сайте и GitHub приложения.
Шикарный программист шикарного приложения. Браво!
это очень круто! прямо не верится что это всё один человек может сделать! удачи вам с проектом! моё восхищение!
Спасибо. Если вам нравится, вы можете поддержать проект. Например рассказав о нём или предложить свои идеи для обновления 1.6. В документации я добавил страницу об этом.
Описание радует. Действительно пора собрать "все в одном". Однако, с экрана смартфона увидел отличие области, где убрана машина: следы от шин пропадают под немного не оттуда "клонированной" областью, хотя впереди, в перспективе, рисунок шин есть. Можно ли как-то переделать алгоритм, чтобы он взял область из перспективы и "натянул" ее на область закраски машины?
Привет. Не получится, так работает нейронная сеть, которая применяется. Она обучалась следующим образом: на вход подавалось полное изображение и изображение, где закрашен объект и нейронная сеть училась восстанавливать изображения. Там нет алгоритма, который что-то натягивает. Единственный выход до обучать модель на данных, на которых она плохо отрабатывает))
Не увидел обещанного прогресс бара на дуанлоаде моделей. Просто пивисла надпись -Please wait... Processing is started . Все . Висит уже около часа , я помню модели большие , но максимум их загрузка в ручном режиме занимала минут 20. Окошко войс селекшн обрезается на 70% видны только первые несколько букв
Откройте баг в issue, и прикрепите скриншоты окна приложения, и директорий .wunjo/deepfake, .wunjo/voice.
Если повисла надпись без какого-то прогресса, значит скачивание не начилось и что-то на стороне Windows у вас его блокирует, может браундомер.
В любом случае в документации описаны шаги, как все модели скачать и установить ручным способом.
У меня на виртуалке Windows есть и прогресс бар, и скачивание всех моделей происходит. Блоки винды из-за сторонних программ из приложения не исправить))
Возможно, будет хорошей идеей для ручного способа дополнительно сделать bash скрипт, который можно запустить из администратора и он скачает все модели в нужные директории. Баш скрипты, если запускать с администратора вроде бы браундомером в винде не блокируется.
Либо сделать видео как добавить приложение в исключения для браундомера, чтобы все скачалось автоматически.
Разобрался! Проблема была не в антивирусе или файрвол, проблема была с библиотекой tqdm на Windows, когда приложение в сборке. Попробуйте завтра скачать снова, я за сегодня билд сделаю
Почему на одной виртуалке винды 2308 у меня проблема возникает, а на другой сборке винды 2210 нет, не понятно. Ну, ладно
Да, спасибо , таскбары заработали и все скачивается. Единственное - если ты уже все моели скачал и разложил по checkpoints & gfpgan, она не проверят это и заново качает. И главное не видно куда она все это качает... я так предполагаю в rtvc ?
Face render на моем CPU идет конечно слабовато , хоть и памяти 32Гб попробую под Убунту на Куду.
И еще - ffmpeg - проскакивает окно так быстро , что даже если там ошибка , не понять . Можно его лог писать куда-то в местный директорий с аппендом? Там опция есть такая.
Сегодня вышло обновление для Windows, в котором ffmpeg скачивается автоматически.
Модели проверяются, чтобы заново не скачивались. С моделями работает так, проверяется размер модели в папке, если оно не соответствует с тем, что на сервере, тогда скачивается заново (это, чтобы избежать проблем, когда модель не докачалась, интернет отрубился, и теперь она не скачивается, так как есть в папке). Он может скачивать заново модели, которые получаются из архива, так как нельзя из сервера получить размер папки после распаковки, по этой причине хранятся архивы, и если их нет, то снова скачивается (проверяется размер по архивами и есть ли файлы в папке). Модели для deepfake скачиваются в .wunjo/deepfake
Модели rtvc (если используется клонирование голоса) или NLTK, их тоже нужно устанавливать отдельно в директорию .wunjo/rtvc, они скачивают я автоматически.
Вы можете попробовать GPU версию на Ubuntu (рекомендуется использовать CUDA 11.8) или собрать билд себе под Windows для использования GPU (в документации описаны шаги). Для Windows распространяется версия CPU, так как при GPU библиотеках установщик msi не получится собрать https://github.com/beeware/briefcase/discussions/1441
Насчёт ffmpeg, да, окно запускается и это видно на Windows, лога от него нет, так как запускается в os.system. В приложении вам выдаются все логи приложения, кроме логов Flask, запуски os.system туда не входят.
спасибо , поиграл в анимацию.
а куда ffmpeg скачивается ? Просто у меня для него свои настройки , не хотелось бы заново разбираться , если настройки будут браться из другого места.
Он еще дает предупреждение : WARNING:imageio_ffmpeg:IMAGEIO FFMPEG_WRITER WARNING: input image is not divisible by macro_block_size=16 , если это пригодится.
https://github.com/RayVentura/ShortGPT
Не знаю насколько это возможно, ну раз это такое универсальное средство для производства контента, было бы круто как то интегрировать туда нечто подобное.)
ещё бы хорошо смотрелся там простенький уникализатор видео/фото
Бро, есть идея, вот ты сделал синтез голоса ретуш видео, эмоции и тд, почему бы тебе не интегрировать новую опен соурс нейросеть falcon 180b, там немножко подправить содержимое чтобы она понимала голос и чтобы отвечала голосом каким хочешь и попробовать сделать приложение для голосовых помощников, сделай пожалуйста с открытым кодом это было бы очень классно иметь голосового помощника нейросеть с голосом который ты хочешь
Привет. Может это будет следующим опен сорс проектом, когда я реализую полностью все задумки с Wunjo AI. Следите за обновлениями и новыми проектами на гитхаб.
Добрый день! Интересно, почему в конце рекламного ролика буквы Wunjo идут в обратном порядке, да ещё и пропущена буква «о»?)
Нормально установился wunjo_1.5.4.msi под win10. Но программа не запускается с ошибкой:
Traceback (most recent call last):
File "\app\wunjo_main_.py", line 1, in module
from wunjo.app import main
File "\app\wunjo\app.py", line 4, in module
import torch
File "\app_packages\torch_init_.py", line 133, in module
raise err
OSError: [WinError 126] Не найден указанный модуль. Error loading "\app_packages\torch\lib\c10.dll" or one of its dependencies.
Пробовал добавлять path до папок с программой, права на чтение запись даны, не помогает, увы
Интересно. Попробуйте 1.5.3. Не понял причем здесь path и чтение на запись моделей. Если у вас сама программа не открывается. Написано ведь, что файла не хватает для импорта библиотеки, да ещё и в первой строчке. Возможно, что-то с путями до программы после установки, например не понятные символы до папки (на кириллице), где либо программа установилась, либо кеш папка. Вы смотрели, сам файл есть? Какой абсолютный путь до программы и папки .wunjo?
У вас win32 или win64?
Права на чтение не нужно давать, теперь все делает программа автоматически, в том числе и права на чтение моделей и папок дает после скачивания.
Права на чтение нужно давать, только если вы модели скачали ручным способом,и только если дипфейк не заработал (не на всех виндовс наблюдается такая проблема, при ручном скачивании)
Если все таки дело в символах, то папка программы легко переносится в любое место на диске и папка .wunjo может быть тоже выбрана вами в любом месте, необходимо, чтобы пути были латиницей.
Возможно это может быть связано с отсутствием VS на ПК.
Wladradchenko: "Возможно это может быть связано с отсутствием VS на ПК."
Скорее всего, это правильно. После установки VS программа Wunjo все равно не запускается, но ошибка поменялась, так что направление поиска ясно. Похоже, нужны некоторые общеизвестные и широкодоступные компоненты Windows, которые используются программой, но которые у меня не установлены.
wunjo_1.5.3 ведет себя так же, как и wunjo_1.5.4, ошибка такая же. У меня win10-64. Ошибка wunjo_1.5.4 после установки VS :
Traceback (most recent call last):
File "\app\wunjo_main_.py", line 1, in module
from wunjo.app import main
File "\app\wunjo\app.py", line 13, in module
from deepfake.inference import AnimationMouthTalk, AnimationFaceTalk, FaceSwap, Retouch, VideoEdit
File "\app\deepfake\inference.py", line 21, in module
from src.utils.preprocess import CropAndExtract
File "\app\deepfake\src\utils\preprocess.py", line 19, in module
from src.utils.croper import Croper
File "\app\deepfake\src\utils\croper.py", line 32, in module
import dlib
File "\app_packages\dlib_init_.py", line 19, in module
from _dlib_pybind11 import *
ImportError: DLL load failed while importing _dlib_pybind11: Произошел сбой в программе инициализации библиотеки динамической компоновки (DLL).
Вполне возможно, что отсутствующая DLL является частью установки Visual Studio (VS), поскольку для dlib требуется правильно настроенная среда Visual Studio в Windows, попробуйте установить VS последней версии и со всеми DLL. Ещё попробуйте CMake установить, вот статья почему dlib может не работать на Windows 10 win64.
Раз это отсутствие основных компонентов на вашей Windows. Попробуйте по очередно устанавливать компоненты и смотреть, решается ли проблема с импортом dlib. Помимо установки самой Visual Studio, установите Visual Studio Build Tools с соответствующими конфигурациями для разработки на C++ Visual Studio Build Tools.
Есть также инструмент Dependency Walker который может определить, какие библиотеки DLL отсутствуют или не найдены на вашем Windows.
Можете еще установить Windows 10 SDK включает заголовки, библиотеки и инструменты для разработки приложений, может это покроит DLL, которые по той или иной причине отсуствуют в вашей Windows.
Публикации
Клонирование голоса, замена лица по фото, удаления объектов в видео и все в одном open-source проекте Wunjo AI