Gourieff 780357ee0c UPDATE: Image hashing -> Speed Boost

+VersionUP (0.4.3 beta4)

2023-10-22 15:31:32 +07:00

31 KiB

Raw Blame History

для любых GPU
^{NVIDIA / AMD / Intel}

для GPU NVIDIA
^{8Гб VRAM или более}

English | Русский

ReActor для Stable Diffusion

Расширение для быстрой и простой замены лиц на любых изображениях. Без фильтра цензуры, 18+, используйте под вашу собственную ответственность

^{Поддержать проект}

ReActor это расширение для Stable Diffusion WebUI, которое позволяет делать простую и точную замену лиц на изображениях. Сделано на основе ReActor-UI.

^{Помочь проекту}

Установка

Automatic1111 | Vladmandic SD.Next | Google Colab SD WebUI

Если вы используете AUTOMATIC1111 Web-UI:

(Для пользователей Windows):

Установите Visual Studio 2022 (Например, версию Community - этот шаг нужен для правильной компиляции библиотеки Insightface): https://visualstudio.microsoft.com/downloads/
ИЛИ только VS C++ Build Tools (если вам не нужен весь пакет Visual Studio), выберите "Desktop Development with C++" в разделе "Workloads -> Desktop & Mobile": https://visualstudio.microsoft.com/visual-cpp-build-tools/
ИЛИ если же вы не хотите устанавливать что-либо из вышеуказанного - выполните следующие шаги (пункт VIII)

Внутри SD Web-UI перейдите во вкладку "Extensions" и вставьте ссылку https://github.com/Gourieff/sd-webui-reactor в "Install from URL" и нажмите "Install"
Пожалуйста, подождите несколько минут, пока процесс установки полностью не завершится
Проверьте последнее сообщение в консоли SD-WebUI:

Если вы видите "--- PLEASE, RESTART the Server! ---" - остановите Сервер (CTRL+C или CMD+C) и запустите его заново - ИЛИ же перейдите во вкладку "Installed" (если у вас имееются какие-либо другие расширение, основанные на Roop или клонах ReActor - отключите их, иначе данное расширение может не работать), нажмите "Apply and restart UI"
Если вы видите "Done!", перейдите во вкладку "Installed" (если у вас имееются какие-либо другие расширение, основанные на Roop или клонах ReActor - отключите их, иначе данное расширение может не работать), нажмите "Apply and restart UI" - или же просто перезагрузите UI, нажав на "Reload UI"

Готово!

Если вы используете SD.Next:

Закройте (остановите) SD WebUI Сервер, если он запущен
(Для пользователей Windows) Смотрите Шаг 1 для Automatic1111 (если же вы следовали данным шагам (пункт VIII) вместо этого - переходите к Шагу 5)
Перейдите в (Windows)automatic\venv\Scripts или (MacOS/Linux)automatic/venv/bin, запустите Терминал или Консоль (cmd) для данной папки и выполните activate
Выполните pip install insightface==0.7.3
Запустите SD.Next, перейдите во вкладку "Extensions", вставьте эту ссылку https://github.com/Gourieff/sd-webui-reactor в "Install from URL" и нажмите "Install"
Пожалуйста, подождите несколько минут, пока процесс установки полностью не завершится
Проверьте последнее сообщение в консоли SD.Next:

Если вы видите "--- PLEASE, RESTART the Server! ---" - остановите Сервер (CTRL+C или CMD+C) и запустите его заново - ИЛИ же перейдите во вкладку "Installed" (если у вас имееются какие-либо другие расширение, основанные на Roop или клонах ReActor - отключите их, иначе данное расширение может не работать), нажмите "Restart the UI"

Остановите Сервер SD.Next, перейдите в директорию automatic\extensions\sd-webui-reactor - если вы видите там папку models\insightface с файлом inswapper_128.onnx внутри, переместите его в папку automatic\models\insightface
Готово, можете запустить SD.Next WebUI!

Если вы используете Cagliostro Colab UI:

В активном WebUI, перейдите во вкладку "Extensions", вставьте ссылку https://github.com/Gourieff/sd-webui-reactor в "Install from URL" и нажмите "Install"
Пожалуйста, подождите некоторое время, пока процесс установки полностью не завершится
Когда вы увидите сообщение "--- PLEASE, RESTART the Server! ---" (в секции "Start UI" вашего ноутбука "Start Cagliostro Colab UI") - перейдите во вкладку "Installed" и нажмите "Apply and restart UI" (если у вас имееются какие-либо другие расширение, основанные на Roop или клонах ReActor - отключите их, иначе данное расширение может не работать)
Готово!

Возможности

Быстрая и точна замена лиц (faceswap) на изображении

Поддержка нескольких лиц

Определение пола

Функция сохранения оригинального изображения (сгенерированного до замены лица)

Восстановление лица после замены

Увеличение размера полученного изображения

Возможность задать порядок постобработки

100% совместимость с разными SD WebUI: Automatic1111, SD.Next, Cagliostro Colab UI

Отличная производительность даже с использованием ЦПУ, ReActor для SD WebUI абсолютно не требователен к мощности вашей видеокарты

Поддержка API: как встроенного в SD WebUI, так и внешнего (через POST/GET запросы)
Поддержка ComfyUI
Поддержка компьютеров Mac M1/M2
Регулировка уровня логов консоли
Без NSFW фильтров (данное расширение адресовано высокоразвитым интеллектуальным людям, а не извращенцам; наше общество должно быть ориентировано на своём пути на высшие стандарты, а не на низшие - в этом состоит суть развития и эволюции человеческого общества; поэтому, моя позиция такова - что зрелые умом люди достаточно разумны, чтобы понимать, что есть хорошо, а что плохо и нести полную ответственность за собственные действия; для прочих - никакие "фильтры" не помогут, пока эти люди сами не поймут, как работает Вселенная)

Использование

Используя данное программное обеспечение, вы соглашаетесь с ответственностью

В раскрывающимся меню "ReActor" импортируйте изображение, содержащее лицо;
Установите флажок "Enable";
Готово, теперь результат будет иметь то лицо, которое вы выбрали.

Индексы Лиц (Face Indexes)

ReActor определяет лица на изображении в следующей последовательности:
слева-направо, сверху-вниз.

Если вам нужно заменить определенное лицо, вы можете указать индекс для исходного (source, с лицом) и входного (input, где будет замена лица) изображений.

Индекс первого обнаруженного лица - 0.

Вы можете задать индексы в том порядке, который вам нужен.
Например: 0,1,2 (для Source); 1,0,2 (для Input).
Это означает, что: второе лицо из Input (индекс = 1) будет заменено первым лицом из Source (индекс = 0) и так далее.

Определение Пола

Вы можете обозначить, какой пол нужно определять на изображении.
ReActor заменит только то лицо, которое удовлетворяет заданному условию.

Если лицо получилось нечётким

Используйте опцию "Restore Face". Также можете попробовать опцию "Upscaler". Для более точного контроля параметров используйте Upscaler во вкладке "Extras". Также вы можете установить порядок постобработки (начиная с версии 0.1.0):

Прежняя логика была противоположенной (Upscale -> затем Restore), что приводило к более худшему качеству изображения лица (а также к значительной разнице текстур) после увеличения.

Результат имеет несколько лиц

Выберите номера лиц, которые нужно поменять, используя поля "Comma separated face number(s)" для исходного изображения лица и для результата. Можно устанавливать любой, необходимый вам, порядок лиц.

Результат получился чёрным

~~Это значит, что сработал NSFW фильтр.~~

Img2Img

Используйте эту вкладку, чтобы заменить лицо на уже готовом изображении (флажок "Swap in source image") или на сгенерированном на основе готового (флажок "Swap in generated image").

Inpainting также работает, но замена лица происходит только в области маски.
Пожалуйста, используйте с опцией "Only masked" для "Inpaint area", если вы применяете "Upscaler". Иначе, используйте функцию увеличения (апскейла) через вкладку "Extras" или через опциональный загрузчик "Script" (внизу экрана), применив "SD upscale" или "Ultimate SD upscale".

Использование ReActor + FaceSwapLab внутри одной среды

Если вы столкнулись с трудностями запуска одновременно обоих расширений, попробуйте сделать следующее:

для GPU NVIDIA с VRAM > 6Гб:
Используйте ReActor Force

для любых других GPU:

Удалите FaceSwapLab из папки extensions
Удалите папки onnxruntime и onnxruntime-gpu из директории site-packages (внутри VENV Lib)
Запустите SD WebUI, чтобы ReActor установил библиотеку onnxruntime, закройте SD WebUI
git clone https://github.com/glucauze/sd-webui-faceswaplab в папку extensions
Отредактируйте файл sd-webui-faceswaplab/install.py:
- Строка 9: use_gpu = True -> use_gpu = False
Запустите SD WebUI, оба расширения теперь могут работать внутри одного окружения

API

Вы можете использовать ReActor как со встроенным SD Webui API так и через внешнее API.

Подробная инструкция здесь.

Устранение проблем

I. "You should at least have one model in models directory"

Проверьте путь, где хранится модель "inswapper_128.onnx". Файл должен находиться в папке stable-diffusion-webui\models\insightface. Переместите модель туда, если она находится в какой-то иной директории.

II. Какие-либо проблемы с установкой Insightface или прочих пакетов

(Для пользователей Mac M1/M2) Если вы получаете ошибки в ходе установки Insightface - читайте https://github.com/Gourieff/sd-webui-reactor/issues/42

(Для пользователей Windows) Если VS C++ Build Tools или MS VS 2022 установлены но вы видите ошибки, связанные с отсутствием Insightface, попробуйте следующее:

Закройте (остановите) SD WebUI Сервер и запустите его снова (возможно, не прошла инициализация пакета после его установки)

(Для пользователей любых ОС) Попробуйте следующее:

Закройте (остановите) SD WebUI Сервер, если он запущен
Перейдите в папку (Windows)venv\Lib\site-packages или (MacOS/Linux)venv/lib/python3.10/site-packages
Если вы видите к-л папки с именами, начинающимися с ~ (например, "~rotobuf") - удалите их
Перейдите в (Windows)venv\Scripts или (MacOS/Linux)venv/bin
Откройте Терминал или Консоль (cmd) для этой папки и выполните activate
Для начала обновите pip: pip install -U pip
Далее:
- pip install insightface==0.7.3
- pip install onnx
- pip install onnxruntime==1.15.1
- pip install opencv-python
- pip install tqdm
Выполните deactivate, закройте Терминал или Консоль и запустите SD WebUI, ReActor должен запуститься без к-л проблем - если же нет, добро пожаловать в раздел "Issues".

III. "TypeError: UpscaleOptions.init() got an unexpected keyword argument 'do_restore_first'"

Для начала отключите любые другие Roop-подобные расширения:

Перейдите в 'Extensions -> Installed' и снимите флажок с ненужных:
Нажмите 'Apply and restart UI'

Альтернативные решения:

https://github.com/Gourieff/sd-webui-reactor/issues/3#issuecomment-1615919243
https://github.com/Gourieff/sd-webui-reactor/issues/39#issuecomment-1666559134 (актуально для Vladmandic SD.Next)

IV. "AttributeError: 'FaceSwapScript' object has no attribute 'enable'"

Отключите расширение "SD-CN-Animation" (или какое-либо другое, вызывающее конфликт)

V. "INVALID_PROTOBUF : Load model from <...>\models\insightface\inswapper_128.onnx failed:Protobuf parsing failed" ИЛИ "AttributeError: 'NoneType' object has no attribute 'get'" ИЛИ "AttributeError: 'FaceSwapScript' object has no attribute 'save_original'"

Эта ошибка появляется, если что-то не так с файлом модели inswapper_128.onnx.

Скачайте вручную по ссылке here и сохраните в директорию stable-diffusion-webui\models\insightface, заменив имеющийся файл.

VI. "ValueError: This ORT build has ['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'] enabled" ИЛИ "ValueError: This ORT build has ['AzureExecutionProvider', 'CPUExecutionProvider'] enabled"

Закройте (остановите) SD WebUI Сервер, если он запущен
Перейдите в (Windows)venv\Lib\site-packages или (MacOS/Linux)venv/lib/python3.10/site-packages и посмотрите, если там папки с именам, начинающимися на "~" (например, "~rotobuf"), удалите их
Перейдите в (Windows)venv\Scripts или (MacOS/Linux)venv/bin, откройте Терминал или Консоль (cmd) и выполните activate
Затем:

python -m pip install -U pip
pip uninstall -y onnx onnxruntime onnxruntime-gpu onnxruntime-silicon onnxruntime-extensions
pip install onnx==1.14.1 onnxruntime==1.15.1

Если это не помогло - значит какое-то другое расширение переустанавливает onnxruntime всякий раз, когда SD WebUI проверяет требования пакетов. Внимательно посмотрите список активных расширений. Если видите там "WD14 tagger" - попробуйте отключить его и ещё раз выполнить шаги выше. Это расширение вызывает переустановку onnxruntime на onnxruntime-gpu или onnxruntime==1.16.0 при каждом запуске SD WebUI.
ORT 1.16.0 выкатили с ошибкой https://github.com/microsoft/onnxruntime/issues/17631 - не устанавливайте её!

VII. "ImportError: cannot import name 'builder' from 'google.protobuf.internal'"

Закройте (остановите) SD WebUI Сервер, если он запущен
Перейдите в (Windows)venv\Lib\site-packages или (MacOS/Linux)venv/lib/python3.10/site-packages и посмотрите, если там папки с именам, начинающимися на "~" (например, "~rotobuf"), удалите их
Перейдите в папку "google" (внутри "site-packages") и удалите любые папки с именам, начинающимися на "~"
Перейдите в (Windows)venv\Scripts или (MacOS/Linux)venv/bin, откройте Терминал или Консоль (cmd) и выполните activate
Затем:

python -m pip install -U pip
pip uninstall protobuf
pip install protobuf>=3.20.3

Если это не помгло - значит, есть к-л другое расширение, которое использует неподходящую версию пакета protobuf, и SD WebUI устанавливает эту версию при каждом запуске.

VIII. (Для пользователей Windows) Если вы до сих пор не можете установить пакет Insightface по каким-то причинам или же просто не желаете устанавливать Visual Studio или VS C++ Build Tools - сделайте следующее:

Закройте (остановите) SD WebUI Сервер, если он запущен

Скачайте готовый пакет Insightface и сохраните его в корневую директорию stable-diffusion-webui (или SD.Next) - туда, где лежит файл "webui-user.bat"
Из корневой директории откройте Консоль (CMD) и выполните .\venv\Scripts\activate
Обновите PIP: python -m pip install -U pip
Затем установите Insightface: pip install insightface-0.7.3-cp310-cp310-win_amd64.whl
Готово!

IX. Ошибка обновления 07-Август-23

Если после очередного git pull вы получили сообщение: Merge made by the 'recursive' strategy и затем, когда проверяете статус репозитория через git status, вы видите Your branch is ahead of 'origin/main' by

Выполните следующее:

Внутри папки extensions\sd-webui-reactor запустите Терминал или Консоль (cmd) и затем:

git reset f48bdf1 --hard
git pull

ИЛИ:

Полностью удалите папку sd-webui-reactor внутри директории extensions, запустите Терминал или Консоль (cmd) и выполните git clone https://github.com/Gourieff/sd-webui-reactor

Обновление

Самый простой и удобный способ обновления SD WebUI и расширений: https://github.com/Gourieff/sd-webui-extensions-updater

ComfyUI

Вы можете использовать ReActor с ComfyUI
Инструкция здесь: ReActor Node

Ответственность

Это программное обеспечение призвано стать продуктивным вкладом в быстрорастущую медиаиндустрию на основе генеративных сетей и искусственного интеллекта. Данное ПО поможет художникам в решении таких задач, как анимация собственного персонажа или использование персонажа в качестве модели для одежды и т.д.

Разработчики этого программного обеспечения осведомлены о возможных неэтичных применениях и обязуются принять против этого превентивные меры. Мы продолжим развивать этот проект в позитивном направлении, придерживаясь закона и этики.

Подразумевается, что пользователи этого программного обеспечения будут использовать его ответственно, соблюдая локальное законодательство. Если используется лицо реального человека, пользователь обязан получить согласие заинтересованного лица и четко указать, что это дипфейк при размещении контента в Интернете. Разработчики и Со-авторы данного программного обеспечения не несут ответственности за действия конечных пользователей.

Используя данное расширение, вы соглашаетесь не создавать материалы, которые:

нарушают какие-либо действующие законы тех или иных государств или международных организаций;
причиняют какой-либо вред человеку или лицам;
пропагандируют любую информацию (как общедоступную, так и личную) или изображения (как общедоступные, так и личные), которые могут быть направлены на причинение вреда;
используются для распространения дезинформации;
нацелены на уязвимые группы людей.

Данное программное обеспечение использует предварительно обученные модели buffalo_l и inswapper_128.onnx, представленные разработчиками InsightFace. Эти модели распространяются при следующих условиях:

Перевод из текста лицензии insighface: Предварительно обученные модели InsightFace доступны только для некоммерческих исследовательских целей. Сюда входят как модели с автоматической загрузкой, так и модели, загруженные вручную.

Пользователи данного программного обеспечения должны строго соблюдать данные условия использования. Разработчики и Со-авторы данного программного продукта не несут ответственности за неправильное использование предварительно обученных моделей InsightFace.

Обратите внимание: если вы собираетесь использовать это программное обеспечение в каких-либо коммерческих целях, вам необходимо будет обучить свои собственные модели или найти модели, которые можно использовать в коммерческих целях.

Хэш файлов моделей

Безопасные для использования модели имеют следующий хэш:

inswapper_128.onnx

MD5:a3a155b90354160350efd66fed6b3d80
SHA256:e4a3f08c753cb72d04e10aa0f7dbe3deebbf39567d4ead6dce08e98aa49e16af

1k3d68.onnx

MD5:6fb94fcdb0055e3638bf9158e6a108f4
SHA256:df5c06b8a0c12e422b2ed8947b8869faa4105387f199c477af038aa01f9a45cc

2d106det.onnx

MD5:a3613ef9eb3662b4ef88eb90db1fcf26
SHA256:f001b856447c413801ef5c42091ed0cd516fcd21f2d6b79635b1e733a7109dbf

det_10g.onnx

MD5:4c10eef5c9e168357a16fdd580fa8371
SHA256:5838f7fe053675b1c7a08b633df49e7af5495cee0493c7dcf6697200b85b5b91

genderage.onnx

MD5:81c77ba87ab38163b0dec6b26f8e2af2
SHA256:4fde69b1c810857b88c64a335084f1c3fe8f01246c9a191b48c7bb756d6652fb

w600k_r50.onnx

MD5:80248d427976241cbd1343889ed132b3
SHA256:4c06341c33c2ca1f86781dab0e829f88ad5b64be9fba56e56bc9ebdefc619e43

Пожалуйста, сравните хэш, если вы скачиваете данные модели из непроверенных источников

31 KiB Raw Blame History Unescape Escape