ControlNet++ використовує дискримінаційні моделі винагороди для оптимізації узгодженості між вхідними умовами (зображення-референс) і результатами генерації за рахунок оптимізації послідовності циклів.
Згідно з опублікованими бенчмарками, ControlNet++ значно покращує керованість процесом генерації.
Новий метод перевершує класичний ControlNet:
- на 7.9% за mIoU;
- на 13.4% за SSIM;
- на 7.6% за RMSE.
Адаптації під UI для Stable Diffusion поки немає.
Ще крутіше те, що ControlNet++ встигли упакувати в Controlnet Union і зібрали в 1 модель.
Тепер можна разом робити 12 препроцесів з однієї моделі CN.
👉 Репозиторій: https://huggingface.co
Модель safetensors без конфігурації в папку з Контролнетом Автоматика1111 або ComfyUI. Це всі дії, які необхідно зробити.
А найголовніше – більше не потрібно качати тонну моделей і стежити в UI що потрібний препроцесор обраний.
Працює controlnet union на SDXL-моделях. Для SD3 свій контролнет, для SD1.5 – свій, цей працювати не буде.
