HaveallSDXL — Style Transfer для ComfyUI

Мега крутая сборка на ComfyUI которая позволяет менять стиль изображения, разукрашивать в любую цветовую палитру, добавлять текстуры.
Благодаря тому, что модель Haveall SDXL была обучена на качественных изображениях очень разнообразных тематик – с помощью скриптов IP adapter можно вытягивать полную детализацию и текстуры из изображения референса и переносить все в генерацию вашего промпта. Ни одна модель SDXL на это не способна! Только Haveall SDXL может вытягивать такую детализацию и цветовую палитру из исходного референса, остальные модели не могут дотянуться до полной детализации, цвета выжженные и сухие, датасет не позволяет работать со всеми объектами и артами. К сожалению, люди не могут это понять сразу, поэтому придется каждый раз об этом упоминать. Haveall SDXL натренирована комплексным методом, который в 4 раза сложнее, чем обычная стандартная тренировка модели, которую все используют. И только с Haveall SDXL с помощью Style Transfer вы сможете получить генерации такого же стиля как у Миджорни 6, Niji 6, и любую другую стилизацию.

HaveallSDXL - Style Transfer для ComfyUI

Собрал шаблон под ComfyUI, упростил все максимально чтобы не надо было совершать лишних движений. Просто добавляете картинку референс, с которой необходимо скопировать стиль, ставите ширину и высоту, пишите пропмт и жмете – кнопку генерировать.
Если использовать IP adapter в Автоматике, то генерация будет идти очень долго, плюс каждый раз надо будет открывать две-три вкладки в контролнете, закидывать картинку дважды и т.д. ComfyUI с моим шаблоном в этом плане выигрывает, работает быстрее, больше тонких настроек, меньше суеты. Если вам будет удобнее в Автоматике или Фордже, то просто скачайте модели и используйте как будет удобнее.

HaveallSDXL - Style Transfer для ComfyUI

А я напишу как это использовать в ComfyUI.
Все файлы можно найти в папке на Hugging Face-> HaveallSDXL_Style_Transfer

Для начала установим сам ComfyUI.
1. Качаем архив ComfyUI из оф. странички: Direct link to download. Распаковываем, переименовываем под себя, допустим ComfyUI. Заходим в основную папку ComfyUI, далее в папку update, там находим файл update_comfyui.bat и запускаем его, чтобы обновить сам ComfyUI.
2. Для полноценной работы надо установить Git. В любом случае пригодится и для других задач. Качаем Git c официальной странички. На старнице увидите кнопку «Download» — кликаете по ней, скачиваете установочный файл, запускаете и устанавливаете.
3. Закидываем модель Haveall SDXL (ссылки на скачивание тут) в папку ComfyUI\ComfyUI\models\checkpoints
4. Устанавливаем менеджер для ComfyUI — качаем по ссылке. Этот файл закидывайте в корневую папку ComfyUI и запускайте. Установится менеджер приложений.
5. Скачиваем модели для контролнет. Их надо закинуть в эту папку ComfyUI\ComfyUI\models\controlnet
— Модель Лора sai_xl_depth_256lora.safetensors
— Модель diffusion_pytorch_model.safetensors
6. Скачиваем модель IpAdapter. Эту модель надо поместить в папку ComfyUI\ComfyUI\models\ipadapter . Папки такой там не будет, поэтому создайте папку ipadapter. Это необходимо для того, чтобы после очередного обновления компонентов ComfyUI и IpAdapter — все не слетело и не заменилось другими файлами.
7. Скачиваем модель CLIP-ViT-H-14-laion2B-s32B-b79K для определения классов и прочих умных слов т.д. Создаем папку clip_vision и модель закидываем в нее ComfyUI\ComfyUI\models\clip_vision
Туда же закачиваем модель ipadapter_image_encoder.safetensors
8. Скачиваем png картинку, в которую записан шаблон для ComfyUI HaveallSDXLStyleTransfer.png
9. Запускаем ComfyUI. Для этого в корневой папке запустите файл run_nvidia_gpu.bat
10. Откроется оболочка ComfyUI, перетяните туда картинку HaveallSDXLStyleTransfer.png. Далее необходимо установить недостающие ноды. Кликайте Manager в меню, в открывшемся окне кликайте Install Missing Custom nodes. Откроется окно, где будут перечислены недостающие ноды. Устанавливайте их по очереди. Потом жмите рестарт.
11. Устанавливаем ноду контролнет. Снова кликаем Manager в меню, далее кликаем — Install Custom Nodes. В окне в поиске вбейте слово — controlnet и нажмите search. Там увидите ноду под названием ComfyUI’s ControlNet Auxiliary Preprocessors. Установите ее. Снова рестарт. И уже в этот раз ComfyUI будет готов.
12. Далее во всех загрузчиках надо покликать модели, чтобы они подгрузились из ваших папок, так как в моем шаблоне папки указаны по-другому. Стрелками указаны загрузчики. И убедитесь в том, что настройки в выделенных кружками нодах выставлены такие же параметры:
HaveallSDXL - Style Transfer для ComfyUI

Все готово к работе!
HaveallSDXL - Style Transfer для ComfyUI

Разберем несколько примеров

Начнем с простейшего варианта. Идем в галерею на сайте и возьмем простой промпт с этой картинки :

Castle on Sea Shore, top view

Этот промпт дает такое изображение:
HaveallSDXL - Style Transfer для ComfyUI

Вставляем этот промпт в окно для промпта (эта нода так и подписана).

В левое окно вставляем картинку для референса стиля. Возьмем такую:
HaveallSDXL - Style Transfer для ComfyUI

Выставляем ширину и высоту: 1216 и 832
Стандартные разрешения для модели 1024х1024, 1216х832, 832х1216
Несмотря на то, что clipvision может выдавать предупреждение о том, что картинка референса не квадратная, за счет контролнета и модели глубины — все будет выравниваться, так что не обращайте внимание на предупреждение, и не стоит ставить лишнюю ноду на выравнивание, если все итак работает за счет модели глубины.

Далее нам важны два окна (две ноды).

1. Одна называется Apply ControlNet (Advanced) — это модель, которая считывает глубину референса, за счет смены силы показателя «strengh» мы настраиваем будущую композицию. Если поставить маленькое значение, то генерация не будет повторять карту глубины с референса и построит генерацию больше ориентируясь на веса модели HaveallSDXL, если поставить максимальные показатели, то генерация повторит композицию референса, это далее будет видно на следующем примере. В этом примере мы поставим значение: 0.3

2. Вторая нода называется IPAdapter — style transfer — это ip adapter который считывает стиль и цвет с референса. Меняя показатели «weight» мы задаем силу значения с которым будет перекрашиваться наша генерация. Если поставить 0.1-0.2 то можно добавлять легкие нотки в наше изображение, начиная от 0.7 — адаптер будет перекрашивать в стиль максимально приближенный к референсу.

HaveallSDXL - Style Transfer для ComfyUI

В настройках генерации выставляем шаги, так как это полная модель HaveallSDXL, то лучше ставить от 24 шага и больше. Никакие другие мерджи, лайтинговые хиперовые облегченные модели не смогут вытянуть текстуры, поэтому для качества используйте полную модель. Лучше всего с моделью работает сэмплер DPM++ 3M SDE Exponential, Йолер — дает мыло, Каррас — больше под арт и анимашки, поэтому лучшая связка под детализацию DPM++ 3M SDE Exponential. Можно ставить cfg=3 но это не правило, это просто усредненный вариант на котором вы получите качество гарантировано, но модель прекрасно работает и с cfg=4-6, вопрос только в вашей фантазии.

Жмем кнопку «Queue Prompt» — кнопка генерации.
Получаем такой арт:
HaveallSDXL - Style Transfer для ComfyUI

Смысл примерно уловили.

Следующий пример для работы с фото людей, портретами и т.д.
Разберем вариант когда силу значения следования карте глубины мы поставим=1. А силу копирования стиля поставим=0.6
В окно для референс картинки просто перетащим фото девушки, возьмем ее прямо из гугла. Промпт пропишем такой: «Monica Bellucci with long hair, wearing a black, shiny, wet-looking crop top, standing on a balcony with a cityscape in the background, under a clear blue sky with a few clouds. Close up photo, hdr, glossy».
Все остальные настройки прежние. Получаем такой результат:
HaveallSDXL - Style Transfer для ComfyUI
За счет карты глубины и высокому параметру — поза полностью повторилась, поменялось лицо на лицо Моники. Все отлично. Таким образом хорошо повторяются позы, руки, объекты и т.д.

Еще несколько примеров.

HaveallSDXL - Style Transfer для ComfyUI
Alien with glasses, very close up
HaveallSDXL - Style Transfer для ComfyUI
underground side view profile orthographic cutaway of an incandescent plasma maglev tunnel train traveling from one deep underground military base to another
HaveallSDXL - Style Transfer для ComfyUI
Scarlett Johansson is drowning in water
HaveallSDXL - Style Transfer для ComfyUI
award winning photograph, realistic, a new 2025 motorcycle build by the brand Bugatti, side view, background Mojave Desert, twilight, foggy, headlight and tail light are lit
HaveallSDXL - Style Transfer для ComfyUI
Gameplay view of a highly detailed futuristic soldier, equipped with advanced armor and weaponry, stands vigilant in a dystopian urban environment illuminated by the eerie glow of neon lights.

HaveallSDXL Style Transfer + Lora
— Скачиваем png картинку, в которую записан шаблон для ComfyUI HaveallSDXL Style Transfer + Lora. Закидывайте картинку в ComfyUI и добавляется нода под Lora. Для примера я скачал первую попавшуюся Lora с civitai. Все отлично стыкуется и генерируется.
HaveallSDXL - Style Transfer для ComfyUI

Haveall