Результаты поиска потегуStableDiffusion
Дополнительные фильтры
Теги:
StableDiffusionновый тег
Автор поста
Рейтинг поста:
-∞050100150200300400+
Найдено: 44
Сортировка:
Как перерисовать/раздеть любого персонажа с помощью Stable Diffusion
Вот видео-инструкции (смотреть по порядку):
Установили? Тогда начинаем.
Часть 1. ControlNet Inpaint
Ни для кого не секрет, что в SD существует фича под названием inpaint - это, по сути, способ сгенерировать что-то поверх существующего изображения. В интерфейсе от Automatic1111 под inpaint'ом обычно подразумевают один из режимов img2img. Это хоть и мощный инструмент, но, всё же, недостаточно точный и контролируемый. Тут на помощь приходит ControlNet Inpaint и исправляет главный недостаток "классического" inpaint'а - игнорирование контекста. Впрочем, достаточно теории переходим к практике.
Итак, возьмём изображение, которое мы хотим отредактировать.
И сразу же уменьшаем/увеличиваем его до нужного разрешения:
В моём случае с 1500x1500 до 640x640. По опыту скажу, что лучший результат получается при размере меньшей стороны от 512 до 768 пикселей, а большая сторона при этом желательно меньше 1024 пикселей.
В моём случае с 1500x1500 до 640x640. По опыту скажу, что лучший результат получается при размере меньшей стороны от 512 до 768 пикселей, а большая сторона при этом желательно меньше 1024 пикселей.
![ControlNet Unit 0
ControlNet Unit 1
ControlNet Unit 2
ControlNet Unit3
Single Image
Set the preprocessor to (invert] If your image has white background and black lines.
D s * -*
Q Enable Low VRAM Pixel Perfect CD Allow Preview
Control Type
All Canny Depth Normal OpenPose MLSD Lineart](https://img2.safereactor.cc/pics/post/full/нейронные-сети-гайд-туториал-8052157.png "нейронные сети,гайд,туториал,StableDiffusion,песочница")
1girl, naked, completely nude, (best quality, masterpiece:1.2)
Негативный промпт как обычно:
EasyNegative, badhandv5, (worst quality, low quality, normal quality:1.4)
EasyNegative, badhandv5, (worst quality, low quality, normal quality:1.4)
Модель подбираем поближе к стилю рисунка (реалистичный/стилизованный). В моё случае это MeinaMix_v11-inpaint.
Параметры генерации:
Всё, можно нажимать Generate до тех пор пока не появится приемлемая картинка.
Столь хороший результат обеспечивается препроцессором inpaint_only+lama - он пытается дорисовать зону под маской с учётом "наружного контекста". Это же и обеспечивает генерацию правильного цвета.
Простой случай разобрали, переходим к чему-то посложнее:
Часть 2. Style transfer
Возьмём теперь другой рисунок попробуем повторить описанный выше процесс:
Мда, мало того, что поза поехала, так ещё и стиль оказался потерян. Одного ControlNet Inpaint тут недостаточно. Надо подключать дополнительные юниты.
Нам нужно решить 2 задачи:
Повторить существующий стиль рисункаСохранить силуэтДля решения первой задачи будем использовать ControlNet reference и ControlNet T2IA - они оба позволяют копировать стиль с изображения-референса и как нельзя лучше работают в связке.
Возвращаемся к интерфейсу ControlNet'a. Копируем исходное изображение в Unit 1 и Unit 2. Настраиваем вот так:
А в качестве четвёртого ControlNet'a можно использовать любой, что позволяет сохранить форму: canny, depth, softedge, lineart - на ваше усмотрение и под конкретную задачу.
Интересный факт: никто не запрещает отредактировать выход предпроцессора в фотошопе. Что-то убрать, что-то подрисовать. Вот где могут понадобиться навыки рисования.
Ладно, всё 4 юнита активны. Нажимаем Generate и:
Это совсем не то, нужно!
Формы сохранены, но промпт будто проигнорирован. Что случилось? Я вам скажу что: сила ControlNet'а оказалась слишком велика. Stable Diffusion попытался во время генерации воссоздать рисунок-референс да ещё и плюс inpaint там подсунул белый цвет с фона!
Формы сохранены, но промпт будто проигнорирован. Что случилось? Я вам скажу что: сила ControlNet'а оказалась слишком велика. Stable Diffusion попытался во время генерации воссоздать рисунок-референс да ещё и плюс inpaint там подсунул белый цвет с фона!
Как с этим бороться? Нужно уменьшить эффект двух юнитов переноса стиля (reference и T2IA), но при этом нельзя сильно уменьшать их силу, иначе перенос стиля будет ослаблен. В общем, нужно воспользоваться настройкой Starting Control Step. Она отвечает за то, на какую долю шагов генерации придётся действие ControlNet'a.
Starting Control Step 0.5, например, означает, что первую половину шагов генерация будет опираться только на промпт, а со второй половины подключится уже наш ControlNet.
В общем, план такой: слегка понижаем Control Weight (сила) у стилевых юнитов (примерно до 0.9). После этого начинаем постепенно поднимать границу начала действия стилевых юнитов. Также имеет смысл подобным же образом немного ослабить действие Inpaint'a - позволяет в некоторых случаях исправить цвета.
После нескольких попыток (и усиление промпта) получаем вот такую задницу:
Не идеально, но уже шаг в нужном направлении. На самом деле, сейчас можно (и нужно) уже именно это изображение сделать референсом. Другими словами, скопировать его во все 4 юнита и отталкиваться уже от него. И так сколько нужно раз. Пока не получится идеальный результат, либо ваша генерация окончательно не развалится.
Часть 3. img2img
Даже после получения хорошей генерации во вкладке txt2img имеет смысл несколько отшлифовать изображение уже через img2img inpaint. Главное не забудьте подключить 2 ControlNet'a для переноса стиля. Помните да, reference и T2IA.
Некоторые пункты в виде итога:
Ключ ко всему - это ControlNet (inpaint_only+lama) и ControlNet (reference_only, T2IA)Генерацию лучше проводить поэтапно, чтобы было на что опереться в последующие шаги
Также имеет смысл разделять генерацию объектов нужной формы и затем покраску их в нужные цвета.
Подбирайте подходящие под задачу модели и/или лоры.
Не забудьте про параметры Control Weight, Starting Control Step, Ending Control Step. И про Control Mode в самом низу!
P.S. Хотел бы я чтобы кто-то обстоятельно протестировал этот метод и поделился бы потом результатами. Мне кажется, как-то можно добиться ещё большей близости к стилю оригинала, ведь задача состояла именно в этом.
Туториал закончен, теперь впечатления. Это охиренно мощная штука! Можно как угодно дорисовать любую картину, стиль вообще не важен, тем более что сейчас уже натренированы сотни моделей на все случаи жизни. Хоть скриншоты из мультфильмов/аниме, хоть картины маслом. Фильмы и фотографии вообще пройденный этап. Можно даже без использования inpaint'a просто сгенерировать сколько хочешь изображений с нуля, просто опираясь на единственный рисунок. А ведь ControlNet появился лишь в начале этого года. Короче, уже почти год прошёл, а всё это до сих пор кажется каким-то колдунством. Что грядущий день готовит...
STAR WARS: Knights of the Old Republic персонажи сгенеринные с помощью Stable Diffusion
T3-M4
Canderous Ordo
Darth Malak
Панорама Ревашоля, делал в SD по арту от Александра Ростова (Есть версия без блюра заднего плана в 14К))
Благодаря ИИ и Stable diffusion я наконец-то смог восстановить эту единственную сохранившуюся фотографию нашего покойного дяди.
Модель для генерации карт для DnD
Ахтунг, длиннопост (ну длиннее среднестатистического)
Колупался я как черьвь в stable diffusion, генерировал хентай и пришла мне "гениальная" мысль в голову, а что, если сгенерировать карту для дынды и...
Вообще тренировка моделей через Dreambooth весьма эксперементальна и никто точно не знает, как им пользоваться. Да, тренировать одно определенное лицо/персонажа/объект примерно научились, но шаг в сторону и тёмный лес. Но я не сдавался и шел к своей цели.
*Дальше идёт скучная часть про тренировку модели. Не буду вдаваться в подробности - просто представьте, что Рокки это модель и посмотрите видос*
И вот гордый результат подневольного труда:
Вручную, конечно, можно сделать намного круче и что-то более конкретное, но это хотя бы играбельно и экономит уйму времени.
Здесь ссылка на скачивание и другие примеры: D&D Battlemaps
Не спеши тянуться к минусу, взглянув на свой комп
Ну или ты не хочешь париться с установкой и настройкой stable diffusion, я всё пойму и у меня есть для тебя бесплатное лёгкое решение без смс и регистрации.
- Переходим по ссылке Порно_с_лошадьми.mp4
- Вероятно он попросит залогиниться в гугл - логинимся
- Жмякаем сюда и он попросит разрешения совокупиться с гугл драйвом и мы тут тоже не возражаем (сколько-то места свободного потребуется на нём, но не много)
- Когда он кончит, нажимаем ниже последовательно (повесить галочку, наверно, лишним не будет)
- Прежде чем запускать следующую ячейку надо выбрать model version 2.1-768 и в строку model link вставить https://huggingface.co/Zapper/battlemap-1024/resolve/main/Battlemap-1024.ckpt
- Ячейку ControlNet можно пропустить
- Запускаем последнюю ячейку, а затем переходим по ссылке, когда она появится
- И вот он перед вами - великий и ужасный Stable Diffusion, запущенный на гугловском железе с приличным GPU. Есть где-то 3 часа в сутки на бесплатный доступ, наслаждайтесь.
В верхнюю строку вводим то, что хотим нагенерировать, начиная со слов battlemap dungeon или battlemap outdoor (больше подробностей по ссылке: D&D Battlemaps).
Sampling method - DDIM, Sampling Steps 30 (это мои рекомендации для простоты).
Width и Height это соответсвенно ширина и высота генерируемого изображения. Поскольку модель была натренирована на изображениях размером 1024x1024 я НАСТОЯТЕЛЬНО рекомендую выставлять Width и Height не меньше 1024. Но если вы выставите сликом много, например 2048x1536 Stable diffusion или GPU не вывезет и справедливо попросит вас пройти в известном направлении. Я обычно использую 1536x1280 или 2048x1024.
Когда всё будет готово - запускаем генерацию, жмякнув на Generate и ожидаем
Спустя ~минутку мы получим картиночку ниже.
Лес - лес, река - река, скалы - скалы, одно и то же, мать твою
Пару слов насчёт масштаба. Тренировалась модель на картах разного масштаба, поэтому результаты будут тоже разного масштаба, но в пределах приличного (это не баг а фича). Вы можете принять любой масштаб, какой посчитаете нужным, но в среднем можно считать 1024x1024 это 24x24 пятифутовых квадратов. Также иногда на картах просматривается сетка, либо в не естественных структурах пол выложен плитами - на это можно опираться для определения масштаба.
Ваши поделки кидайте в комменты под этот пост или сюда - D&D Battlemaps
P.S. Раз меня показывают по реактору - передаю привет своим пидорам с содомии и взаимовыручки, целую в щечки
P.P.S. Ельф не падай, сучара
Здесь мы собираем самые интересные картинки, арты, комиксы, мемасики по теме (+44 постов - )
Собираем на сервера
В этом месяце собрано $711.39 из $1360.00.
Тренды
Наши любимые теги
FieldExplores
Комиксы
Габитал
Комиксы
Chivalry Starved
Комиксы
O-nce
artist
BasedBinkie
artist
grs-
Anime Artist
Топ комментов
А бывает, комменты лучше постов. Смотрим топ тредов и вникаем!
Отличный комментарий!