#从今天起记录我的2023##ai绘画#今天开始来学习LoRA模型的使用,先从安装开始吧.
为什么你应该学习LoRA的使用?
stable diffusion webui可以玩的很简单,也可以玩的很复杂,相关的主题可以无尽扩散,其实一定是讲不完的,所以我只挑重要的讲。
开篇前提是假设你已经安装好stable diffusion webui,如果没有,就先从安装stable diffusion webui这一步开始吧。
这次来讲一下如何自己训练LoRA模型。Lora模型的训练算是有点复杂,我一样试着尽量讲的浅显易懂,它不难,只是步骤多而已。一般来说,我自己也是讨厌麻烦事物的,但我认为Lora的实用性值得我麻烦一下,想玩stable diffusion webui的人我认为都有必要来学好这套工具,它值得花心思认识。
Lora模型为何重要呢?因为它可以直接针对特定的人物图片做训练,藉由Lora让AI认识你想画出的人物,这解除了一个常见的绘图情境:你心中有个想画的明确人物,但却要自己在那边拼拼凑凑最后还画出个四不像。有了Lora之后你可以尽情的画出你的偶像,你的梦中情人,你珍藏的动漫人物,还有你所有想画但画不出来的人。(但前提当然是你要有目标人物的图片才行。)
以下展示一个简单的例子,例如我如果想画福音战士的明日香的话,我选用Anything V4.5这个二次元绘图模组,并且在prompt打上evangelion asuka(=福音战士+明日香),并且用同一组prompt与同一组种子,分别画两张图,一个是直接绘图,另一个则是有呼叫福音战士明日香的Lora模型。
先来看第一张直接绘制的图:虽然它疑似还是有点认识这个动漫人物,红发与科幻风格的战斗服都算是福音战士中明日香的特色,画的也很漂亮,但问题是这根本就不像明日香啊,重点特征好像有抓到但完全不是我想画的人。
接着看看同一组设定下再多呼叫Lora的成果:这张图就没问题了,很明显就是福音战士的明日香这个角色了。
简单的两张图就可以对比出Lora的效果与实用性了。
但Lora的用途是更广泛的,并不是用动漫Lora就只能画动漫图,我再用同一组设定,但把绘图模组改为写实画风的Chilloutmix,这样就可画出网上流行的那些半真半假的cosplay人物图了(这张图是同设定下直出,我没再特别挑好看的):
正因为它是这么的实用也这么的重要,所以我觉得它有写一篇教学的价值。
Lora也是众多自训练的绘图元件中相对易学易用的了,训练过程也还算简单快速,你如果怕麻烦,选择其它的路只会更麻烦,其它模型训练的操作步骤与训练过程都相对复杂,我比较过后还是倾向于直接使用Lora就好了,使用AI绘图工具我觉得有趣跟简单是很重要的两件事,这是一种娱乐我不想搞的像在弄专题研究一样。
虽然我想尽量讲的简单一点,但训练Lora过程确实有点复杂,我尽量整理出一个简易而明确的安装步骤。
我分三篇讲,每篇只专注在简单快速完成一件事就好,照着教学做好三件事时,Lora模型也训练好了。
正题:开始安装
以下进入正题,这篇我们先从Kohyas GUI的安装开始讲起:
首先,既然你现在想了解的是stable diffusion webui的进阶应用,那我当然可以假设你的stable diffusion webui以及git都已经安装完成了,那目前就只缺下列两个软件:
前置作业:安装Visual Studio组件
Visual Studio 2015, 2017, 2019, and 2022 redistributable,这个没难度直接从这边下载安装就行了,废话我就不说了。
准备安装Kohyas GUI
Kohyas GUI,安装这套软体预留10GB的空间会比较保险。
安装过程看似复杂,但汇整一下可以简化成两大步,第一步就是开启特殊权限,第二步就是跑一堆指令,没了。
会让人觉得复杂的地方就是第二步一堆指令,但说穿了也是复制贴上的过程而已。
第一步:开启权限
先从开始开始菜单中找到Windows PowerShell,按滑鼠右键以管理员身份执行。
在打开的窗口中,执行下列命令:
Set-ExecutionPolicy Unrestricted
接着它会跳出警告并询问是否确认,此时回答:A
第二步:执行一堆指令
再来就是看似麻烦,但其实就是一连串贴上指令执行的过程。
先另开一个PowerShell窗口(因为第一步开启权限后要新开一个窗口才会使权限生效),先下切换到你想安装这个软件的目录下。
接着执行下列git指令将软件下载回来:
git clone https://github.com/bmaltais/kohya_ss.git
以下为安装过程示意图,假设我想装在D盘下就是先执行D:切到D盘,然后再执行git clone
https://github.com/bmaltais/kohya_ss.git 即可:
接着就是将下方指令直接一次全部复制粘贴命令行下执行即可。
cdkohya_sspython -m venv venv.venvScriptsactivatepip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 –extra-index-url https://download.pytorch.org/whl/cu116pip install –use-pep517 –upgrade -r requirements.txtpip install -U -I —no-deps https://github.com/C43H66N12O12S2/stable-diffusion-webui/releases/download/f/xformers-0.0.14.dev0-cp310-cp310-win_amd64.whlcp .bitsandbytes_windows*.dll.venvLibsite-packagesbitsandbytescp .bitsandbytes_windowscextension.py .venvLibsite-packagesbitsandbytescextension.pycp .bitsandbytes_windowsmain.py .venvLibsite-packagesbitsandbytescuda_setupmain.pyaccelerate config
在最后它应该会问你七个问题,如果你的环境也一样是单机单显卡,那你的答案就几乎全照预设值就可以了,如果你的环境较特殊再依自己的情况作答。
一个单机单显卡的凡人应该要回答的答案如下所示:
– ——————————————————————
In which compute environment are you running?
〈This machine〉
(**第一题,预设值就是正确的,直接按Enter**)
——————————————————————-
Which type of machine are you using?
〈No distributed training〉
(**第二题,预设值就是正确的,直接按Enter**)
Do you want to run your training on CPU only
(even if a GPU is available)? [yes/NO]:
(**第三题,预设值就是正确的,直接按Enter**)
Do you wish to optimize your script with torch dynamo?[yes/NO]:
(**第四题,预设值就是正确的,直接按Enter**)
Do you want to use DeepSpeed? [yes/NO]:
(**第五题,预设值就是正确的,直接按Enter)
What GPU(s) (by id) should be used for training on
this machine as a comma-seperated list? [all]:
(**第六题,预设值就是正确的,直接按Enter**)
——————————————————————-
Do you wish to use FP16 or BF16 (mixed precision)?
fp16
(**第七题,住手!!这题不是预设值,这边要用数字键做选择,
先按数字键1选到fp16再按Enter**)
这样就完成Kohyas GUI的安装了。