想要了解最新的AI知识，原理，资讯
LoRA全称为LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS。中文翻译下就是大语言模型的低阶适应。最早是由微软于2021年提出，用于解决大语言模型，在对任务进行微调训练时候，消耗资源多的问题。然而该方法在Stable-diffusion领域大放异彩。各种人物的LoRA模型如雨后春笋般涌现。
论文地址：
https://arxiv.org/pdf/2106.09685.pdf
github地址：
https://github.com/microsoft/LoRA
微调的公式如下，本质是要训练，使得微调后的模型更符合下游的任务。问题在于，微调训练过程中，和的维度是一致的，也就是说微调训练所需要的算力资源同原始模型保持一致，因此不利于推广。
预训练公式
因此，微软提出了LoRA。如下图所示，左边是预训练模型参数，进行冻结，在微调训练的时候参数不会进行更新。最大的变化在于右边，LoRA将分解成了矩阵A和矩阵B相乘，矩阵A和矩阵B都是可训练参数，同时维度远远小于。
整体框架图
由于矩阵A和矩阵B维度远远小于，因而LoRA模型所占空间也是远远小于原始模型，这样方便了各式各样的Lora模型在社区的传播。
展示下不同Lora模型生成的图片
《尼尔》
《皮克酱》镇楼！
声明：学AI网所有文章，如无特殊说明或标注，均为本站作者原创发布。任何个人或组织，在未征得作者同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若此作者内容侵犯了原著者的合法权益，可联系客服或提交工单进行处理。学AI网内用户所发表的所有内容及言论仅代表其本人，并不反映任何学AI网之意见及观点。
