《崩铁》流萤LoRA训练笔记

## 关于素材

说到lora模型的训练，训练素材的收集应当是非常重要的一环，这次的流萤lora的训练素材我大概分了三个类型：角色模型的多角度图片、游戏剧情的切片、同人图。

为了模型训练的便利性，建议在素材获取时就控制图片的分辨率为512*768，不过也可以使用ARB桶来免去这个步骤。

其中的“角色多角度图片”，原本可以在游戏中操作角色截图，但流萤还没有上车，任务里的跟随流萤还是不太方便截图，我这次选择使用官方发布的3D模型导入Blender中渲染所需的图片，考虑到模型最后得的使用场景，我截取多张不同角度的了流萤的上半身图片，少量全身，角色特征的细节图片（比如黑色发带，白色发饰），再导入了一个MMD的面部动作，用来截取不同表情下的训练素材。

这次在Blender中渲染训练素材也是新的尝试，之前是用的游戏截图+MMD作为角色的多角度训练素材；学习Blender也是花费了不少精力；在原本计划中，训练所需的所有多角度图片都应该是我使用Blender渲染出来，其实是高估了自己的水平，短时间内学习渲染类似*@烦恼死的夏洛*的视频还是很有难度的，所以这次的训练模型就直接截取他的视频了doge。

关于“游戏剧情切片”的素材，我直接选择去b站上别做的剧情混剪中截取图片，省时间，同时我也充分相信广大网友的审美水平，才不是因为我自己过任务的时候没有录屏。

==Extra part==：一张一张截图比较麻烦，我是使用下载工具下载视频，再使用以前在互联网冲浪时找到的“视频图片截取工具”批量自动截成图片，自己筛选一下，去掉重复的部分，就行了。

接着是“同人图”，我是在p站搜寻了一些图片，大家自己训练时可以在米游社和p站寻找素材；这些素材可以不局限于二次元绘画，cos图片也可以；这些素材本来可以作为训练的“正则”素材，但因为这次流萤模型训练的素材量太少，我就直接把同人图作为学习素材了。

最后，这次模型的素材总量是93个项目。为了避免最后学习时loss值快速下降，适当增加素材是个简单的方法，一百张左右的素材量可以训练出泛用性较高的二次元角色lora。

## 文件命名规范

这个其实不是非常重要的点，出于操作的效率，还是有必要提一下的。这次的训练目录如下：

![](/media/202402/2024-02-13_121412_6148220.18650441288697428.png)
 其中的前缀数字代表了素材的处理步骤，01代表获取的原始素材，一般是没有经过筛选处理的素材；blender和二创图片本身就是经过挑选获得的，就不用再经历02步。在02所代表的筛选中，**筛选出单人物、正面大部分无遮挡（特别是面部，一些由于物理效果遮挡面部的头发可能会被学习成脸部的刀疤）,复杂的肢体动作也可不选入。**

在进入03步之前,建议使用规范的文件命名区别素材来源，示例：

![](/media/202402/2024-02-13_121426_8093290.12687551835846522.png)

## 标签（tag）生成及处理

这也是相当关键的一步，我是使用秋叶大佬的lora训练工具自带的WD1.4标签工具生成的。![](/media/202402//1707797619.677203.png)

选择好文件路径，直接提交任务就好；稍作等待就可以获得打好标签的训练素材，此时可以复制所有文件到一个新文件夹，并把文件夹命名为“04训练项目”。

打开标签管理工具，打开到04步的目录，在最右侧删除需要固化的tag，比如流萤的头发是灰色的,我们就需要删除有关“grey\_hair,white\_hair”这一类的tag，保留描写环境的tag，比如“simple\_background”。可以选择统一增加一个触发词tag，比如liuying\\(by lumkfs\\)，虽然感觉没什么用，但还是规范地加上吧；最后记得保存修改。

==Extra part==：WD生成的tag中，有些不是很常见的英语单词我已经整理到我的知识库了，（[我遇到的tag翻译记录 - Stable Diffusion学习 - MKFs知识库 (lumkfs.cn)](http://doc.lumkfs.cn:7646/doc/24/)）。当然也欢迎各位补充。

## 最后的训练准备

将“04训练项目“中的所有文件剪切到在”04训练项目“文件夹下的新文件夹，并把文件夹命名为”30\_liuying”,这里的数字为学习次数，一般为15，20，30，可通过后续的训练结果反馈更改数值。

## 开始训练

这次的底模我选择了ghostmix\_v20Bakedvae，效果比较好，线条也非常干净。

训练素材的路径请特别注意，要选择包含“训练次数\_名称”的文件夹，如果是按照我的文件逻辑的话就是选择“04训练项目“，素材分辨率为“512,768”，设置好模型名称，network\_dim值我设置为40，network\_alpha值为前者的一半，我设置的20 。

设置好就可以点击开始训练了

## 训练反馈

可以在训练的命令行或者TensorBoard中查看loss值的变化，我这次模型的loss曲线如下：![](/media/202402//1707797619.692838.png)

可供参考。