FAQ常见问题及解答
输入“/”快速插入内容
💢FAQ常见问题及解答
FAQ常见问题及解答
2024年8月16日创建
947
1160
1
2
🏆
我相信来翻阅学习本文档的人群中有很多经验丰富的炼丹师，大家会不自然的把之前炼丹经验特别是经验参数用到Flux的Lora模型微调上。但是这里我必须优先抛出我的一个观点就是目前开源的Flux两个版本dev和schnell快速模型都是由Pro模型蒸馏而来的，并非重头训练的，因此使用蒸馏模型作为base model进行Lora训练很有可能会导致很多之前炼丹经验丰富的同学感到困惑，我这里将我身边国外炼丹朋友对Flux训练的一些细节和经验，在此做一个简单的说明，希望各位朋友在训练时可以少走弯路。
问题一: 关于T5 Model
对于熟悉LLM模型训练的同学可能会知道LLM模型的架构基本都是从标准的Transformer架构上演变而来，而从LLM的发展路径来看，之前形成了以Bert为代表的encoder-decoder双向架构和以GPT为代表的单向架构两大流派。而在bert为代表的encoder-decoder架构进行训练时，会采用掩码即Mask的训练方式。这种训练方式特别像我们做英语试卷中的完形填空题，就是我们把预训练数据不做label 处理，而是把整篇文本挖一些空，让模型根据上下文来做完形填空的方式来进行训练。好处是不需要太大的标注成本就可以取得不错的模型能力，而且还有一定的泛化性。
SD开源社区著名大V青龙圣者在X上的帖子就指出来T5 Model在lora训练可能存在的一个比较明显因为掩码训练导致的问题，原贴为英文，我将其翻译如下：
而在使用这种掩码方式进行训练的模型中，一个比较突出的优秀选手就是Google团队发布的T5 Model，而在目前的文生图领域在预训练阶段使用 t5 掩码训练的模型包括 SD3、Auraflow 和 Flux。 但正如 AuraFlow 的作者所说，这种使用没有完整标签的掩码训练方式在大规模数据集上并不是一个大问题，甚至可以 50%的label剔除，同时也提高了模型的泛化能力。
但是另一方面，小规模微调尤其是Lora微调存在明显的损失问题。 所有输入的label都会被舍弃 50%，这意味着你需要多花一倍以上的时间/步骤来适应概念。 这就是为什么早期的 Flux 都是风格Lora，而很少有新概念Lora的原因。根据simpletuner训练器的作者bhira的经验Flux的 Dreambooth 比 Lora 更难微调。Bhira 提到我们只能用Flux原始模型一半的token（256）进行训练，否则损失会增加，我自己的实验也证明了他的说法。