关于 微调+量化 的一些经验求教

[lzcchl]

您好，
想问一下，想对一个模型调优（微调）+加速（AWQ量化），那么
1、是先微调再量化好，还是先量化再微调好？为什么（原因是有理论依据还是实验导向）？
2、微调需要使用微调数据集，量化需要使用校准集，对于custom场景，我们会定义一个custom数据集，对于微调和量化来说，两个任务是都使用同一个数据集，还是在某个任务使用通用数据集，另一个使用custom数据集，哪种效果会更好呢？

[tastelikefeet]

1. 先微调再量化，因为awq有校验数据集，相对比较准确，这也是业界通用做法
2. 微调需要使用你的custom数据集，如果custom数据集数据量不够，需要混合通用数据集。量化不太确定，可以用custom数据集试一试