蒸馏方法

蒸馏方法包括响应蒸馏（Response-based）、特征蒸馏（Feature-based）和关系蒸馏（Relation-based）等多种技术路线。响应蒸馏：软标签迁移；特征蒸馏：中间层匹配；关系蒸馏：样本关系保持；多教师蒸馏：集成知识迁移；自蒸馏：同构知识压缩。