蒸馏概述

知识蒸馏是一种模型压缩技术，通过让小模型（学生模型）学习大模型（教师模型）的知识，实现模型压缩和加速。蒸馏原理：知识迁移机制；蒸馏类型：响应、特征、关系；优势分析：压缩与加速；应用场景：边缘部署优化；发展趋势：自蒸馏、多教师蒸馏。