Teacher-Student架构是知识蒸馏的基础框架，教师模型提供软标签（soft labels）作为额外监督信号，帮助学生模型学习。教师模型选择：大模型选型；学生模型设计：架构优化；软标签生成：温度调节；损失函数设计：KL散度；训练策略：同步vs异步。
没有符合筛选条件的资源