LLM蒸馏

大语言模型蒸馏关注如何将大型LLM的知识迁移到小型LLM，包括Token-level蒸馏、Sequence-level蒸馏等技术。LLM蒸馏特点：生成式任务挑战；Token级蒸馏：输出分布匹配；Sequence级蒸馏：整体序列学习；数据增强：教师模型生成数据；典型案例：DistilBERT、TinyBERT。