基础概念
基础概念分支:微调基础概念、预训练与微调对比、迁移学习、领域适应、微调应用场景
知识点(5 个)
微调基础概念
10 资源理解微调的基本概念、目的和方法,掌握微调在LLM开发中的核心地位。微调定义:在预训练模型基础上进行针对性训练;微调目标:适应特定任务、领域或风格;微调类型:全量微调 vs 部分微调;微调必要性:预训练模型的局限性;微调流程概览:数据准备、训练、评估、部署。
点击查看详细资源列表
预训练与微调对比
6 资源深入理解预训练与微调的区别、联系及各自的角色,掌握LLM训练的两阶段范式。预训练目标:学习语言的通用表示;预训练数据:大规模无标注文本语料;预训练方法:自监督学习(Masked LM, Causal LM);微调目标:适配特定任务或领域;两阶段协同:预训练提供基础,微调实现定制。
点击查看详细资源列表
迁移学习
8 资源理解迁移学习的核心原理及其在LLM微调中的应用,掌握知识迁移的技术方法。迁移学习定义:将源域知识迁移到目标域;迁移学习类型:归纳式、转导式、无监督迁移;LLM中的迁移学习:预训练-微调范式;负迁移问题:何时迁移学习会失败;迁移学习最佳实践:领域选择、数据准备。
点击查看详细资源列表
领域适应
9 资源掌握领域适应技术,将通用LLM适配到特定行业或专业领域。领域适应定义:模型适配特定领域数据分布;领域适应方法:领域微调、领域预训练、领域提示;医疗领域微调:医疗文本、诊断、病历;法律领域微调:法律条文、合同、判例;金融领域微调:财报、风控、合规。
点击查看详细资源列表
微调应用场景
6 资源了解微调在各行业的典型应用场景,掌握微调的实际价值。客服机器人:个性化对话风格、企业知识;内容创作:品牌调性、写作风格适配;代码助手:特定语言、框架、项目规范;知识问答:企业知识库、专业领域;数据分析:业务指标、报表解读。
点击查看详细资源列表