知识蒸馏（Knowledge Distillation，KD）作为深度学习领域中的一种模型压缩技术，主要用于将大规模、复杂的神经网络模型（即教师模型）压缩为较小的、轻量化的模型（即学生模型）。在实际应用中，这种方法有助于减少模型的计算成本和