融合多教师模型的知识蒸馏文本分类
所屬分類：技术论文
上傳者：
文檔大小：3704 K
標(biāo)簽： 文本分类 知识蒸馏 BERT-wwm-ext
所需積分：0分積分不夠怎么辦？
文檔介紹：针对简单文本分类模型精度不高，预训练模型结构复杂，在实际环境中难以直接使用的问题，提出多教师知识蒸馏的文本分类方法。该模型使用“教师-学生网络”的训练方法，教师模型为BERT-wwm-ext和XLNet预训练模型，将两个模型输出的概率矩阵通过权重系数融合为软标签。学生模型为BiGRU-CNN网络，使用均方差函数计算软标签误差，使用交叉熵损失函数计算硬标签误差，通过硬标签和软标签训练学生模型使损失函数值达到最小。实验结果表明，提出的方法精度较学生模型有较大的改进，接近预训练模型，在保证分类精度的前提下减少了运行时间，提高了效率。
現(xiàn)在下載
VIP會(huì)員，AET專家下載不扣分；重復(fù)下載不扣分，本人上傳資源不扣分。