深度学习笔记：finetune和linear probing的区别

• 人工智能

背景

finetune和linear probing一般和预训练搭配出现，是预训练模型适配下游任务时可选的训练方式

finetune 微调

finetune是使用预训练模型适配下游任务时，对整个预训练模型全部进行参数更新

微调也可以选择不进行全部更新，只对后面一部分模型进行更新，因为模型前几层一般提取的都是比较公共的特征，保留的底层信息较多，可以不用进行微调

linear probing 线性探测

linear probing 是在适配下游任务时，冻住预训练模型，对其参数不进行更新，只对模型最后一层的线性层进行参数更新

线性探测一般用于检验预训练模型的好坏

一般情况下，线性探测的结果会差于微调

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/8877fcbd00.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐