深度迁移学习的简单介绍

迁移学习是一种机器学习方法,其中为任务开发的模型会作为下一个任务的模型的起点而被重用。

在这篇文章,您将了解如何使用迁移学习来加速训练和改进您的深度学习模型的性能。

阅读完这篇文章后,您将会知道:

  • 迁移学习是什么以及怎么使用它
  • 深度迁移学习的常见例子
  • 根据自己的预测建模问题何时使用迁移学习

让我们开始吧。

迁移学习是什么?

迁移学习是一种机器学习技术,在这种技术中,一个训练于一项任务的模型被重新用于另一项相关任务。

迁移学习和领域适应指的是在一个环境中所学到的知识在另一个环境中被用来提高泛化能力的情况。
Page 526, Deep Learning, 2016.

迁移学习是一种优化,它允许在第二个任务建模时快速进行或提高性能。

迁移学习是指通过将已经学过的相关任务的知识转移到新的任务中,从而提高新任务的学习效果。
Chapter 11: Transfer Learning, Handbook of Research on Machine Learning Applications, 2009

迁移学习与多任务学习和概念漂移等问题有关,并不仅仅是深度学习的研究领域。

然而,考虑到训练深度学习模型所需的巨大资源或训练深度学习模型的大型且具有挑战性的数据集,迁移学习在深度学习中很受欢迎。

只有当从第一个任务中学习到的模型特征是通用的,迁移学习才能在深度学习中起作用。

在迁移学习中,我们首先在一个基本数据集和任务上训练一个基本网络,然后我们将学习到的特征重新使用,或者将它们迁移到第二个目标网络上,以便在一个目标数据集和任务上进行训练。如果这些特征是通用的,即同时适用于基本任务和目标任务,而不是特定于基本任务,则此过程将是可行的。——深度神经网络的特征有多可迁移?

这种用于深度学习的迁移学习形式被称为归纳迁移。通过使用适合于不同但相关任务的模型,以有益的方式缩小了可能模型的范围(模型偏差)。


原文链接:https://machinelearningmastery.com/transfer-learning-for-deep-learning/

版权声明:作者保留权利。严禁修改,转载请注明原文链接:http://www.shujuren.org/article/1009.html

最新文章