深度学习

解说:机器学习、监督学习、非监督学习、强化学习、深度学习、迁移学习

机器学习的主要任务:分类(classification):将实例数据划分到合适的类别中。回归(regression):主要用于预测数值型数据。机器学习可以分为三种形式:监督学习、非监督学习、强化学习。

人人都能看得懂的深度学习介绍!全篇没有一个数学符号!

自从大家知道我是做人工智能的以后,亲戚朋友经常会有人问我,什么是AI,什么是机器学习,什么是深度学习。我也常常苦恼该如何向他们解释,现在好了,这篇文章分享给大家,看完之后,希望无论你是什么行业,做什么工作,都能对这些概念有所了解。

深度学习中的优化简介

在大多数机器学习问题中,我们关注某些性能度量P,其定义于测试集上并且可能是不可解的。因此,我们只是间接地优化P。我们系统通过降低代价函数J(θ)来提高P。这一点与纯优化不同,纯优化最小化目标J本身。训练深度模型的优化算法通常也会包括一些针对机器学习目标函数的特定结构进行的特化。通常,代价函数可写为训练集上的平均。

深度学习和传统机器学习的差别

是否需要人工构造特征,这应该是深度学习和传统机器学习的最明显的差异。feature engining是传统机器学习中的一个重要组成部分,sift,hog,wavelet等都是解决如何描述数据的问题。深度学习兴起后,feature engining的研究几乎停滞,而end-to-end成为一个新兴的研究方向。

深度学习中的优化调参细节总结

深度学习中的技巧:

初始化参数尽量小一些,这样 softmax 的回归输出更加接近均匀分布,使得刚开始网络并不确信数据属于哪一类;另一方面从数值优化上看我们希望我们的参数具有一致的方差(一致的数量级),这样我们的梯度下降法下降也会更快。同时为了使每一层的激励值保持一定的方差,我们在初始化参数(不包括偏置项)的方差可以与输入神经元的平方根成反比

学习率(learning rate)的设置应该随着迭代次数的增加而减小,个人比较喜欢每迭代完一次epoch也就是整个数据过一遍,然后对学习率进行变化,这样能够保证每个样本得到了公平的对待

滑动平均模型,在训练的过程中不断的对参数求滑动平均这样能够更有效的保持稳定性,使其对当前参数更新不敏感。例如加动量项的随机梯度下降法就是在学习率上应用滑动平均模型。

在验证集上微小的提升未必可信,一个常用的准则是增加了30个以上的正确样本,能够比较确信算法有了一定的提升