深度学习

作为机器学习从业者，你需要知道概率分布相关的知识。这里有一份最常见的基本概率分布教程，大多数和使用 python 库进行深度学习有关。

人工智能（AI）和机器学习（ML）在当下的火热程度我就不多说了，但是真正懂这方面的人又有多少呢？本文将带你了解人工智能和机器学习的基本知识。同时，你也会了解到机器学习中最火的方法——深度学习的工作原理。

机器学习的主要任务：分类（classification）：将实例数据划分到合适的类别中。回归（regression）：主要用于预测数值型数据。机器学习可以分为三种形式：监督学习、非监督学习、强化学习。

今天介绍一种新的GPU多卡计算的通信优化算法——Ring Allreduce。先来讲一下常规的GPU多卡分布式计算的原理。

自从大家知道我是做人工智能的以后，亲戚朋友经常会有人问我，什么是AI，什么是机器学习，什么是深度学习。我也常常苦恼该如何向他们解释，现在好了，这篇文章分享给大家，看完之后，希望无论你是什么行业，做什么工作，都能对这些概念有所了解。

过去几年中，深度学习中的很多技术如计算机视觉、自然语言处理等被应用在很多实际问题中，而且相关成果也表明深度学习能让人们的工作效果比以前更好。

深度学习不适用于什么样的任务？依我之见，以下这些主要场景的深度学习弊大于利。

在大多数机器学习问题中，我们关注某些性能度量P，其定义于测试集上并且可能是不可解的。因此，我们只是间接地优化P。我们系统通过降低代价函数J(θ)来提高P。这一点与纯优化不同，纯优化最小化目标J本身。训练深度模型的优化算法通常也会包括一些针对机器学习目标函数的特定结构进行的特化。通常，代价函数可写为训练集上的平均。

是否需要人工构造特征，这应该是深度学习和传统机器学习的最明显的差异。feature engining是传统机器学习中的一个重要组成部分，sift，hog，wavelet等都是解决如何描述数据的问题。深度学习兴起后，feature engining的研究几乎停滞，而end-to-end成为一个新兴的研究方向。

本文就来讨论一下参数初始化到底有什么讲究以及常见的参数初始化的一些策略方法。阅读本文需要神经网络相关背景，能够理解误差反向传播算法的实现过程。