算法

梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体，然后会简要地总结在训练（神经网络或是机器学习算法）的过程中可能遇到的挑战。

物理智能计算(Physical Intelligence Computing)，是指一些受自然界物理现象启发而设计出来的具有分布式智能行为特征的一类智能算法，出发点是基于物理中物质与通常组合优化问题之间的相似性，又是基于蒙特卡罗迭代求解策略的一种随机寻优算法。

群智能计算(Swarm Intelligence Computing)，又称群体智能计算或群集智能计算，是指一类受昆虫、兽群、鸟群和鱼群等的群体行为启发而设计出来的具有分布式智能行为特征的一些智能算法。群智能中的“群”指的是一组相互之间可以进行直接或间接通信的群体；“群智能”指的是无智能的群体通过合作表现出智能行为的特性。

人们常用“模糊计算”（Fuzzy Computing）笼统地代表诸如模糊系统、模糊语言、模糊推理、模糊逻辑、模糊控制、模糊遗传和模糊聚类等模糊应用领域中所用到的诸多算法及其理论。在这些应用系统中，广泛地应用了模糊集理论，并揉和了人工智能的其他手段，因此模糊计算也常常与人工智能相联系。

遗传算法(Genetic Algorithms)，也有人把它叫作进化算法(Evolutionary Algorithms)，是基于生物进化的“物竞天择，适者生存”理论发展起来的一种应用广泛且高效随机搜索与优化并举的智能算法，其主要特点是群体搜索策略和群体中个体之间的信息交换，不依赖于问题的梯度信息。遗传算法最初被研究的出发点不是为专门解决最优化问题而设计的，它与进化策略、进化规划共同构成了遗传算法的主要框架，都是为当时人工智能的发展服务的。

机器学习(Machine Learning)，人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，主要使用归纳、综合而不是演绎的方法研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是一门多领域的交叉学科，涉及到概率论、统计学、逼近论、凸分析、算法复杂度理论和计算机科学等诸多学科。

神经网络计算（Neural Network Computing NNC）是通过对人脑的基本单元——神经元的模拟，经过输入层、隐层、输出层等层次结构，对数据进行调整、评估和分析计算，得到的一类具有学习、联想、记忆和模式识别等功能的智能算法。要想比较深入的理解神经网络计算，就必须对神经网络系统有一定的理解，本文对其进行一些简单介绍。

目标跟踪是计算机视觉领域的一个重要分支，是模式识别，图像处理，计算机视觉，机器学习等学科的交叉研究，有着广泛的应用，如视频监控，虚拟现实，人机交互，图像理解，无人驾驶等。

作为一个机器学习方面的小白，在闵老师课上学的两个聚类算法，即经典的K-means聚类和基于随机游走的聚类算法，是我学习到的头两个与机器学习相关的算法。算法课上，闵老师先讲了简单但是经典的K-means聚类算法，让我们对聚类算法有了一个初步的理解，紧接着又花了大量的时间剖析了基于随机游走的聚类算法。五周十二次的课程，我学到的不只是算法本身，下面将从几个方面来总结我对本课程的收获。

成为一名合格的开发工程师不是一件简单的事情，需要掌握从开发到调试到优化等一系列能力，这些能力中的每一项掌握起来都需要足够的努力和经验。而要成为一名合格的机器学习算法工程师(以下简称算法工程师)更是难上加难，因为在掌握工程师的通用技能以外，还需要掌握一张不算小的机器学习算法知识网络。

下面我们就将成为一名合格的算法工程师所需的技能进行拆分，一起来看一下究竟需要掌握哪些技能才能算是一名合格的算法工程师。

基础开发能力