demi的博客

1. 随机森林回顾

随机森林由N棵决策树组成，每一棵决策树都具有不同的初始训练样本，在训练过程中，还需要一个属性候选集，训练样本子集根据候选集合中的属性，依据分裂依据进行进一步分类，这一步俗称“分裂”，直至满足人为设定的收敛条件。

我个人认为，分裂的想法十分重要，它使得决策树成功记忆住如何从头开始，一步一步将样本正确分类。于是在测试的过程中，测试样本完全是按照这种记忆力将自己的类别确定下来。

不得不说，这是一种傻瓜式的策略，只要训练样本足够多，不断的学习，肯定能把这玩意学会！那么现在有个问题，我在特征点定位的时候，怎么能和随机森林搭上关系呢？或者说，如何利用随机森林建立模型解决人脸对齐问题？我觉得问题可以分解为如下几个子问题。

在应用随机森林做特征点标记的时候
1、候选属性集是什么？
2、特征是什么？
3、分裂依据是什么？
4、叶子节点内存放的是什么？
5、测试过程是什么样？

《Face Alignment At 3000fps via Local Binary Features》一文给出了精彩的回答。

自然语言处理（NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。随着深度学习在图像识别、语音识别领域的大放异彩，人们对深度学习在NLP的价值也寄予厚望。自然语言处理作为人工智能领域的认知智能，成为目前大家关注的焦点。

基本概念

  •  自然语言处理既是一门技术也是一门学科。
  •  自然语言指人类使用的语言，如汉语、英语等
  •  语言是思维的载体，是人类交流的工具
  •  语言的两种属性：文字和声音
  •  人类历史上以文字形式记载和流传的知识占80%以上。

自然语言处理的定义：
"自然语言处理又称为自然语言理解，就是利用计算机为工具对人类特有的书面形式和又头形式的自然语言的信息进行各种类型处理和加工的技术。” —— 冯志伟《自然语言的计算机处理》

研究的基本问题

1. 语音学

1. 简单介绍

在机器学习和认知科学领域，人工神经网络（artificial neural network，缩写ANN），简称神经网络（neural network，缩写NN）或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具。典型的神经网络具有以下三个部分：

结构 （Architecture） 结构指定了网络中的变量和它们的拓扑关系。例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activities of the neurons）。

激励函数（Activity Rule） 大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重（即该网络的参数）。

RGB --> YUV 转换的公式是现成的，直接在 CPU 端转换的话，只需要遍历每个像素，得到新的 YUV 值，根据其内存分布规律，合理安排分布即可。然而在 CPU 端进行转换，存在的问题运行效率太低，无法满足高效转换的需求。我们将目光投向拥有流水线体系的支持高速浮点数计算的硬件——GPU.

转换公式如下：

GPU 上面的实现

考虑在 GPU 上执行 RGB --> YUV 转换。GPU 的流水线操作：

自从人工智能(AI)这个术语在1955年由美国达特茅斯学院的人工智能大师John McCarthy创造以来，已经得到了长足的进步。63年之后，人工智能正在改变和颠覆医疗保健、金融科技以及其他行业的业务发展。虽然对真正人性化人工智能仍在继续探索当中，但大数据和机器学习(ML)的进步将帮助人工智能成为技术主流。

本文将介绍2018年的顶级人工智能和机器学习的发展趋势：

1. 医疗健康

咨询机构埃森哲公司表示，到2021年，美国人工智能医疗保健市场规模预计将达到66亿美元，其复合年增长率(CAGR)为40%。

医学成像和诊断公司正在推动人工智能在医疗健康技术方面的发展。例如，Arterys就是一种基于云计算放射科医师的人工智能助手，于2018年2月通过其Oncology AI套件获得美国食品和药物管理局(FDA)批准，用于分析肺和肝的肿瘤图像。

采用人工智能，个性化医疗保健和精准医疗也取得了长足的进步。今年8月，新加坡大学的研究人员使用人工智能来识别和优化骨髓瘤(一种血癌)的联合药物治疗。

2. 金融科技

追根溯源，神经网络诞生于人类对于人脑和智能的追问。而这个追问经历了旷远蒙昧的精神至上学说，直到 19 世纪 20 年代。

奥地利医生 Franz Joseph Gall （ 1758-1828 ） 推测人类的精神活动是由脑的功能活动而实现的，这才使人们认识到意识和精神活动具有物质基础，从而使人们对精神活动的认识从唯心主义的错误观点转到了唯物主义的正确轨道上来。

强化学习十大原则

在过去十年中，人们对机器学习的兴趣激增。几乎每天，我们都可以在各种各样的计算机科学课程、行业会议、华尔街日报等等看到有关机器学习的讨论。在所有关于机器学习的讨论中，许多人把机器学习能做的事情和他们希望机器学习做的事情混为一谈。从根本上讲，机器学习是使用算法从原始数据中提取信息，并在某种类型的模型中表示这些信息。我们使用这个模型来推断还没有建模的其他数据。

神经网络是机器学习的一种模型，它们至少有50年历史了。神经网络的基本单元是节点（node），基本上是受哺乳动物大脑中的生物神经元启发。神经元之间的连接也以生物的大脑为模型，这些连接随着时间的推移而发展的方式是为“训练”。

在20世纪80年代中期和90年代初期，许多重要的模型架构进步都是在神经网络中进行的。然而，为了获得良好性能所需的时间和数据越来越多，这极大的降低了研究人员的兴趣。在21世纪初期，计算能力呈指数级增长，研究人员看到了计算机技术的“寒武纪爆发”。作为该领域的一个重要竞争者——深度学习，因为计算能力的爆炸式增长，赢得了许多重要的机器学习竞赛。截至目前，这种趋势仍然没有减退;今天，我们看到机器学习的每个角落都提到了深度学习。

最近，我开始阅读有关该深度学习的学术论文。根据我的研究，以下是一些对该领域的发展产生巨大影响的出版物：

边缘是图像中灰度发生急剧变化的区域边界，图像灰度的变化情况可以用灰度分布的梯度来表示，数字图像中求导是利用差分近似微分来进行的，实际上常用空域微分算子通过卷积来完成。

1 一阶导数算子

1.1 Roberts

Roberts算子是一种斜向偏差分的梯度计算方法，梯度的大小代表边缘的强度，梯度的方向与边缘的走向垂直。Roberts操作实际上是求旋转45度两个方向上微分值的和。Roberts算子定位精度高，在水平和垂直方向的效果好，但对噪声敏感。两个卷积核Gx、Gy分别为：

采用1范数衡量梯度的幅度为：

作者：红色石头

梯度下降算法的公式非常简单，”沿着梯度的反方向（坡度最陡）“是我们日常经验得到的，其本质的原因到底是什么呢？为什么局部下降最快的方向就是梯度的负方向呢？也许很多朋友还不太清楚。没关系，接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。

下山问题

假设我们位于黄山的某个山腰处，山势连绵不绝，不知道怎么下山。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易下山的方向前进一小步，然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去，一直走到觉得我们已经到了山脚。这里的下山最陡的方向就是梯度的负方向。